JP2018026692A - 作業支援システム、撮影装置、及び表示装置 - Google Patents

Abstract

【課題】高精細領域の振動による主観品質低下を防ぎつつ、低いビットレートで映像伝送が可能な作業支援システムの提供する。【解決手段】作業支援システムは、被支援者の作業現場を撮影し、撮影した映像データをネットワークを介して送信する撮影装置１と、映像データをネットワークを介して受信し、支援者に映像データを表示する表示装置２と、を備える作業支援システムであって、映像表示部２１に表示された映像の中で、支援者が見る必要のある領域を設定するための重要領域設定部２３と、表示装置に向けられた支援者の視線情報を検出する視線検出部２２と、を有する。領域の内部で支援者の視線が検出された場合、領域の内部を高精細な映像データで、領域の外部を高精細より低い低精細な映像データでネットワークを介して送信する。【選択図】図１

Description

本発明は、遠隔地などでの作業を支援する作業支援システムに関する。

映像伝送システムとして、受信者の注目する映像領域を精細に伝送する技術が特許文献１に記載されている。

特開平７−１３５６７１号公報

作業支援システムでは、遠隔地などの作業現場の映像を、支援者が画面で見る主観品質を損なわずに低いビットレートで（画質を落として）伝送する技術が必要である。そのような映像伝送技術として特許文献１がある。しかしながら特許文献１では、注視点座標を基準に高精細領域を設定している。このため、高精細領域のサイズが固定され、視線検出装置の検出ノイズや人間の固視微動と呼ばれる眼球運動により高精細領域が振動し、映像の主観品質が低下するという問題が発生する。

そこで本発明は、高精細領域の振動による主観品質低下を防ぎつつ、低いビットレートで映像伝送が可能な作業支援システムの提供を目的とする。

上記目的を達成するために、代表的な本発明の作業支援システムの一つは、被支援者の作業現場を撮影し、撮影した映像データをネットワークを介して送信する撮影装置と、映像データをネットワークを介して受信し、支援者に映像データを表示する表示装置と、を備える作業支援システムであって、表示装置に表示された映像の中で、支援者が見る必要のある領域を設定するための設定部と、表示装置に向けられた支援者の視線情報を検出する視線検出部と、を有し、領域の内部で支援者の視線が検出された場合、領域の内部を高精細な映像データで、領域の外部を高精細より低い低精細な映像データでネットワークを介して送信するものである。

本発明によれば，高精細領域の振動による主観品質低下を防ぎつつ、低ビットレートで映像伝送が可能な作業支援システムが実現できる。

実施例１の作業支援システム構成図。 重要領域設定画面を示した図。 重要領域設定情報のデータ構造を示した図。 重要領域設定画面のサブ画面を示した図。 前処理部１０の内部構成図。 映像送信装置１および映像受信装置２のフローチャートである。 人間の視野における解像度変化を示した図。 高精細領域の境界が振動することによる主観品質が低下する場合を示した図。 視線追従性の向上効果の例を示した図。 複数の重要領域が離れている場合の表示例を示した図。 実施例２の作業支援システム構成図。 符号化処理部１２０の内部構成図。

以下、図面を用いて実施例を説明する。

図１は、本実施の形態に係る作業支援システムの構成を示すブロック図である。撮影装置（すなわち、映像送信装置）１は、例えば、前処理部１０、映像取得部１１、符号化処理部１２から構成される。撮影装置１は、映像取得部１１で取得した作業現場の映像データに対して、前処理部１０で映像加工処理を実施する。

この映像加工処理は、支援者、すなわち視聴者（以下、監視者なども含む）が重要領域設定部２３で設定した重要領域内部に視線が検出された場合に、映像情報に対して人間の視野の空間解像度変化のモデルに従って高周波成分を削減する処理である。前処理部１０の詳細な動作は、図５を用いて後述する。映像加工処理後、撮影装置１は、加工された映像データを符号化処理部１２で符号化処理を実行し、符号化映像データを出力する。

表示装置（すなわち、映像受信装置）２は、例えば、復号化処理部２０、映像表示部２１、視線検出部２２、重要領域設定部２３から構成される。表示装置２は、情報伝送装置（ネットワークを含む）５を介して伝送された符号化映像データを入力に受け取り、復号化処理部２０で符号化映像データの復号化を行い、映像表示部２１にて復号映像を表示する。

表示装置２において、視線検出部２２は、映像表示部２１にて再生される遠隔地である作業現場の映像に対し、支援者（すなわち視聴者）が注視している位置を検出し、情報伝送装置５を介して注視点位置情報を前処理部１０に出力する。また、重要領域設定部２３は、映像表示部２１にて再生される映像中で高精細に見たい（視聴または監視したい）領域（重要領域）を設定する手段を有し、情報伝送装置５を介して重要領域情報を前処理部１０に出力する。

情報伝送装置５は、遠隔地にいる支援者（すなわち熟練者である視聴者）と作業現場間において、上記注視点位置情報、重要領域情報、そして符号化映像データの送受信を行う。

次に、重要領域設定部２３の動作について説明する。重要領域設定部２３は、図２に示す通り、重要領域設定方法を提示する設定画面４０を映像表示部２１に表示する。支援者はその画面を基に、重要領域を如何なる方法で設定するのか選択する。

重要領域設定手段としては、静止した映像フレーム上において重要領域を手動で設定する手動設定手段Ｓ０１、登録画像や登録特徴量を基に映像フレーム中から重要領域を探索する探索設定手段Ｓ０２、各映像フレームで顕著性の高い領域を重要領域と設定する顕著性設定手段Ｓ０３、映像中で被支援者が指差した先に重要領域を設定する作業者指差設定手段Ｓ０４がある。この様に多数の重要領域設定手段を設けることによって、支援環境に応じて支援者が重要領域設定手段を選択することができる。

設定画面４０におけるＳ０５が選択された際、重要領域設定部２３は、重要領域の設定情報を消去する情報を重要領域情報保持部（後述）に伝送する。重要領域の設定に関する情報は図３に示すデータ構造５０の形式に纏められ、情報伝送装置５を通じて重要領域情報保持部（後述）へ伝送される。データ構造５０において、重要領域設定手段情報５１は選択された設定手段の情報であり、領域確定情報５２は各映像フレームにおいて重要領域の形状を決定するための情報である。

以下、各重要領域設定手段の動作について述べる。手動設定手段Ｓ０１では、円や四角などの簡単な図形を基に領域を設定する。この領域位置は、各映像フレームにおいて固定である。この設定手段では、領域確定情報５２として選択された図形、サイズ、中心座標などの情報を伝送する。この設定手段は、例えば映像取得部１１が固定されたカメラであり（例えば、作業現場の各スペースにカメラが設置されている等）、映像中のどこを高精細に見たいか確定している場合に有効である。

図４は、Ｓ０１の手動設定手段が選択された場合の、サブ設定画面４１を示す。重要領域を設定するための図形選択モードとして、三角形（Ｓ０６）、四角形（Ｓ０７）、多角形例えば五角形（Ｓ０８）、円（Ｓ０９）を選択できる。さらに、複数の図形を結合して複雑な形状の重要領域を設定することが可能な複数領域結合モードＳ１０や、複数の重要領域を設定し、該当重要領域のいずれかに視線が入った場合に画面を分割し、複数の重要領域を拡大表示することが可能な画面分割モードＳ１１も選択できる。

探索設定手段Ｓ０２では、高精細に見たい物体の画像や、その画像から抽出された特徴量を登録しておき、各映像フレームにおける探索処理の結果から重要領域を設定する。この設定手段では、各映像フレームにおいて重要領域の位置やサイズが変化する。また、領域確定情報として、高精細に見たい物体の画像や、その画像から抽出された特徴量を伝送する。この設定手段は、例えば映像取得部１１がウェアラブルカメラの様に固定されていないカメラであり、映像中で高精細に見たい位置が逐次変化する場合に有効である。

顕著性設定手段Ｓ０３では、映像フレーム毎に顕著性が高い領域に重要領域を設定する。顕著性とは、映像中でどの部分が注意を向けられやすいかを数値化したものであり、被験者による情報を必要とせず、画像の物理的な特徴を解析するだけで注意が向けられる位置を推定することができる。画像の物理的特徴としては、色（Ｃｏｌｏｒ）、明度（Ｉｎｔｅｎｓｉｔｙ）、方位（Ｏｒｉｅｎｔａｔｉｏｎ）、コントラスト（Ｃｏｎｔｒａｓｔ）、点滅（Ｆｌｉｃｋｅｒ）、運動（Ｍｏｔｉｏｎ）がある。

この設定手段では、人間が興味対象に注意を向ける仕組みや傾向をモデル化した処理を映像に適用し、画素毎に前後フレームでの特徴差などの顕著性を算出し、ある閾値以上の顕著性を持った画素の集まりを重要領域と設定する。従って重要領域位置は各映像フレームにおいて変化する。この設定手段は、例えば映像中で高速に値が変化する計器を高精細に見たい場合等に有効である。

作業者指差設定手段Ｓ０４では、指差している作業者の手を映像中から検出し、その指差した先の領域に重要領域を設定する。作業者の手の検出は、例えば肌色領域の検出や、登録画像による検索、指先に貼ったマーカの検出により行われる。本設定手段では、作業者が支援者に高精細に見て欲しい領域を設定することが可能となる。また、重要領域位置は、各映像フレームにおいて変化する。領域確定情報５２として、指先に設定する領域の形状と大きさが伝送される。

図５は、前処理部１０の内部構成を示すブロック図である。図６は、撮影装置（映像送信装置）１および表示装置（映像受信装置）２のフローチャートである。重要領域検出部１０２は、映像取得部１１から映像を１フレーム取得する（Ｓ１１０）。映像受信装置２の重要領域設定部２３は、重要領域を設定し（Ｓ１２０）、映像送信装置１へ重要領域情報を送信する。重要領域情報保持部１０１は、重要領域設定部２３により設定された重要領域情報を格納する（Ｓ１３０）。重要領域検出部１０２は、映像取得部１１より取得した映像中から重要領域を検出し、その検出領域を特定する座標情報を出力する。映像受信装置２の視線検出部２２は支援者の視線を検出し（Ｓ１４０）、映像送信装置１へ視線情報を送信する。

重要領域判定部１０３は、重要領域の座標情報と注視点位置情報を入力として受け取り、注視点座標が重要領域内部に存在するかを判定し（Ｓ１５０）、視線が検出された重要領域の座標情報を出力する（Ｓ１５０のＹｅｓ）。映像遅延部１０４は、重要領域判定部１０３から処理完了情報を入力に受け取り、重要領域判定の処理完了と、知覚的映像処理部１０５の処理開始のタイミングを合わせる。知覚的映像処理部１０５は、映像遅延部１０４より処理対象の映像データを、重要領域判定部１０３から視線が検出された重要領域の座標情報を入力として受け取る。そして、視線が検出された重要領域の外部領域に対し、該当重要領域からの距離が大きくなる程に映像の高周波成分が削減される処理を加える（Ｓ１６０）。また、注視点座標が重要領域内部に存在しない場合（Ｓ１５０のＮｏ）、知覚的映像処理部１０５は、画面全体を低精細化する（Ｓ１７０）。以上で、前処理部１０の前処理が完了する。

そして、符号化処理部１２で映像を符号化し（Ｓ１８０）、映像受信装置２へ符号化映像データを送信する。映像受信装置２の復号化処理部２０は映像を復号化し、映像表示部２１は映像を表示する。

Ｓ１６０の処理を人間の視野の空間解像度変化モデルに従って行うことで、支援者の主観品質を低下させずに映像のデータ量を削減できる。人間の視野の空間解像度変化モデルを図７に示す。図７は、人間の視野における解像度変化を示した図であり、縦軸は相対視力（Ｒｅｌａｔｉｖｅ Ａｃｕｉｔｙ）、横軸は網膜上の位置（Ｄｉｓｔａｎｃｅ ｆｒｏｍ Ｆｏｖｅａ）を示す。この図は、人間は、網膜の中心から上下左右約１０度の円の内側にある物体には、有効な視野として認識できるが、それ以外の周辺視野にある物体の場合、網膜に映っていても認識力が急激に落ちることを示している。

一般的な人間の視力検査は、視線の中心、つまり注視している位置における、数メートル先のランドルト環の「黒、白、黒」パータン（ランドルト環の大きさは大小さまざま）を認識できるか否かを検査している。一方、周辺視野で見た場合、視力検査で視認することができるランドルト環と同じ大きさであっても認識できないのが通常である。

この人間の周辺視野の性質を利用し、映像の高周波成分（例えば、縞縞のように隣合う画素が白色と黒色ではっきりとわかれている場合）のうち、重要領域からの距離が大きくなる程に、すなわち、人間の周辺視野では認識が落ちる映像部分の高周波成分を削減する処理が知覚的映像処理部１０５にて実行される。

なお、重要領域内部に視線が検出されない場合は、映像に何の処理も加えなくても良いし、映像全体の高周波成分を大きく落としても良い。

次に、本実施例における効果について説明する。本実施例では、予め重要領域を設定しておき、重要領域内部に視線が検出された場合に、重要領域全体を高精細に、それ以外の領域を低精細にする処理を加えた映像を伝送する。これにより、高精細領域の振動による主観品質低下を抑えつつ、低いビットレートで映像伝送が可能になる。

この効果について例を用いて説明する。図８は、従来手法において計器を注視する場面を示している。従来手法では、装置の視線検出ノイズや支援者の眼球の固視微動により、支援者は計器４０２の中心を見続けているのにもかかわらず、検出した支援者の注視点は４００のように振動し、これに伴い、従来の高精細領域４０１の境界における低解像度と高解像度の画像変化がちらつきとして支援者に認知され、主観品質を損なう。ここで、従来の高精細領域４０１は図７で説明した通り、注視点４００から上下左右約１０度の円の内側であった。

これに対して、本実施例では、一つの計器４０２の全体領域を重要領域として設定しておき、計器４０２の領域内部に支援者の注視点４００が検出されている間は計器４０２の領域全体を高精細に表示することで、従来の高精細領域４０１の境界が振動することによる主観品質低下を防ぐことができる。

また、予め重要領域を設定しておき、重要領域内部に視線が検出された場合に重要領域全体を高精細に表示することで、重要領域内部において、支援者が見ようとする意図のある領域と画面上の高精細領域の一致性を向上させる効果も発生する。

この効果について例を用いて説明する。図９に、電流計と電圧計が並んだ装置３００を示す。この装置３００上で両計器の数値変化を観察したい場合、従来手法の様に注視点３０１を中心として高精細領域３０２を設定する方式では、１つの計器しか高精細に見ることができない。さらに、両計器を交互に注視しようとすると、ネットワーク伝送遅延による高精細領域の追従性低下の影響を受ける。これに対して、本実施例では、装置３００全体、すなわち、複数の対象物（電流計および電圧計）を重要領域として設定しておき、装置３００内部に注視点が検出されている間は装置３００の領域全体を高精細に表示することで、視線追従性低下を感じずに両計器の数値を交互に確認することができる。

＜変形例１＞
図１０は、表示の変形例であり、複数の重要領域が離れている場合の表示例を示した図である。５００は、分割および拡大表示をする前の画面を縮小して示す。５０１および５０２は、図４のＳ１１「画面分割モード」で設定された重要領域である。そして、５０３および５０４はそれぞれ５０１および５０２の重要領域を拡大し、一つの画面として表示したものである。このように表示することによって、支援者は、複数の重要領域が離れている場合であっても、同時に見ることができる。

＜変形例２＞
支援者が重要領域を見続ける意図はあっても、たまに注視点が重要領域から外れる場合がありうる。そこで、本変形例では、注視点が重要領域から外れてもよい時間間隔の裕度（許容範囲）を設けることによって、支援者は重要領域を高精細なまま見続けることができる。

実施例１では、図５で説明した通り、前処理部１０が、重要領域情報保持部１０１、重要領域検出部１０２、重要領域判定部１０３、映像遅延部１０４、および知覚的映像処理部１０５を備えていた。

図１１は、実施例２に係る作業支援システムの構成図である。図１２は、符号化処理部１２０の内部構成図である。

実施例２は、実施例１と異なり、前処理部１０が無く、符号化処理部１２０の中で、重要領域情報保持部１０１、重要領域検出部１０２、重要領域判定部１０３、映像遅延部１０４、および知覚的映像処理部１０５と同様の処理が実行される。

重要領域情報保持部１０１は、重要領域設定部２３により設定された重要領域情報を保持する。重要領域検出部１０２は、映像取得部１１より取得した映像中から重要領域を検出し、その検出領域を特定する座標情報を出力する。重要領域判定部１０３は、重要領域の座標情報と注視点位置情報を受け取り、視線が検出された重要領域の座標情報を出力する。映像遅延部１０４は、重要領域判定部１０３から処理完了情報を入力に受け取り、重要領域判定処理の完了と後段の処理の開始のタイミングを合わせる。ここまでは実施例１の構成の場合と同じ処理を実行する。

後段の処理では、減算部１０６は、予測映像生成部１１０で生成された予測映像を入力映像から減算し、予測誤差映像を生成する。DCT部１０７は、予測誤差映像を特定サイズの画素ブロック(8x8,16x16,32x32,etc)に分割し、画素ブロックごとにDiscrete Cosine Transform(DCT:離散コサイン変換)処理をかけることでDCT係数に変換する。量子化部１０８は、重要領域判定部１０３より視線が検出された重要領域の座標を受け取り、重要領域から離れた位置の画素ブロックほど多くの高周波成分が削減されるように、各画素ブロックのDCT係数の量子化処理を行う。これにより、実施例１の知覚的映像処理部１０５と同様の処理結果が得られる。

VLC (Variable-Length Coding: 可変長符号化)部１０９は、量子化されたデータに対して可変長符号化を行い、符号化映像データを情報伝送装置５に伝送する。予測映像生成部１１０は、現映像フレームと前映像フレームから求めた動き情報を基に、次フレームの予測映像を生成する。

実施例２の構成によれば、実施例１の知覚的映像処理部１０５を行わずとも、量子化部１０８で量子化方法を工夫することによって、同様の高周波削減効果が得られる。さらに、知覚的映像処理部１０５にかかっていた時間分の処理を高速化できる。

また、本実施形態は、遠隔作業支援（熟練の支援者が作業現場を見て、現場の作業員へ音声で遠隔指示をする）以外に、工場の設備監視や監視カメラセキュリティシステムにおいて、映像を監視する監視者に対して、高い主観品質を持つ映像を低ビットレートで伝送可能である点で有効である。また、保守現場にドローンを飛ばし、ドローン映像をリアルタイムに見て、現場のメータを確認することもできる。さらに、複数のカメラで撮影した映像データから３Ｄ画像データを作成してもよい。

また、ネットワーク伝送遅延によって、支援者が見ようとする意図のある領域を高精細に表示する追従性が低下する場合、作業現場と支援者間の伝送遅延時間を基に支援者の視線移動先を予測し、予測された視線位置に高精細領域を設定する手段が有効である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…撮影装置（映像送信装置）
２…表示装置（映像受信装置）
１０…前処理部
１１…映像取得部
１２…符号化処理部
２０…復号化処理部
２１…映像表示部
２２…視線検出部
２３…重要領域設定部

Claims (13)

1. 被支援者の作業現場を撮影し、撮影した映像データをネットワークを介して送信する撮影装置と、
   前記映像データを前記ネットワークを介して受信し、支援者に前記映像データを表示する表示装置と、を備える作業支援システムであって、
   前記表示装置に表示された映像の中で、前記支援者が見る必要のある領域を設定するための設定部と、
   前記表示装置に向けられた前記支援者の視線情報を検出する視線検出部と、を有し、
   前記領域の内部で前記支援者の視線が検出された場合、
   前記領域の内部を高精細な映像データで、前記領域の外部を前記高精細より低い低精細な映像データで前記ネットワークを介して送信する作業支援システム。
2. 被支援者の作業現場の映像を取得する映像取得部と、
   前記映像であって、支援者が見る必要のある領域の内部で前記支援者の視線が検出された場合、前記領域の内部を高精細な映像データに、前記領域の外部を前記高精細より低い低精細な映像データに処理する処理部と、を有し、
   前記処理された映像データをネットワークを介して送信する撮影装置。
3. 前記処理部は、前記映像データの符号化処理を行う符号化処理部と、前記符号化処理部の前処理を行う前処理部と、を有し、
   前記前処理部は、
   前記支援者が設定した重要領域情報に基づいて、前記映像取得部が取得した前記映像データから重要領域を検出する重要領域検出部と、
   前記重要領域の座標情報と、前記支援者の注視点の位置情報とから、前記注視点が前記重要領域の内部に存在するかを判定する重要領域判定部と、
   前記注視点が前記重要領域の内部に存在する場合に、前記重要領域の外部領域に対し、前記重要領域からの距離が大きくなる程に映像の高周波成分を削減する知覚的映像処理部と、を有する請求項２記載の撮影装置。
4. 前記処理部は、
   前記支援者が設定した重要領域情報に基づいて、前記映像取得部が取得した映像データから重要領域を検出する重要領域検出部と、
   前記重要領域の座標情報と、前記支援者の注視点の位置情報とから、前記注視点が前記重要領域の内部に存在するかを判定する重要領域判定部と、
   前記注視点が前記重要領域の内部に存在する場合に、前記重要領域から離れた位置の画素ブロックほど多くの高周波成分が削減されるように、各画素ブロックの量子化処理を行う量子化部と、を有する請求項２記載の撮影装置。
5. 撮影装置からネットワークを介して受信した、被支援者の作業現場を撮影した映像データを表示する映像表示部と、
   前記映像表示部に表示された映像の中で、支援者が見る必要のある領域を設定するための設定部と、
   前記映像表示部に向けられた前記支援者の視線情報を検出する視線検出部と、を有し、
   前記領域の内部で前記支援者の視線が検出された場合、
   前記領域の内部を高精細な映像データで、前記領域の外部を前記高精細より低い低精細な映像データで前記ネットワークを介して送信されたデータを復号化し、前記映像表示部に表示する表示装置。
6. 前記設定部は、
   前記映像表示部に表示された映像において重要領域を手動で設定する手動設定手段と、
   登録画像や登録特徴量を基に前記映像の中から重要領域を探索する探索設定手段と、
   前記映像で顕著性の高い領域を重要領域に設定する顕著性設定手段と、
   前記映像の中で被支援者が指差した先を重要領域に設定する指差設定手段と、を備える請求項５記載の表示装置。
7. 前記手動設定手段は、少なくとも三角形、四角形、多角形および円の１つを用いて前記重要領域を設定する請求項６記載の表示装置。
8. 前記手動設定手段は、複数の前記重要領域を設定し、前記重要領域のいずれかに視線が入った場合に画面を分割し、複数の前記重要領域を拡大表示することが可能な画面分割モードを設定する請求項６記載の表示装置。
9. 前記探索設定手段は、高精細に見たい物体の画像、または当該画像から抽出された特徴量を登録し、各映像フレームにおける探索処理の結果から前記重要領域を設定する請求項６記載の表示装置。
10. 前記顕著性設定手段は、映像フレーム毎に、画像の物理的特徴に基づいて顕著性が高い領域を前記重要領域として設定する請求項６記載の表示装置。
11. 前記指差設定手段は、指差している前記被支援者の手を前記映像の中から検出し、前記指差した先の領域を前記重要領域として設定する請求項６記載の表示装置。
12. 前記設定部は、前記映像表示部に表示された映像の中で、複数の対象物を前記支援者が見る必要がある場合、前記複数の対象物を重要領域として設定する請求項５記載の表示装置。
13. 前記映像表示部は、前記画面分割モードが設定された場合、複数の前記重要領域を拡大し、一つの画面として表示する前記請求項８記載の表示装置。

Images