JP2013120969A - 画像処理を利用した遠隔制御システム - Google Patents

Abstract

【課題】本発明は、制御対象の制御に必要な画像の伝送容量が小さくなり、高精度、高安定な制御が可能な保証型ネットワークの利用コストを削減することを目的とする。
【解決手段】本願発明に係る制御システムは、カメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介して制御装置１４に送信し、制御装置１４から設定された切り取り領域に基づき撮影画像から切り取った切り取り画像を、保証型ネットワーク９２を介して制御装置１４に送信し、制御装置１４からの制御信号に従って制御対象１３を制御する管理装置１２と、撮影画像から制御対象１３が映っている領域を求め、当該領域設定情報を切り取り領域として管理装置１２に送信し、切り取り画像に基づき制御対象１３を制御する制御信号を生成して管理装置１２に送信することによって制御対象１３を制御する制御装置１４と、を備える。
【選択図】図１

Description

遠隔でロボットやアクチュエータ、機械等の制御対象を制御、操作する方法に関する発明。制御対象の状況をカメラで撮影し、その画像をネットワーク経由で遠隔地にある計算機上の制御プログラムに伝送する。そして、その画像データを処理・解析することによって制御対象の状態を推定し、その推定情報を制御・操作に利用する。

ロボットや機械類を制御、操作するためには、それら制御対象の状態を知る必要がある。その一つとして、カメラを用いて制御対象を観測、状態推定する方法がある。これは、カメラから得られた画像情報に対して処理、解析を行い、そこから推定した制御対象の状態に関する情報を、制御対象の制御、操作に利用するもので、ビジュアルフィードバックとして知られる（非特許文献１、２）。この方法は、カメラにより制御対象とそれが行う作業に関して多くの情報を得られるため、制御対象が稼働している作業環境の変化や、実行している作業に対する外乱等に、柔軟に対応することが可能である。制御対象、カメラ、制御プログラムが同一の場所に存在し、それらを接続するローカルなネットワークや通信装置の影響がない場合には、この方法は十分な精度で応用がなされている（非特許文献３）。

しかし、制御プログラムが、制御対象及びそれを撮影するカメラと同一の場所ではなく、ネットワークを介して接続されている計算機上に存在する場合、ネットワーク上での情報伝送が制御や操作に支障をきたすことがある。特に、カメラから制御プログラムに送られる画像情報は、比較的大きいリアルタイムなデータとなるため、インターネットのようなネットワークを経由した場合、そのネットワーク上で生じるデータの伝送遅延、遅延揺らぎ、情報損失の影響を受けやすい。これを防ぐために、この画像情報の伝送に対し遅延時間や情報損失の発生率、伝送容量等が管理されているような保証型ネットワークを用いることが可能である。

Ｙｏｓｈｉｈｉｒｏ Ｎａｋａｂｏ， Ｉｄａｋｕ Ｉｓｈｉｉ， ａｎｄ Ｍａｓａｔｏｓｈｉ Ｉｓｈｉｋａｗａ ： Ｈｉｇｈ Ｓｐｅｅｄ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ １ｍｓ ｖｉｓｕａｌ Ｆｅｅｄｂａｃｋ Ｓｙｓｔｅｍ， Ｖｉｄｅｏ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ （Ｍｉｎｎｅａｐｏｌｉｓ， １９９６．４．２４−２６） 中坊嘉宏， 石井抱， 石川正俊：超並列・超高速ビジョンを用いた１ｍｓターゲットトラッキングシステム， 日本ロボット学会誌， Ｖｏｌ．１５， Ｎｏ．３， ｐｐ．４１７−４２１ （１９９７） 「カメラロボットフィードバック制御」、株式会社ファーストシステムｈｔｔｐ：／／ｗｗｗ．ｆｉｒｓｔ−ｓｙｓｔｅｍ．ｊｐ／ｂｕｓｉｎｅｓｓ＿０２＿ａ．ｈｔｍｌ

カメラから得られる画像を利用して、遠隔地にある制御プログラムから制御対象の制御、操作を行う際、カメラと制御プログラムを接続するネットワークが画像の伝送に悪影響を与え、動作精度の悪化や不安定な動作を起こすことがある。それを防ぐために、保証型ネットワークを用いることが可能だが、画像データのような、大きなデータをそのまま伝送できる保証型ネットワークは非常に高価である。

そこで、本発明は、制御対象の制御に必要な画像の伝送容量が小さくなり、高精度、高安定な制御が可能な保証型ネットワークの利用コストを削減することを目的とする。

上記目的を達成するために、本願発明に係る制御システムは、カメラで撮影した撮影画像を、非保証型ネットワークを介して制御装置に送信し、前記制御装置から設定された切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記制御装置に送信し、前記制御装置からの制御信号に従って前記制御対象を制御する管理装置と、前記管理装置から受信した前記撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信し、前記切り取り画像を保証型ネットワークを介して前記管理装置に送信させ、受信した前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御装置と、を備える。

上記目的を達成するために、本願発明に係る制御方法は、制御装置が、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置に送信させる撮影画像取得手順と、制御装置が、受信した撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信する切り取り領域送信手順と、制御装置が、受信した前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記管理装置に送信させる切り取り画像取得手順と、制御装置が、受信した前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御信号送信手順と、を順に有する。

上記目的を達成するために、本願発明に係る制御装置は、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得部と、前記撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信する切り取り領域検出部と、前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記管理装置から取得する切り取り画像取得部と、前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成部と、を備える制御装置。

上記目的を達成するために、本願発明に係る制御プログラムは、撮影画像取得部が、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得ステップと、切り取り領域検出部が、前記撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信する切り取り領域検出ステップと、切り取り画像取得部が、前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記管理装置から取得する切り取り画像取得ステップと、制御信号生成部が、前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成ステップと、を順にコンピュータに実行させるための制御プログラムである。

本発明によれば、制御対象の制御に必要な画像の伝送容量が小さくなり、高精度、高安定な制御が可能な保証型ネットワークの利用コストを削減することができる。

本実施形態に係る制御システム概要図及びシーケンス図である。 本実施形態に係る制御システムのブロック構成図である。 各ブロックの説明図である。 画像切り取り処理の説明図である。

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施の例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

本実施形態に係る制御システムは、制御対象１３及びその環境をカメラ１１で観測し、その画像データをネットワーク経由で制御装置１４に送信し、制御装置１４においてその画像に処理、解析を行うことで、制御対象１３の状態をリアルタイムに推定する。そしてその推定から得られた制御対象１３に関する情報を利用して、制御対象１３を制御、操作するのに必要な制御信号を生成する。

本発明のシステムの概要と全体の処理の流れを、図１に記す。機能ブロックと切り取り処理の詳細を、図２から図４に記す。また、本発明における主要な機能ブロックの役割について以下に説明する。

制御装置１４は、非保証型ネットワーク９１の逆符号化部４１と、保証型ネットワーク９２の逆符号化部４２と、撮影画像の画像解析部４３と、切り取り領域検出部４４と、切り取り画像の画像解析部４５と、状態推定部４６と、制御信号生成部４７と、を備える。管理装置１２は、切り取り処理部２１と、非保証型ネットワーク９１の圧縮符号化部２２と、保証型ネットワーク９２の圧縮符号化部２３と、制御信号Ｉ／Ｆ２４と、を備える。切り取り処理部２１、非保証型ネットワーク９１、保証型ネットワーク９２、切り取り領域検出部４４、及び、保証型ネットワーク９２を経由する切り取り領域設定情報を使用する。

管理装置１２は、カメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介して制御装置１４に送信し、制御装置１４から設定された切り取り領域に基づき撮影画像から切り取った切り取り画像を、保証型ネットワーク９２を介して制御装置１４に送信し、制御装置１４からの制御信号に従って制御対象１３を制御する。制御装置１４は、管理装置１２から受信した撮影画像から制御対象１３が映っている領域を求め、当該領域設定情報を切り取り領域として管理装置１２に送信し、切り取り画像を管理装置１２に送信させ、受信した切り取り画像に基づき制御対象１３を制御する制御信号を生成し、保証型ネットワーク９２を介して当該制御信号を管理装置１２に送信することによって制御対象１３を制御する。

本実施形態に係る制御方法は、撮影画像取得手順（Ｓ１０１）と、切り取り領域送信手順（Ｓ１０２，Ｓ１０３，Ｓ１０４）と、切り取り画像取得手順（Ｓ１０５，Ｓ１０６，Ｓ１０７）と、制御信号送信手順（Ｓ１０８，Ｓ１０９）と、を順に有する。

管理装置１２が、カメラ１１で撮影した撮影画像を、非保証型ネットワーク９１を介して制御装置１４に送信する（Ｓ１０１）。切り取り領域検出部４４が、受信した撮影画像から制御対象１３が映っている領域を求める（Ｓ１０２）。切り取り領域検出部４４は、非保証型ネットワーク９１を経由して転送されてきたカメラ１１から得られた画像に対して、画像処理、画像解析等を行った後の、検出された制御対象１３の画面上での位置情報や大きさの情報、或いは制御対象１３の速度等の物理的な状態を基に、切り取り領域設定に関する領域設定情報を生成する。当該領域設定情報を切り取り領域として管理装置１２に送信する（Ｓ１０３）。切り取り領域設定情報は、保証型ネットワーク９２を経由して管理装置１２へ転送され、切り取り処理部２１で用いられる。

切り取り処理部２１が、領域設定情報に従って切り取り領域を設定する（Ｓ１０４）。切り取り処理部２１では、受け取った切り取り領域設定情報に基づいて、カメラ１１から得られる画像の一部を切り取る。このときに、切り取り処理部２１は画像を複写してもよい。この切り取り、もしくは複写された画像は、圧縮、符号化等の処理を通して、保証型ネットワーク９２を経由して制御装置１４に転送される（Ｓ１０５）。ステップＳ１０５以後、管理装置１２は、カメラ１１の撮影画像を随時切り取り、切り取り画像をストリームとして制御装置１４に送信する（Ｓ１０６）。

非保証型ネットワーク９１は、カメラ１１から得られた画像を制御装置１４へ転送する（Ｓ３０１）。この画像は、モニタ等で利用者に提示される（Ｓ３０２）。画像解析部４３が画像処理及び解析を行い、切り取り領域検出部４４が制御対象１３の検出及び周辺領域の設定を行う（Ｓ３０６）。管理装置１２が実際に切り取り領域を設定する（Ｓ３０８）。

保証型ネットワーク９２は、切り取り画像を制御装置１４へ転送し、制御装置１４内で生成された制御信号を管理装置１２へ転送し、制御装置１４内で生成された切り取り領域設定情報を管理装置１２へ転送する（Ｓ３０３）。画像解析部４５が切り取り画像の画像処理及び画像解析を行い、状態推定部４６が制御対象１３の状態を推定する（Ｓ１０７、Ｓ３０４）。制御信号生成部４７が、状態推定部４６の推定した状態に基づき、制御対象１３の制御信号を生成する（Ｓ１０８、Ｓ３０５）。制御信号生成部４７が、制御信号を管理装置１２に送信する。そして、管理装置１２が制御対象１３に制御信号を送信する（Ｓ１０９、Ｓ３０７）。

以後、カメラ１１から得られた画像に対してはＳ１０２、Ｓ１０３、Ｓ１０４を繰り返す。切り取り画像に対してはＳ１０７、Ｓ１０８、Ｓ１０９を繰り返す。この２つの繰り返しは独立に実行する。

制御対象１３そのものを制御して操作するためには、カメラ１１から得られる画像データにおいて制御対象１３及びその周辺領域が分かれば十分である。そこで本発明では、カメラ１１から得られた画像から、制御対象１３とその周辺だけに着目した領域を切り取り、切り取った画像領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）だけを個別に制御装置１４に送信する。これによって、カメラ１１そのものの画像よりも小さい画像データがネットワークを経由することになる。また、小さい画像であれば、その符号化や圧縮に掛かる計算コストが小さい為、より圧縮率の高い符号化方式や圧縮方式を利用できる。従って、制御装置１４に送信する画像のデータ量をかなり小さくすることができ、必要な伝送容量が小さくなる。

この切り取られた画像データは、素早く正確に制御対象１３の状態を知るために、迅速に、かつ少ない情報損失で制御装置１４に伝送される必要がある。そこで、この画像データの伝送路には保証型のネットワーク９２を用いる。実際に伝送されるデータ量は上記の処理により小さくなっている為、必要となる保証型ネットワーク９２の帯域は小さくすることが可能である。

また、カメラ１１から得られたそのものの画像は、利用者が動作指示を決定する為、及び、システム起動時の切り取り領域を設定するために、制御装置１４側に転送される必要がある。但し、その画像に多少乱れが生じても、利用者自身が補正できること、及び、迅速に制御装置１４に伝送される必要はないので、インターネットのような、非保証型ネットワーク９１を経由して伝送される。

図４に、制御装置における切り取り処理のフローを示す。
カメラ画像のデータを受信したか否かを判定する（Ｓ４０１）。受信していれば、逆符号化部４１が、データを逆符号化してカメラ画像を復号する（Ｓ４０２）。
次に、画像解析部４３が、色空間調整やフィルタ処理などの画像処理を行う（Ｓ４０３）。
次に、切り取り領域検出部４４が、制御対象１３を検出するために画像処理や画像解析を行う（Ｓ４０４）。

ステップＳ４０５において制御対象１３を認識した場合、切り取り領域検出部４４が、画像上における制御対象１３の中心の座標（ｘ，ｙ）、各軸方向の大きさ（ｘ_ｌ，ｙ_ｌ）を検出する。
次に、切り取り領域検出部４４が、制御対象１３の特性に応じて、適切な周辺領域εを計算する（Ｓ４０７）。ここで、周辺領域εは、例えば、制御対象１３の最大移動速度×切り取り画像フレーム周期×安全率を計算することによって算出する。
次に、切り取り領域検出部４４が、座標（ｘ，ｙ）を中心とする、大きさ（ｘ_ｌ＋ε，ｙ_ｌ＋ε）の切り取り領域を設定する（Ｓ４０８）。
次に、切り取り領域検出部４４が、設定した切り取り領域を管理装置１２へ転送する（Ｓ４０９）。そして、ステップＳ４０１へ移行する。

ステップＳ４０１においてカメラ画像のデータを受信していない場合、切り取り領域検出部４４は、現在の制御対象１３の状態を状態推定部４６から取得して、速度や、切り取り画像内での位置を検出する（Ｓ４１０）。
次に、切り取り領域検出部４４は、切り取り領域の更新が必要か否かを判定する（Ｓ４１１）。例えば、制御対象１３の切り取り領域内での座標値と、そこからもっとも近い切り取り領域画像の端の距離が、ある一定の閾値以下になった場合、切り取り領域の更新が必要であると判定する。また、（制御対象１３の現在の速度×切り取り画像フレーム）＋（現在の制御対象１３の座標）がｘ方向若しくはｙ方向に、切り取り領域からはみ出す場合、切り取り領域の更新が必要であると判定する。

ステップＳ４１１において切り取り領域の更新が必要と判定した場合、制御対象１３の中心が切り取り領域内の中心に来るように、切り取り領域のシフトを行う（Ｓ４１２）。
次に、設定した切り取り領域を管理装置１２へ転送する（Ｓ４１３）。

ステップＳ４１１において切り取り領域の更新が必要でないと判定した場合、ステップＳ４０１へ移行する。

カメラ９１は、遠隔地にあるロボットや機械、及びそれらの環境の状態を知る、汎的、安価なセンサとして現在、将来にわたり非常に有用であり、その特徴を生かしたアプリケーションが今後生まれると考えられる。但し、カメラ１１から得られる画像情報には不必要な情報、領域も多いため、そのままでは通信装置、ネットワーク等の負担が無駄に大きくなってしまう。本発明は、安価な保証型ネットワーク９２を用いた、リアルタイム性が高く精度の高い状態推定、制御を可能にし、新たなアプリケーションやサービス実現への寄与が期待できる。

制御や操作に必要な画像の伝送容量が小さくなることで、伝送容量が小さい保証型ネットワーク９２の利用もシステム設計時に検討することが可能となる。これにより、例えば、容量は小さいが、遅延やジッタ、情報損失に対して一定の保証を行うことが可能な、安価な電話用の保証型ネットワーク９２等も利用することも可能となる。必要な制御、操作精度や、用意できる計算機の性能等に応じて、必要十分な保証型ネットワーク９２を選ぶことで、コスト最適化等の設計自由度を高められる。

また、画像処理や画像解析のような、計算量が非常に多い処理が管理装置１２側に無いことによって、管理装置１２や制御対象１３の簡便化、省エネルギー化等も期待できる。

なお、本発明の制御装置１４は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本発明は情報通信産業に適用することができる。

１１：カメラ
１２：管理装置
１３：制御対象
１４：制御装置
２１：切り取り処理部
２２、２３：圧縮符号化部
２４：制御信号Ｉ／Ｆ
４１、４２：逆符号化部
４３：画像解析部
４４：切り取り領域検出部
４５：画像解析部
４６：状態推定部
４７：制御信号生成部
９１：非保証型ネットワーク
９２：保証型ネットワーク

Claims (4)

1. カメラで撮影した撮影画像を、非保証型ネットワークを介して制御装置に送信し、前記制御装置から設定された切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記制御装置に送信し、前記制御装置からの制御信号に従って前記制御対象を制御する管理装置と、
   前記管理装置から受信した前記撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信し、前記切り取り画像を保証型ネットワークを介して前記管理装置に送信させ、受信した前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御装置と、
   を備える制御システム。
2. 制御装置が、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置に送信させる撮影画像取得手順と、
   制御装置が、受信した撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信する切り取り領域送信手順と、
   制御装置が、受信した前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記管理装置に送信させる切り取り画像取得手順と、
   制御装置が、受信した前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信することによって前記制御対象を制御する制御信号送信手順と、
   を順に有する制御方法。
3. カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得部と、
   前記撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信する切り取り領域検出部と、
   前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記管理装置から取得する切り取り画像取得部と、
   前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成部と、
   を備える制御装置。
4. 撮影画像取得部が、カメラで撮影した撮影画像を、非保証型ネットワークを介して管理装置から取得する撮影画像取得ステップと、
   切り取り領域検出部が、前記撮影画像から制御対象が映っている領域を求め、当該領域設定情報を切り取り領域として前記管理装置に送信する切り取り領域検出ステップと、
   切り取り画像取得部が、前記切り取り領域に基づき前記撮影画像から切り取った切り取り画像を、保証型ネットワークを介して前記管理装置から取得する切り取り画像取得ステップと、
   制御信号生成部が、前記切り取り画像に基づき前記制御対象を制御する制御信号を生成し、当該制御信号を保証型ネットワークを介して前記管理装置に送信する制御信号生成ステップと、
   を順にコンピュータに実行させるための制御プログラム。

Images