JP2004242048A - 広視野角・高解像度映像撮影装置 - Google Patents
広視野角・高解像度映像撮影装置 Download PDFInfo
- Publication number
- JP2004242048A JP2004242048A JP2003028993A JP2003028993A JP2004242048A JP 2004242048 A JP2004242048 A JP 2004242048A JP 2003028993 A JP2003028993 A JP 2003028993A JP 2003028993 A JP2003028993 A JP 2003028993A JP 2004242048 A JP2004242048 A JP 2004242048A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video
- image
- resolution
- mobile robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】広視野角であり，かつ高解像度の映像を自動撮影する映像撮影装置を提供する。
【解決手段】カメラを搭載した移動体と，カメラ映像の蓄積，解析，および移動体の制御を行う計算機により撮影装置を構築する。本装置に対して，カメラ映像を取得する映像入力手段，被写体までの距離や移動距離を計測する計測手段，移動体の運動を制御する制御手段，カメラ映像の解像度を向上する超解像度化手段，およびカメラ映像を継ぎ目なく合成する映像合成手段を設ける。
【選択図】 図１
【解決手段】カメラを搭載した移動体と，カメラ映像の蓄積，解析，および移動体の制御を行う計算機により撮影装置を構築する。本装置に対して，カメラ映像を取得する映像入力手段，被写体までの距離や移動距離を計測する計測手段，移動体の運動を制御する制御手段，カメラ映像の解像度を向上する超解像度化手段，およびカメラ映像を継ぎ目なく合成する映像合成手段を設ける。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は，移動体に搭載されたカメラの映像を統合して，広視野角の映像を取得するための映像撮影装置に関する。
【０００２】
【従来の技術】
従来，広視野角の映像を取得する方法としては，複数のカメラにより撮影した映像を繋ぎ合わせて一つの映像とする方法が提案されている。この方法では，被写体全体が撮影できるように複数のカメラを配置，姿勢制御し，撮影した映像を繋ぎ合わせることにより広視野角の映像を取得する。
【０００３】
【非特許文献１】星野准一ら，”観測・推定画像間の誤差最小化によるパノラマ動画像の生成”，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２５６５−２５７３，１９９８．
【０００４】
【発明が解決しようとする課題】
上記従来技術では，カメラの性能により解像度が制限されてしまい，被写体の細かな情報（例えば被写体に記述された文字などの情報）を識別しようとした場合には，映像の解像度が十分ではないという問題がある。
【０００５】
そこで，本発明では，広視野角かつ高解像度の映像を自動撮影する映像撮影装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために，本発明では以下の手段を設ける。
【０００７】
（１） カメラを搭載した移動体と，カメラ映像の蓄積，解析，および移動体の制御を行う計算機により撮影装置を構築する。本装置は，カメラ映像を取得する映像入力手段，被写体までの距離や移動距離を計測する計測手段，移動体の運動を制御する制御手段，カメラ映像の解像度を向上する超解像度化手段，およびカメラ映像を継ぎ目なく合成する映像合成手段を有する。
【０００８】
（２） 現在撮影中のカメラ映像と過去に撮影したカメラ映像とを比較することにより，移動体の位置を推定する移動体位置同定手段を有する。
【０００９】
【発明の実施の形態】
本発明は，移動体に搭載されたカメラの映像を統合して，広視野角の映像を取得するための映像撮影装置に関する。具体的には，下記の方法を実施するソフトウェア，またはハードウェアを作成することにより実現できる。
（１）第１の実施形態
第１の実施形態は，移動ロボットに搭載したカメラにより撮影した映像を合成，超解像度化し，広視野角かつ高解像度の映像を取得する映像撮影装置に関する。
【００１０】
図１は，本実施例における映像撮影装置の構成図である。本装置は，センサ１００，移動ロボット１１０，計算機１２０，入出力装置１３０から構成される。
【００１１】
センサ１００としては，カメラ１０１および音響センサ１０２を使用する。センサ１００は移動ロボット１１０に搭載し，カメラ数および音響センサ数は１以上とする。カメラ１０１の焦点距離，姿勢等のパラメータはあらかじめ校正し，映像データ取得中は固定である。音響センサ１０２としては，音波を発信して反射波を観測することにより距離計測が可能であるアクティブソナーを使用する。
【００１２】
移動ロボット１１０は，駆動装置１１１，およびコントローラ１１２を備える。駆動装置１１１としては車輪を使用する。コントローラ１１２では，移動ロボットに搭載の音響センサ１０２の観測データの取得や，駆動装置１１１の状態監視，および制御を行う。
【００１３】
計算機１２０は，演算器１２１，画像処理ボード１２２，およびＲＳ２３２インタフェース１２３を備える。演算器１２１では，カメラ映像の処理や，移動ロボット１１０の制御量の算出を行う。画像処理ボード１２２では，カメラ１０１の映像データの取得や処理を行う。ＲＳ２３２インタフェース１２３は，移動ロボットのコントローラ１１２との接続に使用し，移動ロボット１１０の状態データ受信や，制御コマンドの送信に使用する。
【００１４】
入出力装置１３０としては，ディスプレイ１３１，キーボード１３２，マウス１３３を使用する。入出力装置１３０は，カメラ映像，移動ロボット１１０の状態等の表示，および各種パラメータの設定に使用する。
【００１５】
図２は，映像撮影装置におけるデータフローの概略図である。
【００１６】
カメラ１０１で得られる映像データ２０１は計算機１２０の画像処理ボード１２２に伝送される。カメラ１０１と画像処理ボード１２２はカメラケーブル１２４で接続する。画像処理ボード１２２ではＡ／Ｄ変換等の前処理を行い，処理後の映像データ２０２を演算器１２１に転送する。
【００１７】
音響センサ１０２で得られる音響データ２０４は，コントローラ１１２でＡ／Ｄ変換等の前処理後，演算器１２１に伝送される。コントローラ１１２と演算器１２１はＲＳ２３２ケーブル１２５で接続する。駆動装置１１１の状態を用いてコントローラ１１２で算出された，移動ロボット１１０の状態パラメータ２０６も同様に，ＲＳ２３２ケーブルを介して演算器１２１に伝送される。
【００１８】
演算器１２１では，映像データ２０２，音響データ２０５を処理して新たな映像データ２０３を作成し，ディスプレイ１３１に転送，表示する。また，駆動装置の制御コマンドおよび制御量２０６をＲＳ２３２ケーブル１２５を介してコントローラ１１２に転送する。コントローラ１１２では，制御コマンドおよび制御量２０７に基づいて駆動装置を制御する。
【００１９】
なお，映像データ２０１や音響データ２０４の取得，処理に関する各種パラメータ２０８，２０９は，キーボード１３２やマウス１３３などの入力装置により，あらかじめ設定する。
【００２０】
図３は，映像撮影装置における処理のブロック図である。以下，コントローラ１１２，画像処理ボード１２２，演算器１２１における各処理について説明する。なお，以下では，図４に示すように移動ロボット１１０を本棚４１と平行に移動させながら，本棚の本４２を撮影している状況を仮定する。図４において，ＸＹ座標は床面（水平面）に水平な座標であり，移動ロボット１１０の進行方向はＸ軸の正方向であるとする。
【００２１】
移動ロボット１１０内部のコントローラ１１２における処理は，音響信号観測部３１１，状態計測部３１２，および駆動制御部３１３から構成される。
【００２２】
音響信号観測部３１１では，音響センサ１０２の観測データ２０４を取得する。このデータに対してＡ／Ｄ変換等の前処理を行い，音響データ２０５を出力する。
【００２３】
状態計測部３１２では，駆動装置１１１の状態，すなわち回転数および回転角を取得する。これらのデータから移動ロボット１１０の位置，速度，および角度（進行方向）を算出し，移動ロボットの状態パラメータ２０６として出力する。ここで，位置および角度は移動ロボット１１０の初期位置を基準とした値として得られる。
【００２４】
駆動制御部３１３では，後述の制御量算出部３２５の出力である制御コマンドおよび制御量２０７と，現在の移動ロボットの状態パラメータ２０６より，駆動装置１１１の回転数，回転角を算出する。それらの値を用いて駆動装置１１１を制御する。
【００２５】
計算機１２０内部の画像処理ボード１２２および演算器１２１における処理は，映像入力部３２１，超解像度化部３２２，映像合成部３２３，距離計測部３２４，制御量算出部３２５より構成される。
【００２６】
映像入力部３２１では，カメラ１０１の映像データ２０１を取得する。このデータに対してＡ／Ｄ変換等の前処理を行い，映像データ２０２を出力する。図５に映像入力部３２１で得られる映像データ２０２の例を示す。画像５０１から５０４は，それぞれ地点Ｘ＝１からＸ＝４で撮影された映像を切り出した画像である。図５に示すように，移動時の振動等のため本棚４１のライン等がずれる，解像度が十分でないために本の背表紙の文字がつぶれてしまう等の問題が発生する。
【００２７】
超解像度化部３２２では，カメラ１０１により得られる複数の連続した映像データ２０２を使用して映像の高周波成分を復元することにより映像データ２０２の解像度を向上する。超解像度化の方法としては，下記文献１等に記載の各種方法を使用することができる。
【００２８】
文献１：川崎洋ら，“時空間画像解析を用いた全方位カメラ映像の超解像度化”，信学論Ｄ−ＩＩ，Ｖｏｌ．８４，Ｎｏ．８，ｐｐ．１８９１−１９０２，２００１．
図６に超解像度化部３２２で得られる映像データの例を示す。画像６０１は画像５０２から５０４を使用して，画像５０１を処理した画像である。図６に示すように，映像データの解像度を向上することにより，背表紙の文字が認識可能となる。
【００２９】
映像合成部３２３では，複数の異なる映像データ２０２に対して幾何変換，および輝度変換を行い，複数の画像を継ぎ目なく合成する。幾何変換は，一方の画像の座標系を基準座標系とし，他方の画像をその基準座標系に座標変換する処理であり，異なる画像間の位置合わせを行う。輝度変換は，重複部分の画像における濃淡の差を低減する処理であり，異なる画像間の輝度の差に依存する継ぎ目の除去を行う。これらの処理としては，下記文献２等に記載の各種方法を使用することができる。
【００３０】
文献２：高木幹雄，下田陽久，“画像解析ハンドブック”，東京大学出版会，１９９１．
図７に映像合成部３２３で得られる映像データの例を示す。画像７０１は図５に示した全ての画像を合成した例である。図７に示すように，ラインのずれや各画像の継ぎ目のない一つの広域映像が得られる。
【００３１】
距離計測部３２４では，音響センサ１０２の観測データ２０４を使用して，基準物と移動ロボット１１０の距離を算出する。基準物との距離は，音響センサ１０２より既知のパルス信号を送信し，その送信時刻と基準物からの反射波の到達時刻の差に基づいて推定する。図４の撮影例では本棚４１等を基準物として使用する。
【００３２】
制御量算出部３２５では，移動ロボット１１０の状態パラメータ２０６と距離計測部３２４で算出した移動ロボット１１０の基準物からの距離に基づいて，移動ロボット１１０が所望の行動をとるように，移動ロボットの状態パラメータ２０６の変更量（制御量）を算出する。算出した制御量を制御コマンドと共に駆動制御部３１３に出力する。図４の撮影例では，本棚４１と移動ロボット１１０の距離の時間的変動から，移動ロボット１１０が本棚４１と平行に走行しているか判定する。本棚４１と移動ロボット１１０の距離が一定値となるように制御量および制御コマンド２０７を決定する。
【００３３】
以上のように，移動ロボットに搭載したカメラにより撮影した映像を継ぎ目なく繋ぎ合わせることにより一つの広視野角の映像を取得することが可能である。また同時に，複数の映像を使用して超解像度化を行うことにより，被写体の細かな情報が認識可能な高解像度の映像を取得することができる。
（２）第２の実施形態
第２の実施形態は，撮影した映像データを使用して移動ロボットの位置を同定する移動体位置の推定手段を備えた映像撮影装置に関する。第１の実施形態との相違点は，移動体位置の推定手段が加わった点である。
【００３４】
図８は，本実施例の映像撮影装置における処理のブロック図である。移動体位置同定部８２１では，現在撮影中の映像と過去に撮影した映像とを比較，照合する。そして，照合のとれた過去の映像を撮影した位置を現在の移動体の推定位置とする。比較，照合方法としては，それぞれの映像から複数の特徴点を選択して照合する方法や，現在撮影中の映像からテンプレートを作成し，過去に撮影した映像上でそのテンプレートに合う部分を探索する方法を使用する。これらの方法については，上記文献２にマッチング手法として記載されている。
【００３５】
図９に過去に撮影した映像９０１と現在撮影中の映像９０３の例を示す。本９０２ａから９０２ｄと本９０４ａから９０４ｄがそれぞれ等しい本である。ただし，本９０４ｃは過去の映像９０１上の本９０２ｃと異なる形で本棚にしまわれている。本９０２ｃ近傍だけしか撮影できないカメラでは，映像間のマッチングがとれないことがある。本実施例における映像装置では，映像９０１，９０３のように本９０２ｃ近傍以外の映像データをマッチングに使用できるため，映像データ間の比較，照合をより高精度に行うことができる。
【００３６】
【発明の効果】
本発明によれば，移動ロボットにカメラを搭載して，その運動を制御しながら映像の撮影，および超解像度化，合成を行うことにより，広視野角かつ高解像度の映像を自動撮影する映像撮影装置を提供することができる。
【図面の簡単な説明】
【図１】映像撮影装置の構成図。
【図２】映像撮影装置におけるデータフローの概略図。
【図３】映像撮影装置における処理のブロック図。
【図４】移動ロボットによる撮影状況の例。
【図５】映像入力部で得られる映像データの例。
【図６】超解像度化部で得られる映像データの例。
【図７】映像合成部で得られる映像データの例。
【図８】移動体位置同定部を備えた映像撮影装置における処理のブロック図。
【図９】異なる時間に同じ被写体を撮影した場合の映像データの例。
【符号の説明】
１０１：カメラ
１０２：音響センサ
１１１：駆動装置
１１２：移動ロボットのコントローラ
１２１：演算器
１２２：画像処理ボード
５０１，５０２，５０３，５０４：撮影した映像データ
６０１：高解像度化された映像データ
７０１：合成された広視野角映像
９０１：過去撮影した映像データ
９０２：現在撮影中の映像データ
９０２ｃ，９０４ｃ：過去と現在の映像上で異なる被写体
【発明の属する技術分野】
本発明は，移動体に搭載されたカメラの映像を統合して，広視野角の映像を取得するための映像撮影装置に関する。
【０００２】
【従来の技術】
従来，広視野角の映像を取得する方法としては，複数のカメラにより撮影した映像を繋ぎ合わせて一つの映像とする方法が提案されている。この方法では，被写体全体が撮影できるように複数のカメラを配置，姿勢制御し，撮影した映像を繋ぎ合わせることにより広視野角の映像を取得する。
【０００３】
【非特許文献１】星野准一ら，”観測・推定画像間の誤差最小化によるパノラマ動画像の生成”，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２５６５−２５７３，１９９８．
【０００４】
【発明が解決しようとする課題】
上記従来技術では，カメラの性能により解像度が制限されてしまい，被写体の細かな情報（例えば被写体に記述された文字などの情報）を識別しようとした場合には，映像の解像度が十分ではないという問題がある。
【０００５】
そこで，本発明では，広視野角かつ高解像度の映像を自動撮影する映像撮影装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために，本発明では以下の手段を設ける。
【０００７】
（１） カメラを搭載した移動体と，カメラ映像の蓄積，解析，および移動体の制御を行う計算機により撮影装置を構築する。本装置は，カメラ映像を取得する映像入力手段，被写体までの距離や移動距離を計測する計測手段，移動体の運動を制御する制御手段，カメラ映像の解像度を向上する超解像度化手段，およびカメラ映像を継ぎ目なく合成する映像合成手段を有する。
【０００８】
（２） 現在撮影中のカメラ映像と過去に撮影したカメラ映像とを比較することにより，移動体の位置を推定する移動体位置同定手段を有する。
【０００９】
【発明の実施の形態】
本発明は，移動体に搭載されたカメラの映像を統合して，広視野角の映像を取得するための映像撮影装置に関する。具体的には，下記の方法を実施するソフトウェア，またはハードウェアを作成することにより実現できる。
（１）第１の実施形態
第１の実施形態は，移動ロボットに搭載したカメラにより撮影した映像を合成，超解像度化し，広視野角かつ高解像度の映像を取得する映像撮影装置に関する。
【００１０】
図１は，本実施例における映像撮影装置の構成図である。本装置は，センサ１００，移動ロボット１１０，計算機１２０，入出力装置１３０から構成される。
【００１１】
センサ１００としては，カメラ１０１および音響センサ１０２を使用する。センサ１００は移動ロボット１１０に搭載し，カメラ数および音響センサ数は１以上とする。カメラ１０１の焦点距離，姿勢等のパラメータはあらかじめ校正し，映像データ取得中は固定である。音響センサ１０２としては，音波を発信して反射波を観測することにより距離計測が可能であるアクティブソナーを使用する。
【００１２】
移動ロボット１１０は，駆動装置１１１，およびコントローラ１１２を備える。駆動装置１１１としては車輪を使用する。コントローラ１１２では，移動ロボットに搭載の音響センサ１０２の観測データの取得や，駆動装置１１１の状態監視，および制御を行う。
【００１３】
計算機１２０は，演算器１２１，画像処理ボード１２２，およびＲＳ２３２インタフェース１２３を備える。演算器１２１では，カメラ映像の処理や，移動ロボット１１０の制御量の算出を行う。画像処理ボード１２２では，カメラ１０１の映像データの取得や処理を行う。ＲＳ２３２インタフェース１２３は，移動ロボットのコントローラ１１２との接続に使用し，移動ロボット１１０の状態データ受信や，制御コマンドの送信に使用する。
【００１４】
入出力装置１３０としては，ディスプレイ１３１，キーボード１３２，マウス１３３を使用する。入出力装置１３０は，カメラ映像，移動ロボット１１０の状態等の表示，および各種パラメータの設定に使用する。
【００１５】
図２は，映像撮影装置におけるデータフローの概略図である。
【００１６】
カメラ１０１で得られる映像データ２０１は計算機１２０の画像処理ボード１２２に伝送される。カメラ１０１と画像処理ボード１２２はカメラケーブル１２４で接続する。画像処理ボード１２２ではＡ／Ｄ変換等の前処理を行い，処理後の映像データ２０２を演算器１２１に転送する。
【００１７】
音響センサ１０２で得られる音響データ２０４は，コントローラ１１２でＡ／Ｄ変換等の前処理後，演算器１２１に伝送される。コントローラ１１２と演算器１２１はＲＳ２３２ケーブル１２５で接続する。駆動装置１１１の状態を用いてコントローラ１１２で算出された，移動ロボット１１０の状態パラメータ２０６も同様に，ＲＳ２３２ケーブルを介して演算器１２１に伝送される。
【００１８】
演算器１２１では，映像データ２０２，音響データ２０５を処理して新たな映像データ２０３を作成し，ディスプレイ１３１に転送，表示する。また，駆動装置の制御コマンドおよび制御量２０６をＲＳ２３２ケーブル１２５を介してコントローラ１１２に転送する。コントローラ１１２では，制御コマンドおよび制御量２０７に基づいて駆動装置を制御する。
【００１９】
なお，映像データ２０１や音響データ２０４の取得，処理に関する各種パラメータ２０８，２０９は，キーボード１３２やマウス１３３などの入力装置により，あらかじめ設定する。
【００２０】
図３は，映像撮影装置における処理のブロック図である。以下，コントローラ１１２，画像処理ボード１２２，演算器１２１における各処理について説明する。なお，以下では，図４に示すように移動ロボット１１０を本棚４１と平行に移動させながら，本棚の本４２を撮影している状況を仮定する。図４において，ＸＹ座標は床面（水平面）に水平な座標であり，移動ロボット１１０の進行方向はＸ軸の正方向であるとする。
【００２１】
移動ロボット１１０内部のコントローラ１１２における処理は，音響信号観測部３１１，状態計測部３１２，および駆動制御部３１３から構成される。
【００２２】
音響信号観測部３１１では，音響センサ１０２の観測データ２０４を取得する。このデータに対してＡ／Ｄ変換等の前処理を行い，音響データ２０５を出力する。
【００２３】
状態計測部３１２では，駆動装置１１１の状態，すなわち回転数および回転角を取得する。これらのデータから移動ロボット１１０の位置，速度，および角度（進行方向）を算出し，移動ロボットの状態パラメータ２０６として出力する。ここで，位置および角度は移動ロボット１１０の初期位置を基準とした値として得られる。
【００２４】
駆動制御部３１３では，後述の制御量算出部３２５の出力である制御コマンドおよび制御量２０７と，現在の移動ロボットの状態パラメータ２０６より，駆動装置１１１の回転数，回転角を算出する。それらの値を用いて駆動装置１１１を制御する。
【００２５】
計算機１２０内部の画像処理ボード１２２および演算器１２１における処理は，映像入力部３２１，超解像度化部３２２，映像合成部３２３，距離計測部３２４，制御量算出部３２５より構成される。
【００２６】
映像入力部３２１では，カメラ１０１の映像データ２０１を取得する。このデータに対してＡ／Ｄ変換等の前処理を行い，映像データ２０２を出力する。図５に映像入力部３２１で得られる映像データ２０２の例を示す。画像５０１から５０４は，それぞれ地点Ｘ＝１からＸ＝４で撮影された映像を切り出した画像である。図５に示すように，移動時の振動等のため本棚４１のライン等がずれる，解像度が十分でないために本の背表紙の文字がつぶれてしまう等の問題が発生する。
【００２７】
超解像度化部３２２では，カメラ１０１により得られる複数の連続した映像データ２０２を使用して映像の高周波成分を復元することにより映像データ２０２の解像度を向上する。超解像度化の方法としては，下記文献１等に記載の各種方法を使用することができる。
【００２８】
文献１：川崎洋ら，“時空間画像解析を用いた全方位カメラ映像の超解像度化”，信学論Ｄ−ＩＩ，Ｖｏｌ．８４，Ｎｏ．８，ｐｐ．１８９１−１９０２，２００１．
図６に超解像度化部３２２で得られる映像データの例を示す。画像６０１は画像５０２から５０４を使用して，画像５０１を処理した画像である。図６に示すように，映像データの解像度を向上することにより，背表紙の文字が認識可能となる。
【００２９】
映像合成部３２３では，複数の異なる映像データ２０２に対して幾何変換，および輝度変換を行い，複数の画像を継ぎ目なく合成する。幾何変換は，一方の画像の座標系を基準座標系とし，他方の画像をその基準座標系に座標変換する処理であり，異なる画像間の位置合わせを行う。輝度変換は，重複部分の画像における濃淡の差を低減する処理であり，異なる画像間の輝度の差に依存する継ぎ目の除去を行う。これらの処理としては，下記文献２等に記載の各種方法を使用することができる。
【００３０】
文献２：高木幹雄，下田陽久，“画像解析ハンドブック”，東京大学出版会，１９９１．
図７に映像合成部３２３で得られる映像データの例を示す。画像７０１は図５に示した全ての画像を合成した例である。図７に示すように，ラインのずれや各画像の継ぎ目のない一つの広域映像が得られる。
【００３１】
距離計測部３２４では，音響センサ１０２の観測データ２０４を使用して，基準物と移動ロボット１１０の距離を算出する。基準物との距離は，音響センサ１０２より既知のパルス信号を送信し，その送信時刻と基準物からの反射波の到達時刻の差に基づいて推定する。図４の撮影例では本棚４１等を基準物として使用する。
【００３２】
制御量算出部３２５では，移動ロボット１１０の状態パラメータ２０６と距離計測部３２４で算出した移動ロボット１１０の基準物からの距離に基づいて，移動ロボット１１０が所望の行動をとるように，移動ロボットの状態パラメータ２０６の変更量（制御量）を算出する。算出した制御量を制御コマンドと共に駆動制御部３１３に出力する。図４の撮影例では，本棚４１と移動ロボット１１０の距離の時間的変動から，移動ロボット１１０が本棚４１と平行に走行しているか判定する。本棚４１と移動ロボット１１０の距離が一定値となるように制御量および制御コマンド２０７を決定する。
【００３３】
以上のように，移動ロボットに搭載したカメラにより撮影した映像を継ぎ目なく繋ぎ合わせることにより一つの広視野角の映像を取得することが可能である。また同時に，複数の映像を使用して超解像度化を行うことにより，被写体の細かな情報が認識可能な高解像度の映像を取得することができる。
（２）第２の実施形態
第２の実施形態は，撮影した映像データを使用して移動ロボットの位置を同定する移動体位置の推定手段を備えた映像撮影装置に関する。第１の実施形態との相違点は，移動体位置の推定手段が加わった点である。
【００３４】
図８は，本実施例の映像撮影装置における処理のブロック図である。移動体位置同定部８２１では，現在撮影中の映像と過去に撮影した映像とを比較，照合する。そして，照合のとれた過去の映像を撮影した位置を現在の移動体の推定位置とする。比較，照合方法としては，それぞれの映像から複数の特徴点を選択して照合する方法や，現在撮影中の映像からテンプレートを作成し，過去に撮影した映像上でそのテンプレートに合う部分を探索する方法を使用する。これらの方法については，上記文献２にマッチング手法として記載されている。
【００３５】
図９に過去に撮影した映像９０１と現在撮影中の映像９０３の例を示す。本９０２ａから９０２ｄと本９０４ａから９０４ｄがそれぞれ等しい本である。ただし，本９０４ｃは過去の映像９０１上の本９０２ｃと異なる形で本棚にしまわれている。本９０２ｃ近傍だけしか撮影できないカメラでは，映像間のマッチングがとれないことがある。本実施例における映像装置では，映像９０１，９０３のように本９０２ｃ近傍以外の映像データをマッチングに使用できるため，映像データ間の比較，照合をより高精度に行うことができる。
【００３６】
【発明の効果】
本発明によれば，移動ロボットにカメラを搭載して，その運動を制御しながら映像の撮影，および超解像度化，合成を行うことにより，広視野角かつ高解像度の映像を自動撮影する映像撮影装置を提供することができる。
【図面の簡単な説明】
【図１】映像撮影装置の構成図。
【図２】映像撮影装置におけるデータフローの概略図。
【図３】映像撮影装置における処理のブロック図。
【図４】移動ロボットによる撮影状況の例。
【図５】映像入力部で得られる映像データの例。
【図６】超解像度化部で得られる映像データの例。
【図７】映像合成部で得られる映像データの例。
【図８】移動体位置同定部を備えた映像撮影装置における処理のブロック図。
【図９】異なる時間に同じ被写体を撮影した場合の映像データの例。
【符号の説明】
１０１：カメラ
１０２：音響センサ
１１１：駆動装置
１１２：移動ロボットのコントローラ
１２１：演算器
１２２：画像処理ボード
５０１，５０２，５０３，５０４：撮影した映像データ
６０１：高解像度化された映像データ
７０１：合成された広視野角映像
９０１：過去撮影した映像データ
９０２：現在撮影中の映像データ
９０２ｃ，９０４ｃ：過去と現在の映像上で異なる被写体
Claims (2)
- カメラを搭載した移動体と，カメラ映像の蓄積，解析，および移動体の制御を行う計算機から成る映像撮影装置であり，
カメラ映像を取得する映像入力手段，被写体までの距離や移動距離を計測する計測手段，移動体の運動を制御する制御手段，既カメラ映像の解像度を向上する超解像度化手段，および既カメラ映像を継ぎ目なく合成する映像合成手段を備える
ことを特徴とする広視野角・高解像度映像撮影装置。 - 請求項１において，
現在撮影中の既カメラ映像と過去に撮影した既カメラ映像とを比較することにより，既移動体の位置を推定する移動体位置同定手段を備える
ことを特徴とする広視野角・高解像度映像撮影装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003028993A JP2004242048A (ja) | 2003-02-06 | 2003-02-06 | 広視野角・高解像度映像撮影装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003028993A JP2004242048A (ja) | 2003-02-06 | 2003-02-06 | 広視野角・高解像度映像撮影装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004242048A true JP2004242048A (ja) | 2004-08-26 |
Family
ID=32956290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003028993A Pending JP2004242048A (ja) | 2003-02-06 | 2003-02-06 | 広視野角・高解像度映像撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004242048A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100405218C (zh) * | 2005-08-31 | 2008-07-23 | 中国科学院长春光学精密机械与物理研究所 | 航空相机动态分辨力测试用模拟动态目标发生器 |
| WO2009066988A2 (en) * | 2007-11-22 | 2009-05-28 | Mimos Berhad | Device and method for a surveillance system |
| TWI667529B (zh) * | 2018-04-24 | 2019-08-01 | 財團法人工業技術研究院 | 環景點雲資料的建立方法與建立系統 |
| US10694103B2 (en) | 2018-04-24 | 2020-06-23 | Industrial Technology Research Institute | Building system and building method for panorama point cloud |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0421008A (ja) * | 1990-05-14 | 1992-01-24 | Canon Inc | 移動装置 |
| JPH1069537A (ja) * | 1996-08-28 | 1998-03-10 | Nec Corp | 画像合成方法及び画像合成装置 |
| JPH11242737A (ja) * | 1998-02-26 | 1999-09-07 | Ricoh Co Ltd | 画像処理方法及び装置並びに情報記録媒体 |
| JP2002324235A (ja) * | 2001-04-24 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成表示方法及びその装置 |
-
2003
- 2003-02-06 JP JP2003028993A patent/JP2004242048A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0421008A (ja) * | 1990-05-14 | 1992-01-24 | Canon Inc | 移動装置 |
| JPH1069537A (ja) * | 1996-08-28 | 1998-03-10 | Nec Corp | 画像合成方法及び画像合成装置 |
| JPH11242737A (ja) * | 1998-02-26 | 1999-09-07 | Ricoh Co Ltd | 画像処理方法及び装置並びに情報記録媒体 |
| JP2002324235A (ja) * | 2001-04-24 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 車載カメラの画像合成表示方法及びその装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100405218C (zh) * | 2005-08-31 | 2008-07-23 | 中国科学院长春光学精密机械与物理研究所 | 航空相机动态分辨力测试用模拟动态目标发生器 |
| WO2009066988A2 (en) * | 2007-11-22 | 2009-05-28 | Mimos Berhad | Device and method for a surveillance system |
| WO2009066988A3 (en) * | 2007-11-22 | 2009-09-24 | Mimos Berhad | Device and method for a surveillance system |
| TWI667529B (zh) * | 2018-04-24 | 2019-08-01 | 財團法人工業技術研究院 | 環景點雲資料的建立方法與建立系統 |
| US10694103B2 (en) | 2018-04-24 | 2020-06-23 | Industrial Technology Research Institute | Building system and building method for panorama point cloud |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643066B2 (en) | Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control | |
| JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
| WO2019238113A1 (zh) | 成像方法、装置、终端和存储介质 | |
| WO2006015236A3 (en) | Audio-visual three-dimensional input/output | |
| GB2593335A (en) | Method and apparatus for 3-D auto tagging | |
| JP2002209208A (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
| WO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
| WO2011148595A1 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
| KR20180121259A (ko) | 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법 | |
| JP2002267441A (ja) | ステレオマッチング方法および監視装置 | |
| JP5084542B2 (ja) | 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム | |
| JP2004242048A (ja) | 広視野角・高解像度映像撮影装置 | |
| JP4277503B2 (ja) | 映像撮影装置及び方法 | |
| JP2003009141A (ja) | 車両周辺画像処理装置及び記録媒体 | |
| CN114821544B (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
| JP3429194B2 (ja) | 自動追尾装置 | |
| CN113688680B (zh) | 一种智能识别与追踪系统 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| JP2001057652A (ja) | 画像入力装置および画像入力方法 | |
| JPH10294890A (ja) | 自動／手動撮影カメラシステム | |
| JP4665781B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP3555151B2 (ja) | カメラ撮影制御装置 | |
| JP2002042158A (ja) | 画像合成装置および画像合成方法およびプログラムを記録した媒体 | |
| JP2001136431A (ja) | カメラ制御装置及びカメラ制御方法及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051219 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |