JP2004192076A

JP2004192076A - Image generation device

Info

Publication number: JP2004192076A
Application number: JP2002356090A
Authority: JP
Inventors: Takumi Hashizume; 匠橋詰; Junichi Takiguchi; 純一瀧口
Original assignee: Waseda University; Mitsubishi Electric Corp
Current assignee: Waseda University; Mitsubishi Electric Corp
Priority date: 2002-12-06
Filing date: 2002-12-06
Publication date: 2004-07-08
Anticipated expiration: 2022-12-06
Also published as: JP4255272B2

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an image useful for precisely grasping the state of a space or the like which a person cannot easily look directly at, or the state of an object such as a person or matter present in the space. <P>SOLUTION: A searching and monitoring device 10 comprises a mobile 11 movable in a prescribed direction to generate an integrated area image A of the moving area, and a full circumference imaging device 16 provided on the mobile 11 to substantially simultaneously image the circumferential visual field to obtain a ring-like original image T. The mobile 11 comprises an image expansion means 35 for expanding the original image T to a substantially rectangular panoramic image P, and an area image generation means 36 for integrating the panoramic images P of the area in which the mobile is moved to generate the area image A. In the area image generation means 36, the processing of collecting the panoramic images P having a width W according to the speed of the mobile 11 every predetermined time, and connecting each panoramic image P with the lapse of time is performed. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像生成装置に係り、更に詳しくは、人間が容易に直視することのできない空間等の様子、及び当該空間内に存在する人や物等の状況を正確に把握するのに有用な画像生成装置に関する。
【０００２】
【従来の技術】
従来、大地震で倒壊の可能性のある家屋内の被災者発見、火災等で人間が侵入できない場所での生存者発見、又は、原子炉内等の人間が容易に入れない場所での機器点検時には、ＣＣＤカメラを搭載した無線操縦の移動体を進入させ、ＣＣＤカメラからの映像を外部で確認することで，遭難者の救出プランの策定や，機器の点検が実施されている。（例えば、特許文献１参照）
【０００３】
【特許文献１】
特開２００２−２００９９０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術では、リアルタイムのカメラ映像のみが得られるに過ぎず、移動体が進入する内部の状況が複雑な場合に、対象物とカメラアングル如何では、対象物等の識別や機器の点検が困難な場合がある。また、例えば、被災者を画像上で確認できても、その位置までは特定できないばかりか、その周囲の環境（例えば，天井落下の危険性，障害物の有無）の危険度に関する判断が固定カメラの瞬時映像からでは行い難いという問題がある。更に、救出のための階段や穴等をカメラで捕らえることができても、階段や穴等と被災者との位置関係が掴み難いため、救出プラン策定が行い難いという問題がある。また、カメラの映像からでは、当該カメラと被災者や点検対象機器等の対象物との離間距離が不明であり、この離間距離を簡単に把握できる装置の出現も要望されているところである。
【０００５】
【発明の目的】
本発明は、以上の問題点に着目して案出されたものであり、その目的は、人間が容易に直視することのできない空間等の様子や当該空間内に存在する人、物等対象物の状況を正確に把握するのに有用な画像を得ることができる画像生成装置を提供することにある。
【０００６】
また、本発明の他の目的は、カメラ等の撮像手段によって撮像された対象物と撮像手段との離間距離を画像上で簡単に把握することができる画像生成装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、本発明は、所定方向に移動可能な移動体と、この移動体に設けられるとともに、周囲の視野を略同時に撮像してリング状の原画像を得る撮像手段と、前記原画像を略短冊状のパノラマ画像に展開する画像展開手段と、前記移動体が移動した領域のパノラマ画像を総合した領域画像を生成する領域画像生成手段とを備え、
前記領域画像生成手段は、前記移動体の速度に応じた幅のパノラマ画像を所定時間毎に収集し、これら各パノラマ画像を経時的に繋ぎ合わることで、前記領域画像を生成する、という構成を採っている。このような構成によれば、移動体の移動領域のパノラマ画像を総合した領域画像が形成されるため、移動体が移動した空間の様子や当該空間内に存在する人や物の状況を一連の画像を用いて正確に把握することができる。従って、空間の状況が複雑であっても、空間内の人や物の識別や機器の点検等を容易に行うことができる他、被災者と、危険物及び救出のための階段、穴等との相対位置や相対姿勢が掴み易くなり、被災者の救出プランの策定を容易に行うことも可能となる。
【０００８】
本発明における領域画像生成手段は、前記各パノラマ画像が略一定の向きで直線方向に繋ぎ合わされてなる帯状領域画像が生成される移動体基準画像生成部を備える、という構成を採っている。このように構成することで、比較的簡単な画像処理で領域画像を形成することができる。
【０００９】
また、前記移動体の速度を検出する速度検出手段と、前記移動体の方位角及び／又は姿勢変位角を検出する角度検出手段とを備え、
前記領域画像生成手段は、方位が考慮された地図的領域画像が生成される方位基準画像生成部を備え、当該方位基準画像生成部は、前記速度検出手段及び角度検出手段の検出値に基づいて、各パノラマ画像が所定の方位を基準として繋ぎ合わされることで、前記地図的領域画像を生成する、という構成を併用できる。このような構成により、領域画像に映し出された対象物等の方位や、移動体の移動距離等が簡単に分かり、対象物等の探索や移動体の現在位置の特定等を容易に行うことができる。また、被災者や機器の周囲の環境の危険性、例えば、天井のコンクリートのひび割れ、天井落下の危険性、床面の穴や段差、床や壁面の障害物の有無等が地図に対応して表示されることになり、これら危険性のある場所や部位等を地図上で特定することができる。
【００１０】
ここにおいて、前記速度検出手段は、所定の直交三軸方向の速度をそれぞれ検出可能に設けられる一方、前記角度検出手段は、前記直交三軸回りの回転角をそれぞれ検出可能に設けられ、
前記方位基準画像生成部は、前記速度検出手段及び角度検出手段からの検出値に基づいて、前記地図的領域画像を三次元的に生成する、という構成を採ることが好ましい。これにより、移動体が天地方向に移動する場合においても、移動体の移動領域の周囲の状況、対象物等の方位、移動体の移動距離、及び、移動体の現在位置等を正確に把握することができる。
【００１１】
ここで、前記方位基準画像生成部は、前記移動体の移動軌跡を算出可能に設けられる、という構成を併用することができる。このような構成によれば、移動体の移動ルートを地図上で簡単に把握することが可能となる。
【００１２】
また、前記方位基準画像生成部には、前記移動体の移動による画像のブレを補正するスタビライザー機能が設けられる、という構成を採るとよい。これにより、移動体の移動時に撮像手段に揺れが生じても、当該揺れによる画像のブレが補正され、より見易い領域画像を提供することができる。
【００１３】
更に、前記移動体と所定の対象物との離間距離が反映された距離画像を生成する距離画像生成手段を更に備え、
前記距離画像生成手段は、前記移動体の移動による前記原画像の視差から算出された離間距離に基づいて前記距離画像を生成する、という構成も併せて採用することができる。このような構成によれば、カメラ等の撮像手段によって撮像された対象物と撮像手段との離間距離を画像上で簡単に把握することができ、移動体の移動時における障害物の回避、移動体の速度調整や進路決定等を難なく行うことができる。
【００１４】
ここにおいて、前記距離画像生成手段は、前記離間距離に応じて異なる色彩が施された距離画像を生成する、という構成を採用とするとよい。これにより、対象物に対する遠近関係を視覚的に早く把握することができ、移動体の操作性を一層高めることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１６】
［第１実施例］
図１には、本実施例に係る画像生成装置としての探索監視装置の概略構成図が示されている。この図において、探索監視装置１０は、人間が入れない場所等を移動しながら周囲を撮像し、当該移動領域を総合した領域画像を生成する装置である。この探索監視装置１０は、所定方向に移動して前記領域画像を生成する移動体１１と、この移動体１１の移動を遠隔操作するための移動操作端末１２と、移動体１１と別個に設けられるとともに、当該移動体１１からの領域画像が表示される表示手段１４とを備えて構成されている。
【００１７】
前記移動体１１は、前方及び周囲の視野を略同時に撮像可能な撮像手段としての全周撮像器（ＯＤＶ：Ｏｍｎｉ−ＤｉｒｅｃｔｉｏｎａｌＶｉｓｉｏｎ）１６と、この全周撮像器１６の後方（図１中左方）に連なるとともに、各種センサが格納されたセンサユニット（ＩＭＵ：ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）１７と、これら全周撮像器１６及びセンサユニット１７からの各種データに基づき、コンピュータを用いて所定の演算処理等を行うことにより前記領域画像を生成する画像処理装置１８と、これら各装置１６〜１８が搭載されるとともに、キャタビラー等からなる移動機構２０が設けられたプラットフォーム２１と、前記移動操作端末１２からの指令に基づいて移動機構２０を駆動させる駆動装置２２とを備えて構成されている。
【００１８】
前記全周撮像器１６は、図２に示されるように、略半球状の外観をなす本体２４と、この本体２４の外周部分に周方向に沿って多数設けられて図示しない電源により発光するＬＥＤ等の発光体２５とを備えている。
【００１９】
前記本体２４は、本出願人により既提案されている特開２００２−３２５２４６号公報等に記載された構造が採用され、その前方（図１中右方）と側方略全周（側方約３６０度）とを略同時に撮像可能となっている。すなわち、本体２４は、図３に示されるように、略中央に穴２７が形成された凸状の主鏡２８と、当該主鏡２８を覆うとともに、外からの光が透過可能となる略半球状のドーム２９と、このドーム２９の頂部２９Ａに固定された凸状の副鏡３０と、主鏡２８の穴２７の裏側（図３中左方）に相対配置されるＣＣＤカメラ等の撮像部３１とを備えている。この本体２４は、図３中二点鎖線で示されるように、その前方からの光が直接、撮像部３１に入射される一方、側方からの光が主鏡２８、副鏡３０の順で反射されて撮像部３１に入射されるようになっている。この結果、図４に示される円形の原画像Ｔが得られるようになっている。この原画像Ｔは、側方略全周の画像を表すリング状のドーナツ画像Ｄと、このドーナツ画像Ｄの内側に位置するとともに、前方の画像を表す中央画像Ｃとにより構成されている。
【００２０】
前記発光体２５は、全周撮像器１６の周辺が所定以下の明るさになったときに発光することで、暗所での本体２４による撮像を可能にしている。この場合、特に限定されるものではないが、全周撮像器１６が存在する場所の明るさ等に応じて自動若しくは手動でＯＮ−ＯＦＦできるように構成し、加えて、発光体２５の照度等を調整できる構造としてもよい。
【００２１】
なお、前記全周撮像器１６としては、中央画像Ｃをも含めた原画像Ｔが得られる構造としたが、ドーナツ画像Ｄのみが得られるようにしてもよい。要するに、本発明は、周囲の視野を略同時に撮像してリング状の原画像Ｔを得ることができる限りにおいて、種々の構造の撮像手段を採用することができる。
【００２２】
前記センサユニット１７は、図５に示されるように、移動体１１の進行方向の直線加速度を検出可能な直線加速度計３３によって構成されている。
【００２３】
前記画像処理装置１８は、図５及び図６に示されるように、全周撮像器１６で得られたドーナツ画像Ｄを短冊状のパノラマ画像Ｐに展開する画像展開手段３５と、この画像展開手段３５より展開されたパノラマ画像Ｐを繋ぎ合わせて、前記移動体１１（図１参照）の移動領域を総合した一連の領域画像Ａ（図７参照）を生成する領域画像生成手段３６とを備えている。
【００２４】
前記画像展開手段３５は、図５に示されるように、全周撮像器１６で得られたドーナツ画像Ｄに係るデータをデジタル変換する公知のフレームグラバ３８と、このフレームグラバ３８で変換されたデジタルデータ（例えば、ビットマップデータ）に対して所定の演算処理をすることで前記パノラマ画像Ｐを生成する処理部３９とを備えて構成されている。
【００２５】
処理部３９は、前記特開２００２−３２５２４６号公報において本出願人が既に提案したアルゴリズムを用いて、歪んだドーナツ画像Ｄから歪みが補正されたパノラマ画像Ｐに展開できるようになっている。なお、この展開アルゴリズムは、本発明の本質ではないため詳細な説明を省略する。
【００２６】
前記領域画像生成手段３６は、図７に示されるように、パノラマ画像Ｐを所定時間毎に収集し、これら各パノラマ画像Ｐを経時的に繋ぎ合わることで、帯状領域画像Ａ１を生成するようになっている。すなわち、領域画像生成手段３６は、図５に示されるように、前記直線加速度計３３による検出値を時間で積分して移動速度を演算する積分器４１と、この積分器４１による演算値から全周撮像器１６が基準となる帯状領域画像Ａ１を生成する移動体基準画像生成部４２とにより構成されている。この移動体基準画像生成部４２は、単位時間毎に撮像されたパノラマ画像Ｐを略一定の向きで直線方向（図７中左右方向）に経時的に繋ぎ合わせることで、一連の帯状領域画像Ａ１を生成するようになっている。つまり、ここでは、図７に示されるように、パノラマ画像Ｐの長寸側の辺同士が経時的に接合され、方形状の帯状領域画像Ａ１が生成されることになる。この際、各パノラマ画像Ｐの短寸方向の幅Ｗは、積分器４１で求められた移動体１１の移動速度に応じて相違し、具体的には、移動体１１の移動速度の増大に伴って幅Ｗが増大するようになっている。ここで、以上においては、直線加速度計３３及び積分器４１により、移動体１１の速度を検出する速度検出手段を構成する。なお、この速度検出手段としては、前記構成例に限定されるものではなく、オドメータ等の他の機器を適用することもできる。
【００２７】
前記表示手段１４は、一若しくは二以上の液晶ディスプレイやＣＲＴディスプレイ等により構成されており、具体的には、図５に示されるように、全周撮像器１６からの原画像Ｔをリアルタイムで表示する第１の表示部４４と、領域画像生成手段３６で生成された帯状領域画像Ａ１を表示する第２の表示部４５とを備えている。
【００２８】
従って、このような第１実施例によれば、第１の表示部４４に表示された全周撮像器１６の現在の原画像Ｔを見ながら、人間の入れないような場所等での移動体１１の操作を簡単に行うことができる。更に、移動体１１の移動領域の画像が一連の領域画像Ａとして得られることになるため、人間が容易に入れないような場所等の様子やその場所に存在する対象物等を、あたかも人間が実際に見たのと略同等に把握できるという効果を得る。
【００２９】
次に、本発明の前記以外の実施例について説明する。なお、以下の説明において、前述した部分と同一若しくは同等の構成部分については、同一符号を用いて説明を省略若しくは簡略にする。
【００３０】
［第２実施例］
この第２実施例は、第１実施例に対し、帯状領域画像Ａ１の他に、方位が考慮された図８の地図的領域画像Ａ２をも生成可能としたところに特徴を有する。
【００３１】
すなわち、ここでの地図的領域画像Ａ２は、図８中北方向を上方、東方向を右方とする水平面上において、各パノラマ画像Ｐが、それらの中での北方向が常に同図中上を向くように、各パノラマ画像Ｐを適宜回転しながら繋ぎ合わされることにより形成される。従って、この地図的領域画像Ａ２は、北基準の地図的な役割を担い、ある部分に映し出されている所定の対象物（図示省略）の位置や移動体１１の出発点等からの距離の把握を可能とする。この地図的領域画像Ａ２は、前記表示手段１４の一部を構成する第３の表示部４６（図９参照）で表示されるようになっている。なお、その他の第１及び第２の表示部４４，４５は、前記第１実施例と同様に、原画像Ｔ、帯状領域画像Ａ１が表示されるようになっている。
【００３２】
また、図９に示されるように、前記センサユニット１７は、前記直線加速度計３３に加え、地磁気の水平成分から移動体１１のヨー方位角を検出可能な磁気方位計４８を更に備えている。なお、磁気方位計４８の代わりに地球の自転を検出する方式の他の方位計を適用することも可能である。
【００３３】
前記領域画像生成手段３６は、前記移動体基準画像生成部４２及び前記積分器４１に加え、当該積分器４１で演算された移動体１１の移動速度及び磁気方位計４８で検出された方位角に基づいて、地図的領域画像Ａ２を生成する方位基準画像生成部５０を更に備えて構成されている。
【００３４】
方位基準画像生成部５０は、図１０に示されるように、北が上方、東が右方となる地図状の北基準水平面座標系（磁北座標系）における各パノラマ画像Ｐの姿勢（回転角）と移動軌跡Ｌを求め、各パノラマ画像Ｐを北基準で経時的に繋ぎ合わせるようになっている。
【００３５】
すなわち、方位基準画像生成部５０では、図１１に示されるアルゴリズムを用いて地図的領域画像Ａ２が生成される。以下、このアルゴリズムの内容について説明する。
【００３６】
先ず、前記第１実施例と同様にしてドーナツ画像Ｄがパノラマ画像Ｐに展開された後（Ｓ１０１）、各パノラマ画像Ｐは、磁気方位計４８の検出値ψ_ＭＡＧに基づき、図１２のパノラマ画像座標系Ｐ（ｘ_Ｐ（ｉ），ｙ_Ｐ（ｊ））から図１０の磁北座標系Ｎ（ｘ_Ｎ（ｉ），ｙ_Ｎ（ｊ））に変換される（Ｓ１０２）。この際における変換式は、次の通りである。
【数１】

但し、ｉ＝１〜ｗ（図１２参照）、ｊ＝１〜ｈ（図１２参照）とする。
このようにして求められた値は、前記各パノラマ画像Ｐの回転角を特定するパラメータとなる。
【００３７】
一方、各パノラマ画像Ｐの移動軌跡Ｌは、積分器４１により演算された移動体１１の直線速度ΔＬ_Ｐと磁気方位計４８の検出値ψ_ＭＡＧとに基づき、次式によって求められる（Ｓ１０３）。
【数２】

ここで、ｎ（ｎ＝１，２，３・・・・）は、サンプリング周期であり、Ｌ（ｘ_ｎ，ｙ_ｎ）は、サンプリング時の移動体１１の位置を示す。
【００３８】
以上の式により、各サンプルにおけるパノラマ画像Ｐの位置及び姿勢が特定され、それらを総合して地図的領域画像Ａ２が生成される（Ｓ１０４）。
【００３９】
従って、このような第２実施例によれば、前述した第１実施例の効果に加え、地図的領域画像Ａ２も得られるため、移動体１１に写し出された人や物の位置に対する外部からの正確な把握に寄与できるという効果をも得る。
【００４０】
［第３実施例］
この第３実施例は、前記第２実施例に対し、前記第３の表示部４６で、図１３に示されるように、地図的領域画像Ａ２及び移動体１１の移動軌跡Ｌを三次元的に表示可能にしたところに特徴を有する。同時に、方位基準画像生成部５０に、移動体１１の移動による地図的領域画像Ａ２のブレを補正するスタビライザー機能を設けたところに特徴を有する。
【００４１】
ここでのセンサユニット１７は、図１４に示されるように、移動体１１の進行方向をＸ軸とする直交三軸方向の移動体１１の直線加速度をそれぞれ検出可能な３軸直線加速度計５２と、移動体１１のロール方向、ピッチ方向、及びヨー方向回りの角速度を検出可能な３軸ジャイロ５３と、前記磁気方位計４８とを備えて構成されている。
【００４２】
また、３軸直線加速度計５２で検出された各直線加速度を時間で積分して直交三軸方向の速度を演算する積分器５５と、３軸ジャイロ５３で検出された各角速度を時間で積分して三方向回りの回転角度を演算する積分器５６とが設けられている。従って、３軸直線加速度計５２と積分器５５とにより、所定の直交三軸方向の移動体の速度を検出可能な速度検出手段が構成される一方、３軸ジャイロ５３と積分器５６とにより、前記直交三軸回りの回転角（姿勢変位角）を検出可能な角度検出手段が構成される。なお、この角度検出手段としては、ヨー方向について前記磁気方位計４８を用い、他の二方向については、傾斜を検出する傾斜計等に代替させることも可能である。
【００４３】
本実施例に係る方位基準画像生成部５０は、前記各実施例と同様の手順で得られたパノラマ画像Ｐと、３軸直線加速度計５２及び積分器５５により得られた直交三軸方向の速度と、３軸ジャイロ５３と積分器５６により得られた三方向回りの回転角と、前記磁気方位計により検出された方位角とから、前記第２実施例と異なるアルゴリズムを用いることにより、前記地図的領域画像Ａ２及び移動軌跡Ｌを三次元的に生成し、且つ、地図的領域画像Ａ２のブレを補正するよう演算処理するようになっている。
【００４４】
ここでのアルゴリズムにつき、図１５等を用いながら以下に説明する。
【００４５】
前記各実施例と同様にしてドーナツ画像Ｄがパノラマ画像Ｐに展開された後（Ｓ２０１）、当該パノラマ画像Ｐの各座標が、図１２のパノラマ画像座標系Ｐ（ｘ_Ｐ（ｉ），ｙ_Ｐ（ｊ））から、図１６の極座標系Ｑ（θ_ＡＺ＿０（ｉ），θ_ＥＬ＿０（ｊ））に変換される（Ｓ２０２）。ここでは、次の変換式が用いられる。
【数３】

但し、ｉ＝１〜ｗ（図１２参照）とする。
【数４】

但し、ｊ＝１〜ｈ（図１２参照）とする。
【００４６】
そして、パノラマ画像Ｐの各座標が、図１５及び図１７に示されるように、極座標系Ｑ（θ_ＡＺ＿０（ｉ），θ_ＥＬ＿０（ｊ））から、直交座標系（ｘ_０，ｙ_０，ｚ_０）に変換される（Ｓ２０３）。ここでは、次の変換式が用いられる。
【数５】

【数６】

【数７】

ここで得られたパノラマ画像Ｐの各座標は、図１８及び図１９に示されるように、全周撮像器１６（ＯＤＶ）を基準としたＯＤＶ基準直交座標系（ｘ_０，ｙ_０，ｚ_０）となる。
【００４７】
次いで、図１５に示されるように、パノラマ画像Ｐの各座標は、前記ＯＤＶ基準直交座標系（ｘ_０，ｙ_０，ｚ_０）から、移動体１１を基準とした図２０の機体基準直交座標系（ｘ_Ｐ，ｙ_Ｐ，ｚ_Ｐ）に変換される（Ｓ２０４）。ここでは、次の変換式が用いられる。
【数８】

但し、φ_０−Ｐ，θ_０−Ｐ，ψ_０−Ｐは、移動体１１に対する全周撮像器１６のオフセット角、つまり、ＯＤＶ基準直交座標系と機体基準直交座標系とのオフセット角である。また、次式（９）〜（１１）に示されるように、Ｃ_Ｘ（φ）は、ロール（ｘ）方向の回転行列であり、Ｃ_Ｙ（θ）は、ピッチ（ｙ）方向の回転行列であり、Ｃ_Ｚ（ψ）は、ヨー（ｚ）方向の回転行列である。
【数９】

【数１０】

【数１１】

【００４８】
そして、パノラマ画像Ｐの各座標は、移動体１１によって動く前記機体基準直交座標系（ｘ_Ｐ，ｙ_Ｐ，ｚ_Ｐ）から、常時静止状態となる水平面基準座標系（ｘ_Ｈ，ｙ_Ｈ，ｚ_Ｈ）に変換される（Ｓ２０５）。ここでは、積分器５６で３軸ジャイロ５３の角速度を積分する（Ｓ２０６）ことによって得られる各方向の回転角（ロール方向φ_Ｐ，ピッチ方向θ_Ｐ，ヨー方向ψ_Ｐ）が用いられ、これによって、移動体１１の移動によるパノラマ画像Ｐのブレを補正する処理が行われる。ここで、機体基準直交座標系（ｘ_Ｐ，ｙ_Ｐ，ｚ_Ｐ）から、水平面基準座標系（ｘ_Ｈ，ｙ_Ｈ，ｚ_Ｈ）への変換式は、次の通りである。
【数１２】

なお、Ｃ_Ｘ（φ）、Ｃ_Ｙ（θ）、Ｃ_Ｚ（ψ）は、前述の式（９）〜（１１）を利用して求められる。
【００４９】
次に、パノラマ画像Ｐの各座標は、水平面基準座標系（ｘ_Ｈ，ｙ_Ｈ，ｚ_Ｈ）から、極座標系（θ_ＡＺ＿Ｈ（ｉ），θ_ＥＬ＿Ｈ（ｊ））に変換される（Ｓ２０７）。ここでの変換式は、次の通りである。
【数１３】

但し、ｘ_Ｈ，ｙ_Ｈの大きさにより、図２１の場合分けが行われる。
【数１４】

【００５０】
更に、パノラマ画像Ｐの各座標は、極座標系（θ_ＡＺ＿Ｈ（ｉ），θ_ＥＬ＿Ｈ（ｊ））から、水平面基準のパノラマ画像座標系Ｈ（ｘ_Ｈ（ｉ），ｙ_Ｈ（ｊ））に変換される（Ｓ２０８）。ここでの変換式は、次の通りである。
【数１５】

但し、ｉ＝１〜ｗ（図１２参照）とする。
【数１６】

但し、ｊ＝１〜ｈ（図１２参照）とする。
【００５１】
一方、パノラマ画像Ｐの移動軌跡Ｌは、次のようにして求められる。
【００５２】
先ず、３軸直線加速度計５２で検出された各方向の加速度を積分器５５で積分することで、移動体の速度（Δｘ_Ｐ，Δｙ_Ｐ，Δｚ_Ｐ）が求められる（Ｓ２０９）。そして、前記機体基準直交座標系での速度（Δｘ_Ｐ，Δｙ_Ｐ，Δｚ_Ｐ）から、前記水平面基準座標系での速度（Δｘ_Ｈ，Δｙ_Ｈ，Δｚ_Ｈ）に変換される（Ｓ２１０）。ここでの変換式は、前述した式（１２）が利用される。ここでも、前述の手順（Ｓ２０６）によって得られた各方向の回転角度（ロール方向φ_Ｐ，ピッチ方向θ_Ｐ，ヨー方向ψ_Ｐ）が用いられる。なお、Ｃ_Ｘ（φ）、Ｃ_Ｙ（θ）、Ｃ_Ｚ（ψ）は、前述の式（９）〜（１１）を利用して求められる。
【００５３】
そして、水平面基準座標系の速度（Δｘ_Ｈ，Δｙ_Ｈ）が、磁気方位計４８からの検出値ψ_ＭＡＧに基づき、図１０の磁北座標系の速度（Δｘ_Ｎ，Δｙ_Ｎ）に変換される（Ｓ２１１）。このときの変換式は、次の通りである。なお、ここでは、Δｚ_Ｈは用いない。
【数１７】

【００５４】
次に、前記磁北座標系の速度（Δｘ_Ｎ，Δｙ_Ｎ）と速度Δｚ_Ｈとから、次式を用いて移動体１１の移動軌跡Ｌが求められる（Ｓ２１２）。
【数１８】

ここで、ｎ（ｎ＝１，２，３・・・・）は、サンプリング周期である。
【００５５】
このようにして求められた移動軌跡Ｌは、前記第３の表示部４６で、図１３のように三次元的に表示される（Ｓ２１３）。
【００５６】
また、パノラマ画像Ｐの各座標は、前記Ｓ２０８の手順で求めたパノラマ画像座標系Ｈ（ｘ_Ｈ（ｉ），ｙ_Ｈ（ｊ））から、前記磁北座標系に変換される（Ｓ２１４）。ここでは、前記Ｓ２１２の手順で求められた移動体１１の移動軌跡Ｌと、磁気方位計４８からの検出値ψ_ＭＡＧとに基づき、次式により変換される。
【数１９】

但し、ｉ＝１〜ｗ、ｊ＝１〜ｈとする。
【００５７】
このようにして求められた北方向基準の地図的領域画像Ａ２は、天地方向（Ｚ軸方向）の位置（高さ・深さ位置）毎に、第３の表示部４６で表示可能となる（Ｓ２１４）。
【００５８】
従って、このような第３実施例によれば、前述した効果に加え、移動体１１が天地方向に移動したときでも、その周囲の状況をより確実に把握することができるという効果を得る。
【００５９】
また、方位基準画像生成部５０に、移動体１１の移動に伴うパノラマ画像Ｐのブレを補正するスタビライザー機能が設けられているため、例えば、瓦礫の上を移動体１１が走行する場合等において、当該移動体１１の揺れにより生じるパノラマ画像Ｐのブレが補正されることになり、地図的領域画像Ａ２を一層見易くできるという効果をも得る。
【００６０】
なお、第３実施例の方位基準画像生成部５０に対し、スタビライザー機能を設けないようにすることも可能である。この場合は、積分器５６で演算された角度変位（φ_Ｐ、θ_Ｐ、ψ_Ｐ）を考慮せずに、第２実施例と同様にしてパノラマ座標Ｐの座標変換が行われる。
【００６１】
また、前記第２及び第３実施例では、北基準の地図的領域画像Ａ２を生成できるようにしたが、本発明はこれに限らず、同様のアルゴリズムで、他の方角や方向等を基準とした地図的領域画像Ａ２を生成するようにしてもよい。
【００６２】
［第４実施例］
この第４実施例に係る探索監視装置６０は、図２２に示されるように、前記第１実施例の構成に加え、移動体１１から所定の対象物（図示省略）までの距離が反映された距離画像を生成する距離画像生成手段６２を更に備えたところに特徴を有する。なお、ここで生成された距離画像は、表示手段１４の第３の表示部６４で表示される。
【００６３】
前記距離画像生成手段６２は、図２２及び図２３に示されるように、距離画像を生成する際に移動体１１の移動を指令する距離画像指令端末６６と、当該距離画像指令端末６６からの信号と前記移動指令端末１２からの信号を選択的に切り替える切替部６７と、フレームグラバ３８からのドーナツ画像Ｄが記憶される画像メモリ６９と、撮像タイミングの相違する二枚のドーナツ画像Ｄを対比することで、所定の距離画像を生成する距離画像生成部７０と、これら画像メモリ６９及び距離画像生成部７０を指令する撮像タイミング発生部７１とを備えて構成されている。
【００６４】
なお、特に限定されるものではないが、本実施例では、距離画像指令端末６６、切替部６７、及び撮像タイミング発生部７１が移動体１１と別個に設けられる一方、画像メモリ６９及び距離画像生成部７０が移動体１１の画像処理装置１８に設けられている。ここで、切替部６７及び撮像タイミング発生部７１を、移動体１１に設けてもよいし、逆に、画像メモリ６９及び距離画像生成部７０を、移動体１１と別個に設けてもよい。
【００６５】
前記距離画像指令端末６６は、所定の操作を行うと、切替部６７が切り替わって、移動体１１を直進させる指令を駆動装置２２に付与するようになっている。
【００６６】
前記距離画像生成部７０は、移動体１１の移動により異なる角度から撮像された二つのドーナツ画像Ｄに対し、それぞれ写った対象物の各画素数の差である視差から、移動体１１と対象物との間の最短離間距離（以下、単に、「離間距離」と称する）を算出し、当該離間距離の大きさに応じて、前記対象物の色彩を人工的に変えた距離画像を生成できるようになっている。ここで、前記離間距離の算出は、前記視差の逆数に所定の定数を乗じることにより求められる。また、距離画像の生成は、距離毎に定められた色彩から、算出された離間距離に対応する色彩を選択し、当該色彩を、前記対象物が映った画像に施す処理が行われるようになっている。なお、前記対象物が映った画像に距離を併記する処理を行ってもよい。
【００６７】
前記撮像タイミング発生部７１は、距離画像指令端末６６の操作が行われたときに、その直後のドーナツ画像Ｄを記憶するように画像メモリ６９に指令するとともに、距離画像指令端末６６の操作が行われてから一定時間後のドーナツ画像Ｄを取り込むように距離画像生成部７０に指令する。
【００６８】
次に、前記距離画像生成手段６２による処理手順を説明する。
【００６９】
距離画像指令端末６６の操作が行われると、移動体１１が、一定時間直進する。この際、移動体１１の移動直後に全周撮像器１６で撮像された先のドーナツ画像Ｄが、フレームグラバ３８から画像メモリ６９に記憶される。その後、所定時間経過し、移動体１１が更に直進した状態で全周撮像器１６に撮像された後のドーナツ画像Ｄが、フレームグラバ３８から距離画像生成部７０に取り込まれる。すると、距離画像生成部７０では、画像メモリ６９から先のドーナツ画像Ｄが取り込まれ、後のドーナツ画像Ｄとともに、それらに写った所定の対象物の画素数を計測して視差を算出する。そして、当該視差に基づいて前記離間距離が求められ、更に、前記対象物に所定の色彩が人工的に施された距離画像が生成されることになる。
【００７０】
従って、このような第４実施例によれば、前記第１実施例の効果に加え、対象物までの距離を距離画像で確認することができ、移動体１１の操作上一層有用になる。
【００７１】
なお、距離画像生成手段６２は、第２及び第３実施例の構成に対しても、同様に付加することができる。
【００７２】
また、前記各実施例におけるアルゴリズムや処理手順、及び装置各部の構成は、前記各実施例に限定されるものではなく、実質的に同様の結果、作用、効果等が得られる限りにおいて、種々の変更が可能である。
【００７３】
更に、前記各実施例では、画像処理装置１８を移動体１１に設けたが、本発明はこれに限らず、画像処理装置１８の一部若しくは全体の構成を移動体１１と分離配置することも可能である。
【００７４】
また、前記各実施例では、人間の入れない場所等の状況を把握する探索監視装置に本発明を適用したが、本発明はこれに限らず、他の用途の画像生成装置にも適用することができる。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、あたかも現場を直視したかのような画像を得ることができ、人間が容易に直視できない空間等の様子や当該空間内に存在する人や物等の対象物の状況を正確に把握することができる。
【００７６】
また、移動体と対象物との離間距離を画像から簡単に把握することができ、当該離間距離と実際の画像とにより、移動体の操作を一層楽に行うことができる。
【図面の簡単な説明】
【図１】第１実施例に係る探索監視装置の概略構成図。
【図２】全周撮像器及びセンサユニットの概略斜視図。
【図３】全周撮像器の概略断面図。
【図４】原画像の概念図。
【図５】第１実施例に係る画像処理装置のシステム構成図。
【図６】ドーナツ画像からパノラマ画像への展開を説明するための概念図。
【図７】帯状領域画像の概念図。
【図８】地図的領域画像の概念図。
【図９】第２実施例に係る画像処理装置のシステム構成図。
【図１０】北基準水平面座標系を説明するための図。
【図１１】第２実施例の方位基準画像生成部で適用されるアルゴリズムを説明するためのチャート図。
【図１２】パノラマ画像座標系を説明するための図。
【図１３】第３実施例の方位基準画像生成部で得られる三次元的な地図的領域画像及び移動軌跡の表示態様を示す概念図。
【図１４】第３実施例に係る画像処理装置のシステム構成図。
【図１５】第３実施例の方位基準画像生成部で適用されるアルゴリズムを説明するためのチャート図。
【図１６】パノラマ画像極座標系を説明するための図。
【図１７】極座標−直交座標変換を説明するための図。
【図１８】ＯＤＶ基準直交座標系と機体基準直交座標系との関係を示す斜視図。
【図１９】ＯＤＶ基準極座標系を説明するための斜視図。
【図２０】機体基準直交座標系を説明するための斜視図。
【図２１】直交座標から極座標への変換の際の場合分けに用いられる図表。
【図２２】第４実施例に係る探索監視装置のシステム構成図。
【図２３】第４実施例に係る探索監視装置の概略構成図。
【符号の説明】
１０探索監視装置（画像生成装置）
１１移動体
１６全周撮像器（撮像手段）
１７センサユニット
１８画像処理装置
３３直線加速度計（速度検出手段）
３５画像展開手段
３６領域画像生成手段
４１積分器（速度検出手段）
４２移動体基準画像生成部
４８磁気方位計
５０方位基準画像生成部
５２三軸直線加速度計（速度検出手段）
５３三軸ジャイロ（角度検出手段）
５５積分器（速度検出手段）
５６積分器（角度検出手段）
６０探索監視装置（画像生成装置）
６２距離画像生成手段
Ａ領域画像
Ａ１帯状領域画像
Ａ２地図的領域画像
Ｄドーナツ画像
Ｌ移動軌跡
Ｐパノラマ画像
Ｔ原画像
Ｗ幅[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image generating apparatus, and more specifically, is useful for accurately grasping a state of a space or the like that cannot be easily seen directly by a human, and a situation of a person or an object existing in the space. The present invention relates to an image generation device.
[0002]
[Prior art]
Conventionally, a victim was found inside a house that could collapse due to a large earthquake, a survivor was found in a place where humans could not enter due to a fire, etc., or equipment inspection in a place where humans could not easily enter such as in a nuclear reactor Occasionally, a rescue plan for a distressed person is determined and equipment is inspected by allowing a wirelessly-controlled mobile object equipped with a CCD camera to enter and externally check the image from the CCD camera. (For example, see Patent Document 1)
[0003]
[Patent Document 1]
JP 2002-200990 A
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional technology, only a real-time camera image can be obtained, and when an internal situation where a moving object enters is complicated, whether the object and the camera angle are different, identification of the object or the like or inspection of equipment is performed. Can be difficult. Further, for example, even if the victim can be confirmed on the image, not only the position cannot be specified, but also the judgment regarding the degree of danger of the surrounding environment (eg, danger of falling from the ceiling, presence or absence of obstacles) is performed by a fixed camera. There is a problem that it is difficult to perform from the instant video. Furthermore, even if a camera can capture the steps, holes, etc. for rescue, it is difficult to grasp the positional relationship between the stairs, holes, etc. and the victim, and thus it is difficult to formulate a rescue plan. Further, the distance between the camera and an object such as a victim or a device to be inspected is unknown from the image of the camera, and there is a demand for a device that can easily grasp the distance.
[0005]
[Object of the invention]
The present invention has been devised in view of the above problems, and has as its object the appearance of a space or the like that cannot be easily seen directly by humans, or the presence of an object such as a person or an object in the space. It is an object of the present invention to provide an image generating apparatus capable of obtaining an image useful for accurately grasping the situation.
[0006]
Another object of the present invention is to provide an image generating apparatus capable of easily grasping, on an image, a separation distance between an object imaged by an imaging means such as a camera and the imaging means.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a moving body that is movable in a predetermined direction, and an imaging unit that is provided on the moving body and obtains a ring-shaped original image by imaging a surrounding visual field substantially simultaneously. Image developing means for developing the original image into a substantially strip-shaped panoramic image, and an area image generating means for generating an area image obtained by integrating panoramic images of the area where the moving body has moved,
A configuration in which the area image generating unit collects panoramic images having a width corresponding to the speed of the moving object at predetermined time intervals, and connects the panoramic images with time to generate the area image. Has been adopted. According to such a configuration, a region image is formed by integrating the panoramic image of the moving region of the moving object, so that the state of the space in which the moving object has moved and the situation of people and objects existing in the space can be described in a series. It can be accurately grasped using images. Therefore, even if the space situation is complicated, it is possible to easily identify people and objects in the space and check equipment, etc. The relative position and relative posture of the victim can be easily grasped, and the rescue plan of the victim can be easily formulated.
[0008]
The area image generating means according to the present invention has a configuration in which a moving object reference image generating section is provided which generates a band-shaped area image in which the panoramic images are joined in a linear direction in a substantially constant direction. With this configuration, an area image can be formed by relatively simple image processing.
[0009]
A speed detecting unit that detects a speed of the moving body; and an angle detecting unit that detects an azimuth angle and / or a posture displacement angle of the moving body,
The area image generation unit includes an azimuth reference image generation unit that generates a map-like area image in which an azimuth is considered, and the azimuth reference image generation unit is configured to perform a process based on detection values of the speed detection unit and the angle detection unit. The configuration in which the panoramic images are joined based on a predetermined azimuth to generate the map-like region image can be used together. With such a configuration, the azimuth of the object and the like, the moving distance of the moving object, and the like shown in the area image can be easily understood, and the search for the object and the current position of the moving object can be easily performed. it can. In addition, the danger of the environment around the victim and the equipment, such as cracks in the concrete on the ceiling, the danger of falling from the ceiling, holes and steps on the floor, and the presence of obstacles on the floor and wall, etc. are displayed in a map. Therefore, these danger places and parts can be specified on the map.
[0010]
Here, the speed detecting means is provided so as to be able to detect a speed in each of predetermined orthogonal triaxial directions, while the angle detecting means is provided so as to be able to detect rotation angles around the orthogonal triaxial axes, respectively.
It is preferable that the azimuth reference image generation unit three-dimensionally generate the cartographic region image based on detection values from the speed detection unit and the angle detection unit. Thus, even when the moving body moves in the vertical direction, the situation around the moving area of the moving body, the azimuth of the target object, the moving distance of the moving body, the current position of the moving body, and the like are accurately grasped. be able to.
[0011]
Here, the azimuth reference image generation unit may be used together with a configuration in which the trajectory of the moving object is calculated. According to such a configuration, the moving route of the moving object can be easily grasped on the map.
[0012]
Further, the azimuth reference image generation unit may be provided with a stabilizer function for correcting image blur caused by movement of the moving body. Thus, even if the imaging unit shakes during the movement of the moving body, the shake of the image due to the shake is corrected, and a more visible area image can be provided.
[0013]
Further, the image processing apparatus further includes a distance image generating unit that generates a distance image in which a separation distance between the moving body and the predetermined target object is reflected,
The distance image generating means may also adopt a configuration in which the distance image is generated based on a separation distance calculated from parallax of the original image due to movement of the moving object. According to such a configuration, it is possible to easily grasp on the image the distance between the image pickup unit and the target imaged by the image pickup unit such as a camera, and to avoid or move the obstacle when the moving body moves. Adjustment of body speed and determination of course can be performed without difficulty.
[0014]
Here, it is preferable to adopt a configuration in which the distance image generating means generates distance images having different colors according to the separation distance. Thereby, the perspective relation to the target object can be visually grasped quickly and the operability of the moving body can be further improved.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0016]
[First embodiment]
FIG. 1 is a schematic configuration diagram of a search monitoring device as an image generating device according to the present embodiment. In FIG. 1, a search and monitoring apparatus 10 is an apparatus that captures an image of the surroundings while moving in places where no humans can enter, and generates an area image in which the moving areas are integrated. The search monitoring device 10 is provided separately from the moving body 11 that moves in a predetermined direction to generate the area image, a mobile operation terminal 12 for remotely controlling the movement of the moving body 11, and the like. And display means 14 for displaying an area image from the moving body 11.
[0017]
The moving body 11 includes an omnidirectional imaging device (ODV: Omni-Directional Vision) 16 as an imaging unit capable of imaging the front and surrounding visual fields substantially simultaneously, and a rear portion of the omnidirectional imaging device 16 (left side in FIG. 1). ), And based on various data from the sensor unit (IMU: Inertial Measurement Unit) 17 in which various sensors are stored, and various data from the omnidirectional imaging device 16 and the sensor unit 17, perform predetermined arithmetic processing using a computer. An image processing device 18 that generates the region image by performing the above operation, a platform 21 on which these devices 16 to 18 are mounted, and a moving mechanism 20 including a caterpillar or the like are provided, and a command from the moving operation terminal 12 And a driving device 22 for driving the moving mechanism 20 based on the It is configured.
[0018]
As shown in FIG. 2, the full-circumference imaging device 16 includes a main body 24 having a substantially hemispherical appearance, and a plurality of LEDs provided along an outer peripheral portion of the main body 24 along a circumferential direction and emitting light by a power supply (not shown). And the like.
[0019]
The main body 24 employs a structure described in Japanese Patent Application Laid-Open No. 2002-325246, which has already been proposed by the present applicant, and its front (right side in FIG. 1) and substantially the entire side (approximately 360 sides). ) Can be imaged substantially simultaneously. That is, as shown in FIG. 3, the main body 24 includes a convex primary mirror 28 having a hole 27 formed substantially in the center, and a substantially hemisphere that covers the primary mirror 28 and allows external light to pass therethrough. -Shaped dome 29, a convex sub-mirror 30 fixed to the top 29 A of the dome 29, and an image pickup unit such as a CCD camera or the like disposed relatively behind the hole 27 of the primary mirror 28 (left side in FIG. 3). 31. In the main body 24, as shown by a two-dot chain line in FIG. 3, light from the front is directly incident on the image pickup unit 31, while light from the side is transmitted in the order of the primary mirror 28 and the secondary mirror 30. The light is reflected and made incident on the imaging unit 31. As a result, a circular original image T shown in FIG. 4 is obtained. The original image T is composed of a ring-shaped donut image D representing an image of substantially the entire circumference of the side, and a central image C located inside the donut image D and representing a forward image.
[0020]
The luminous body 25 emits light when the periphery of the omnidirectional image pickup device 16 has a brightness equal to or less than a predetermined value, thereby enabling imaging by the main body 24 in a dark place. In this case, although not particularly limited, it is configured so that it can be turned on or off automatically or manually according to the brightness or the like of the place where the omnidirectional image pickup device 16 is present. May be adjusted.
[0021]
The omnidirectional imaging device 16 has a structure in which the original image T including the central image C is obtained, but only the donut image D may be obtained. In short, the present invention can employ imaging means having various structures as long as the ring-shaped original image T can be obtained by imaging the surrounding visual field substantially simultaneously.
[0022]
As shown in FIG. 5, the sensor unit 17 includes a linear accelerometer 33 capable of detecting a linear acceleration in the traveling direction of the moving body 11.
[0023]
As shown in FIGS. 5 and 6, the image processing device 18 includes an image expanding unit 35 that expands the donut image D obtained by the full-circumferential imaging device 16 into a rectangular panoramic image P; A panoramic image P developed from 35, and a region image generating means 36 for generating a series of region images A (see FIG. 7) obtained by integrating the moving regions of the moving body 11 (see FIG. 1). I have.
[0024]
As shown in FIG. 5, the image developing means 35 includes a known frame grabber 38 for digitally converting data relating to the donut image D obtained by the omnidirectional imaging device 16, and a digital converter converted by the frame grabber 38. A processing unit 39 that generates the panoramic image P by performing predetermined arithmetic processing on data (for example, bitmap data).
[0025]
The processing unit 39 can develop a distorted donut image D into a distortion-corrected panoramic image P using an algorithm already proposed by the present applicant in Japanese Patent Application Laid-Open No. 2002-325246. This expansion algorithm is not the essence of the present invention, and a detailed description thereof will be omitted.
[0026]
As shown in FIG. 7, the area image generating means 36 collects the panoramic images P at predetermined time intervals, and connects these panoramic images P over time to generate a band-shaped area image A1. It has become. That is, as shown in FIG. 5, the area image generating means 36 integrates the detection value of the linear accelerometer 33 with time to calculate the moving speed, and The peripheral imager 16 includes a moving object reference image generation unit 42 that generates a band-shaped area image A1 serving as a reference. The moving object reference image generation unit 42 connects the panoramic images P captured at each unit time in a linear direction (the horizontal direction in FIG. 7) in a substantially constant direction over time to form a series of band-shaped area images A1. Is generated. That is, here, as shown in FIG. 7, the longer sides of the panoramic image P are joined with time, and a rectangular band-shaped area image A1 is generated. At this time, the width W in the short dimension direction of each panoramic image P differs according to the moving speed of the moving body 11 obtained by the integrator 41. Specifically, as the moving speed of the moving body 11 increases, As a result, the width W increases. Here, in the above, the linear accelerometer 33 and the integrator 41 constitute speed detecting means for detecting the speed of the moving body 11. Note that the speed detecting means is not limited to the above configuration example, and other devices such as an odometer can be applied.
[0027]
The display means 14 is composed of one or more liquid crystal displays, CRT displays, or the like. Specifically, as shown in FIG. 5, an original image T from the full-circumferential imaging device 16 is displayed in real time. And a second display unit 45 for displaying the band-shaped area image A1 generated by the area image generating means 36.
[0028]
Therefore, according to such a first embodiment, while viewing the current original image T of the omnidirectional image pickup device 16 displayed on the first display section 44, the moving object in a place where humans cannot enter is present. 11 can be easily performed. Furthermore, since the image of the moving area of the moving body 11 is obtained as a series of area images A, it is possible for a person to enter a state such as a place that cannot be easily entered by a human or an object existing in the place. The effect is obtained that the user can comprehend almost the same as actually seen.
[0029]
Next, other embodiments of the present invention will be described. In the following description, components that are the same as or equivalent to those described above will be omitted or simplified by using the same reference numerals.
[0030]
[Second embodiment]
The second embodiment is characterized in that, in addition to the first embodiment, in addition to the band-shaped region image A1, a map-like region image A2 of FIG.
[0031]
That is, here, the map-like area image A2 is such that each panoramic image P is on the horizontal plane in which the north direction is upward in FIG. Are formed by joining the panoramic images P while rotating the panoramic images P as appropriate. Therefore, this map-like area image A2 plays a role of a map with reference to the north, and grasps the position of a predetermined object (not shown) projected in a certain portion, the distance from the starting point of the moving body 11, and the like. Is possible. The map-like area image A2 is displayed on the third display unit 46 (see FIG. 9) which forms a part of the display unit 14. The other first and

second display sections

44 and 45 are configured to display the original image T and the band-shaped area image A1, similarly to the first embodiment.
[0032]
As shown in FIG. 9, the sensor unit 17 further includes, in addition to the linear accelerometer 33, a magnetic compass 48 capable of detecting the yaw azimuth of the moving body 11 from a horizontal component of geomagnetism. Note that, instead of the magnetic compass 48, another compass that detects the rotation of the earth can be applied.
[0033]
The area image generating means 36 calculates the moving speed of the moving object 11 calculated by the integrator 41 and the azimuth detected by the magnetic compass 48 in addition to the moving object reference image generating unit 42 and the integrator 41. The directional reference image generation unit 50 that generates the map-like area image A2 based on the azimuth reference image is further provided.
[0034]
As shown in FIG. 10, the orientation reference image generation unit 50 is configured to provide the attitude (rotation angle) of each panoramic image P in a map-like north reference horizontal plane coordinate system (magnetic north coordinate system) in which north is upward and east is right. And the movement trajectory L are obtained, and the panoramic images P are connected over time based on the north reference.
[0035]
That is, the azimuth reference image generation unit 50 generates the map-like area image A2 using the algorithm shown in FIG. Hereinafter, the contents of this algorithm will be described.
[0036]
First, in the same manner as in the first embodiment, after the donut image D is developed into a panoramic image P (S101), each of the panoramic images P is detected by the detected value ψ of the magnetic compass 48. _MAG Based on the panoramic image coordinate system P (x _P (I), y _P (J)) to the magnetic north coordinate system N (x _N (I), y _N (J)) (S102). The conversion formula at this time is as follows.
(Equation 1)

However, i = 1 to w (see FIG. 12) and j = 1 to h (see FIG. 12).
The value obtained in this manner is a parameter for specifying the rotation angle of each of the panoramic images P.
[0037]
On the other hand, the moving trajectory L of each panoramic image P is the linear velocity ΔL of the moving body 11 calculated by the integrator 41. _P And the detected value of the magnetic compass 48 _MAG Is obtained by the following equation (S103).
(Equation 2)

Here, n (n = 1, 2, 3,...) Is a sampling period, and L (x _n , Y _n ) Indicates the position of the moving body 11 at the time of sampling.
[0038]
With the above equations, the position and orientation of the panoramic image P in each sample are specified, and a map-like area image A2 is generated by integrating them (S104).
[0039]
Therefore, according to the second embodiment, in addition to the effects of the first embodiment described above, a map-like area image A2 is also obtained, so that the position of a person or an object projected on the mobile object 11 from the outside can be obtained. The effect of contributing to accurate grasp is also obtained.
[0040]
[Third embodiment]
This third embodiment is different from the second embodiment in that the third display unit 46 displays the map-like area image A2 and the moving trajectory L of the moving body 11 three-dimensionally, as shown in FIG. It has a characteristic in that it can be displayed. At the same time, the azimuth reference image generation unit 50 is characterized in that a stabilizer function for correcting blurring of the map-like area image A2 due to the movement of the moving body 11 is provided.
[0041]
As shown in FIG. 14, the sensor unit 17 includes a three-axis linear accelerometer 52 capable of detecting linear accelerations of the moving body 11 in three orthogonal directions with the traveling direction of the moving body 11 as the X axis. , A three-axis gyro 53 capable of detecting angular velocities of the moving body 11 around the roll direction, the pitch direction, and the yaw direction, and the magnetic compass 48.
[0042]
Also, an integrator 55 that integrates each linear acceleration detected by the three-axis linear accelerometer 52 with time to calculate the velocity in the orthogonal three-axis direction, and integrates each angular velocity detected by the three-axis gyro 53 with time. And an integrator 56 for calculating rotation angles around three directions. Therefore, the three-axis linear accelerometer 52 and the integrator 55 constitute speed detecting means capable of detecting the speed of the moving body in the predetermined orthogonal three-axis directions, while the three-axis gyro 53 and the integrator 56 form Angle detecting means is configured to detect a rotation angle (posture displacement angle) about the three orthogonal axes. As the angle detecting means, it is possible to use the magnetic compass 48 for the yaw direction and to substitute an inclinometer for detecting the inclination in the other two directions.
[0043]
The azimuth reference image generation unit 50 according to the present embodiment includes a panoramic image P obtained by the same procedure as in each of the above embodiments, and a speed in the orthogonal three-axis directions obtained by the three-axis linear accelerometer 52 and the integrator 55. From the rotation angles around the three directions obtained by the three-axis gyro 53 and the integrator 56 and the azimuth angle detected by the magnetic compass, the map is obtained by using an algorithm different from that of the second embodiment. The dynamic region image A2 and the moving trajectory L are three-dimensionally generated, and an arithmetic process is performed to correct the blur of the geographic region image A2.
[0044]
The algorithm here will be described below with reference to FIG.
[0045]
After the donut image D is developed into the panoramic image P in the same manner as in each of the above embodiments (S201), each coordinate of the panoramic image P is converted into the panoramic image coordinate system P (x _P (I), y _P (J)), the polar coordinate system Q (θ _{AZ_0} (I), θ _{EL_0} (J)) (S202). Here, the following conversion formula is used.
[Equation 3]

However, i = 1 to w (see FIG. 12).
(Equation 4)

However, j = 1 to h (see FIG. 12).
[0046]
Then, as shown in FIGS. 15 and 17, each coordinate of the panoramic image P is expressed by a polar coordinate system Q (θ _{AZ_0} (I), θ _{EL_0} (J)), the rectangular coordinate system (x ₀ , Y ₀ , Z ₀ ) (S203). Here, the following conversion formula is used.
(Equation 5)

(Equation 6)

(Equation 7)

As shown in FIGS. 18 and 19, each coordinate of the panoramic image P obtained here is based on an ODV reference rectangular coordinate system (x ₀ , Y ₀ , Z ₀ ).
[0047]
Next, as shown in FIG. 15, each coordinate of the panoramic image P is defined by the ODV reference rectangular coordinate system (x ₀ , Y ₀ , Z ₀ ), The body reference orthogonal coordinate system (x _P , Y _P , Z _P ) (S204). Here, the following conversion formula is used.
(Equation 8)

Where φ _0-P , Θ _0-P , Ψ _0-P Is an offset angle of the omnidirectional imaging device 16 with respect to the moving body 11, that is, an offset angle between the ODV reference rectangular coordinate system and the machine reference rectangular coordinate system. Also, as shown in the following equations (9) to (11), C _X (Φ) is a rotation matrix in the roll (x) direction. _Y (Θ) is a rotation matrix in the pitch (y) direction. _Z (Ψ) is a rotation matrix in the yaw (z) direction.
(Equation 9)

(Equation 10)

[Equation 11]

[0048]
Then, each coordinate of the panoramic image P is defined by the body reference rectangular coordinate system (x _P , Y _P , Z _P ), The horizontal plane reference coordinate system (x _H , Y _H , Z _H ) (S205). Here, the integrator 56 integrates the angular velocities of the three-axis gyro 53 (S206), and the rotation angle (roll direction φ) in each direction obtained by integrating the angular velocity. _P , Pitch direction θ _P , Yaw directionψ _P ) Is used, whereby a process of correcting the blur of the panoramic image P due to the movement of the moving body 11 is performed. Here, the aircraft reference rectangular coordinate system (x _P , Y _P , Z _P ) To the horizontal reference frame (x _H , Y _H , Z _H ) Is as follows.
(Equation 12)

Note that C _X (Φ), C _Y (Θ), C _Z (Ψ) is obtained by using the above-described equations (9) to (11).
[0049]
Next, each coordinate of the panoramic image P is represented by a horizontal plane reference coordinate system (x _H , Y _H , Z _H ) From the polar coordinate system (θ _{AZ_H} (I), θ _{EL_H} (J)) (S207). The conversion formula here is as follows.
(Equation 13)

Where x _H , Y _H 21 is performed according to the size of.
[Equation 14]

[0050]
Further, each coordinate of the panoramic image P is expressed by a polar coordinate system (θ _{AZ_H} (I), θ _{EL_H} (J)), the panoramic image coordinate system H (x _H (I), y _H (J)) (S208). The conversion formula here is as follows.
(Equation 15)

However, i = 1 to w (see FIG. 12).
(Equation 16)

However, j = 1 to h (see FIG. 12).
[0051]
On the other hand, the movement trajectory L of the panoramic image P is obtained as follows.
[0052]
First, the acceleration in each direction detected by the three-axis linear accelerometer 52 is integrated by the integrator 55 to obtain the speed (Δx _P , Δy _P , Δz _P ) Is required (S209). Then, the velocity (Δx _P , Δy _P , Δz _P ), The velocity in the horizontal reference frame (Δx _H , Δy _H , Δz _H ) (S210). The above-described equation (12) is used as the conversion equation here. Also in this case, the rotation angles (roll direction φ _P , Pitch direction θ _P , Yaw directionψ _P ) Is used. Note that C _X (Φ), C _Y (Θ), C _Z (Ψ) is obtained by using the above-described equations (9) to (11).
[0053]
Then, the velocity of the horizontal coordinate system (Δx _H , Δy _H ) Is the detected value from the magnetic compass 48 _MAG Based on the velocity (Δx _N , Δy _N ) (S211). The conversion formula at this time is as follows. Here, Δz _H Is not used.
[Equation 17]

[0054]
Next, the velocity of the magnetic north coordinate system (Δx _N , Δy _N ) And speed Δz _H Accordingly, the movement trajectory L of the moving body 11 is obtained using the following equation (S212).
(Equation 18)

Here, n (n = 1, 2, 3,...) Is a sampling cycle.
[0055]
The movement trajectory L obtained in this way is displayed three-dimensionally on the third display unit 46 as shown in FIG. 13 (S213).
[0056]
Further, each coordinate of the panoramic image P is determined by the panoramic image coordinate system H (x _H (I), y _H From (j)), it is converted to the magnetic north coordinate system (S214). Here, the movement locus L of the moving body 11 obtained in the procedure of S212 and the detection value ψ from the magnetic compass 48 _MAG Is converted by the following equation.
[Equation 19]

Here, i = 1 to w and j = 1 to h.
[0057]
The northern reference geographical area image A2 obtained in this way can be displayed on the third display unit 46 for each position (height / depth position) in the vertical direction (Z-axis direction) ( S214).
[0058]
Therefore, according to the third embodiment, in addition to the above-described effect, even when the moving body 11 moves in the vertical direction, an effect that the surroundings can be grasped more reliably.
[0059]
In addition, since the azimuth reference image generation unit 50 is provided with a stabilizer function for correcting blurring of the panoramic image P due to movement of the moving body 11, for example, when the moving body 11 travels on rubble, The blur of the panoramic image P caused by the shaking of the moving body 11 is corrected, and the effect that the map-like area image A2 can be more easily seen is also obtained.
[0060]
It should be noted that the azimuth reference image generation unit 50 of the third embodiment may not be provided with a stabilizer function. In this case, the angular displacement (φ _P , Θ _P , Ψ _P ), The panorama coordinates P are converted in the same manner as in the second embodiment.
[0061]
Further, in the second and third embodiments, the north-based map-like area image A2 can be generated. However, the present invention is not limited to this. The generated map-like area image A2 may be generated.
[0062]
[Fourth embodiment]
As shown in FIG. 22, the search and monitoring device 60 according to the fourth embodiment reflects the distance from the moving body 11 to a predetermined target (not shown) in addition to the configuration of the first embodiment. The feature is that a distance image generating means 62 for generating a distance image is further provided. Note that the generated distance image is displayed on the third display unit 64 of the display unit 14.
[0063]
As shown in FIGS. 22 and 23, the distance image generating means 62 includes a distance image command terminal 66 for commanding movement of the moving body 11 when generating a distance image, and a signal from the distance image command terminal 66. And a switching unit 67 for selectively switching signals from the movement command terminal 12, an image memory 69 in which a donut image D from the frame grabber 38 is stored, and two donut images D having different imaging timings. Thus, the image processing apparatus includes a distance image generation unit 70 that generates a predetermined distance image, and an imaging timing generation unit 71 that commands the image memory 69 and the distance image generation unit 70.
[0064]
Although not particularly limited, in the present embodiment, the distance image command terminal 66, the switching unit 67, and the imaging timing generation unit 71 are provided separately from the moving body 11, while the image memory 69 and the distance image generation The unit 70 is provided in the image processing device 18 of the moving body 11. Here, the switching unit 67 and the imaging timing generation unit 71 may be provided in the moving body 11, or conversely, the image memory 69 and the distance image generation unit 70 may be provided separately from the moving body 11.
[0065]
When the distance image command terminal 66 performs a predetermined operation, the switching unit 67 switches, and gives a command to the driving device 22 to move the moving body 11 straight.
[0066]
The distance image generation unit 70 calculates the distance between the moving object 11 and the target object based on the parallax, which is the difference between the numbers of pixels of the target object, for the two donut images D captured at different angles due to the movement of the moving object 11. (Hereinafter simply referred to as “separation distance”), and a distance image in which the color of the object is artificially changed according to the magnitude of the separation distance can be generated. It has become. Here, the calculation of the separation distance is obtained by multiplying a reciprocal of the parallax by a predetermined constant. Further, in the generation of the distance image, a process of selecting a color corresponding to the calculated separation distance from the colors determined for each distance and applying the color to the image in which the object is reflected is performed. ing. Note that a process of writing the distance together with the image of the target object may be performed.
[0067]
The imaging timing generation unit 71 instructs the image memory 69 to store the donut image D immediately after the operation of the distance image command terminal 66 when the operation of the distance image command terminal 66 is performed. The distance image generation unit 70 is instructed to take in the donut image D after a predetermined time from the start.
[0068]
Next, a processing procedure by the distance image generating means 62 will be described.
[0069]
When the operation of the distance image command terminal 66 is performed, the moving body 11 moves straight for a predetermined time. At this time, the previous donut image D captured by the full-circumferential imaging device 16 immediately after the moving body 11 moves is stored in the image memory 69 from the frame grabber 38. After that, a predetermined time has elapsed, and the donut image D captured by the full-circumferential imaging device 16 in a state where the moving body 11 further proceeds straight is taken into the distance image generation unit 70 from the frame grabber 38. Then, the distance image generation unit 70 fetches the preceding donut image D from the image memory 69, and calculates the parallax by measuring the number of pixels of a predetermined target object shown in the donut image D together with the subsequent donut image D. Then, the separation distance is obtained based on the parallax, and further, a distance image in which a predetermined color is artificially applied to the object is generated.
[0070]
Therefore, according to the fourth embodiment, in addition to the effect of the first embodiment, the distance to the object can be confirmed by the distance image, which is more useful for the operation of the moving body 11.
[0071]
Note that the distance image generating means 62 can be similarly added to the configurations of the second and third embodiments.
[0072]
In addition, the algorithms and processing procedures in each of the embodiments and the configuration of each unit of the apparatus are not limited to the above-described embodiments, and various configurations are possible as long as substantially the same results, actions, effects, and the like are obtained. Changes are possible.
[0073]
Further, in each of the above embodiments, the image processing device 18 is provided on the moving body 11. However, the present invention is not limited to this, and a part or the entire configuration of the image processing device 18 may be separately arranged from the moving body 11. It is possible.
[0074]
Further, in each of the above embodiments, the present invention is applied to the search and monitoring device that grasps the situation of places where humans cannot enter, but the present invention is not limited to this, and may be applied to image generation devices for other uses. Can be.
[0075]
【The invention's effect】
As described above, according to the present invention, it is possible to obtain an image as if looking directly at the site, and to view a state of a space or the like that a human cannot easily see directly or a person or an object existing in the space. The situation of the object can be accurately grasped.
[0076]
Further, the distance between the moving object and the object can be easily grasped from the image, and the operation of the moving object can be performed more easily by using the distance and the actual image.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a search monitoring device according to a first embodiment.
FIG. 2 is a schematic perspective view of an all-around image pickup device and a sensor unit.
FIG. 3 is a schematic sectional view of an all-around image pickup device.
FIG. 4 is a conceptual diagram of an original image.
FIG. 5 is a system configuration diagram of the image processing apparatus according to the first embodiment.
FIG. 6 is a conceptual diagram for explaining development from a donut image to a panoramic image.
FIG. 7 is a conceptual diagram of a band-shaped area image.
FIG. 8 is a conceptual diagram of a map-like area image.
FIG. 9 is a system configuration diagram of an image processing apparatus according to a second embodiment.
FIG. 10 is a view for explaining a north reference horizontal coordinate system.
FIG. 11 is a chart for explaining an algorithm applied in an azimuth reference image generation unit of the second embodiment.
FIG. 12 is a diagram for explaining a panoramic image coordinate system.
FIG. 13 is a conceptual diagram showing a display mode of a three-dimensional map-like region image and a movement trajectory obtained by an azimuth reference image generation unit of the third embodiment.
FIG. 14 is a system configuration diagram of an image processing apparatus according to a third embodiment.
FIG. 15 is a chart for explaining an algorithm applied in the azimuth reference image generation unit of the third embodiment.
FIG. 16 is a diagram for explaining a panoramic image polar coordinate system.
FIG. 17 is a diagram for explaining polar coordinate to rectangular coordinate conversion.
FIG. 18 is a perspective view showing a relationship between an ODV reference rectangular coordinate system and an airframe reference rectangular coordinate system.
FIG. 19 is a perspective view illustrating an ODV reference polar coordinate system.
FIG. 20 is a perspective view for explaining an airframe reference orthogonal coordinate system.
FIG. 21 is a chart used for classification when converting from rectangular coordinates to polar coordinates.
FIG. 22 is a system configuration diagram of a search and monitoring device according to a fourth embodiment.
FIG. 23 is a schematic configuration diagram of a search and monitoring device according to a fourth embodiment.
[Explanation of symbols]
10 Search and monitoring device (image generation device)
11 Moving body
16 Full circumference imaging device (imaging means)
17 Sensor unit
18 Image processing device
33 linear accelerometer (speed detection means)
35 Image expansion means
36 area image generating means
41 Integrator (speed detection means)
42 Moving object reference image generation unit
48 magnetic compass
50 Direction reference image generation unit
52 triaxial linear accelerometer (speed detection means)
53 Three-axis gyro (angle detection means)
55 integrator (speed detection means)
56 integrator (angle detection means)
60 Search and monitoring device (image generation device)
62 Distance image generation means
A area image
A1 Band area image
A2 Map-like area image
D donut image
L locus
P Panoramic image
T original image
W width

Claims

A moving body movable in a predetermined direction, an imaging unit provided on the moving body and capturing a surrounding visual field substantially simultaneously to obtain a ring-shaped original image, and developing the original image into a substantially strip-shaped panoramic image Image developing means, and an area image generating means for generating an area image combining panoramic images of the area where the moving body has moved,
The region image generating means collects a panoramic image having a width corresponding to the speed of the moving object at predetermined time intervals, and connects the panoramic images with time to generate the region image. An image generation device.

2. The moving object reference image generating unit according to claim 1, wherein the area image generating unit includes a moving body reference image generating unit that generates a band-shaped area image in which the panoramic images are connected in a linear direction in a substantially constant direction. 3. Image generation device.

Speed detecting means for detecting a speed of the moving body, and angle detecting means for detecting an azimuth angle and / or a posture displacement angle of the moving body,
The area image generation unit includes an azimuth reference image generation unit that generates a map-like area image in which an azimuth is considered, and the azimuth reference image generation unit is configured to perform a process based on detection values of the speed detection unit and the angle detection unit. 3. The image generating apparatus according to claim 1, wherein the panoramic images are connected based on a predetermined azimuth to generate the map-like region image.

The speed detecting means is provided so as to be able to detect a predetermined speed in each of the three orthogonal triaxial directions, while the angle detecting means is provided so as to be able to detect a rotation angle around each of the three orthogonal axes,
The image generation apparatus according to claim 3, wherein the azimuth reference image generation unit three-dimensionally generates the map-like region image based on detection values from the speed detection unit and the angle detection unit.

The image generation device according to claim 4, wherein the azimuth reference image generation unit is provided so as to be able to calculate a movement locus of the moving body.

The image generation apparatus according to claim 4, wherein the azimuth reference image generation unit is provided with a stabilizer function of correcting image blur caused by movement of the moving body.

The image processing apparatus further includes a distance image generating unit that generates a distance image in which a separation distance between the moving object and the predetermined target object is reflected,
The image according to any one of claims 1 to 6, wherein the distance image generation unit generates the distance image based on a separation distance calculated from a parallax of the original image due to movement of the moving body. Generator.

The image generating apparatus according to claim 7, wherein the distance image generating unit generates a distance image having a different color according to the separation distance.