JP2007081925A

JP2007081925A - 全方位撮像装置

Info

Publication number: JP2007081925A
Application number: JP2005268215A
Authority: JP
Inventors: Takeshi Kasahara; 毅笠原
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2005-09-15
Filing date: 2005-09-15
Publication date: 2007-03-29

Abstract

【課題】全方位撮像装置としての構成を複雑にすることがなく、また画像処理技術の高速処理が可能な全方位撮像装置を提供すること。
【解決手段】全方位撮像装置は、広角レンズによって環状画像を得る全方位センサ１と、全方位センサ１により得られる環状画像５をパノラマ展開画像８あるいは拡大画像９に変換する画像処理装置２と、各画像５，８，９を表示するための表示装置３と、を備えている。画像処理装置２は、環状画像５をパノラマ展開画像８もしくは拡大画像に９変換する際の環状画像５における中心座標（ｘｎ，ｙｎ）をパターンマッチング処理により抽出する。
【選択図】図１

Description

本発明は、全方位撮像レンズを備えた全方位撮像手段によって環状画像を得て、この環状画像をパノラマ展開画像もしくは拡大画像に変換する全方位撮像装置に関するものである。

全方位撮像装置としては、全方位撮像レンズを備えた全方位撮像手段によって環状画像を得て、この環状画像をパノラマ展開画像もしくは拡大画像に変換する全方位撮像装置が知られている。かかる全方位撮像装置は、前記環状画像を前記パノラマ展開画像もしくは前記拡大画像に変換する際に、変換画像における歪みの発生を抑制するために、前記環状画像における基準位置となる中心座標を求める必要がある。この中心座標を求めるためには、前記各画像を表示するための表示手段の表示画面に、その表示画面の縦横方向のそれぞれの中心位置を示すクロスラインを表示し、このクロスラインのセンター位置と、前記環状画像の中心位置とを目視により確認し、専用に用意されたキーボードや操作スイッチ等の操作手段を用いて前記センター位置と前記環状画像の中心位置とを手動による操作で合わせ、中心座標を求めるものであった。

しかしながら、このような全方位撮像装置は、手動によって前記中心座標を求める構成であるために、前記操作手段や前記操作手段に対応するインターフェイス関連機器が必要となり、装置としても構成が煩雑になるばかりか、人的作業を要するため人による中心位置のずれが生じてしまうといった問題点を有していた。

このような問題点に着目し、特許文献１及び特許文献２に示すような全方位撮像装置が提案されている。特許文献１に開示されている全方位撮像装置は、全方位撮像レンズの表面に撮像領域の境界に対応する上限と下限（または内側と外側）の位置に沿って環状基準線を印刷形成し、この環状基準線を備えた全方位撮像レンズを用いて撮像した環状画像を２値化処理して前記環状基準線のみを取り出した画像に変換し、この変換画像を用いて環状画像のパノラマ展開画像への展開領域を表す中心座標を求めるものである。また特許文献２に開示される全方位撮像装置は、環状画像（全方位画像）を２値化処理し、この２値化処理された画像に対して微分フィルタにより輪郭線画像を生成し、この輪郭線画像において円の形状を探索することによって、前記環状画像の中心座標を求めるものである。
特開２００３−３０３３３５号公報特開２００３−３０３３４２号公報

しかしながら、前者の全方位撮像装置は、全方位撮像レンズに環状基準線を印刷形成しなければならず、前記全方位撮像レンズの構成が複雑になり、結果的に全方位撮像装置としての構成を複雑化し、製品コストを高くしてしまうといった点から改善の余地があった。また、後者の全方位撮像装置は、環状画像を２値化処理するとともに、輪郭線画像に変換する必要がありため、画像処理におけるソフト構成（アルゴリズム）が複雑化し、画像処理技術の高速処理の点から改善の余地があった。

そこで本発明の目的は、上述した問題について着目しなされたものであって、全方位撮像装置としての構成を複雑にすることがなく、また画像処理技術の高速処理が可能な全方位撮像装置を提供することにある。

本発明は、前記課題を解決するため、請求項１に記載したように、全方位撮像レンズによって環状画像を得る全方位撮像手段と、前記全方位画像撮像手段により得られる前記環状画像をパノラマ展開画像あるいは拡大画像に変換する制御手段と、前記各画像を表示するための表示手段と、を備えた全方位撮像装置であって、前記制御手段は、前記環状画像を前記パノラマ展開画像もしくは前記拡大画像に変換する際の基準位置となる前記環状画像における中心座標をパターンマッチング処理により抽出してなることを特徴とするものである。

また、請求項２に記載したように、請求項１に記載の車両用表示装置において、画像の切り換え変化が連続的に行われるように切換処理してなることを特徴とするものである。

本発明は、全方位撮像レンズを備えた全方位撮像手段によって環状画像を得て、この環状画像をパノラマ展開画像に変換する全方位撮像装置に関し、全方位撮像装置としての構成を複雑にすることがなく、また画像処理技術の高速処理が可能な全方位撮像装置を得ることができる。

以下、添付図面に基づいて本発明の実施形態を説明する。本実施形態における全方位撮像装置は、図１に示すように、全方位センサ（全方位撮像手段）１と、画像処理装置（制御手段）２と、表示装置（表示手段）３と、操作手段４とから構成されている。

全方位センサ１は、３６０度を撮像可能な広角レンズ（全方位撮像レンズ）を有し、この広角レンズによって得られる入射光をＣＣＤカメラ等の撮像素子に入力し、この撮像素子により得られる撮像画像である図２で示すような環状画像４を画像処理装置２へ出力するものである。なお、図２は、全方位センサ１によって得られる環状画像５を示すものであり、環状画像５は、内円５ａと外円５ｂとを有し、この内円５ａと外円５ｂとからなる画像（全方位画像領域）の変換画像（パノラマ展開画像及び拡大画像）を得ることから環状画像５の基準位置である中心座標を求めることが必要となる。図中において、外円５ｂの外側を示す領域は、フレーム画像５ｃを示している。

画像処理装置２は、全方位センサ１から出力される環状画像を入力し、前記環状画像の中心座標を求めるとともに、この中心座標に基づいて前記環状画像からパノラマ展開画像あるいは拡大画像、前記パノラマ展開画像あるいは前記拡大画像から前記環状画像、前記パノラマ展開画像から前記拡大画像、前記拡大画像から前記パノラマ展開画像に変換するものであり、その構成としては、図３で示すように、ＣＰＵ２ａ，ＲＯＭ２ｂ，汎用メモリ２ｃ，ビデオメモリ２ｄ及び外部デバイスＩ／Ｆ２ｅを有してなるものである。

かかる画像処理装置２は、所謂マイクロコンピュータからなるものである。ＣＰＵ２ａは、ＲＯＭ２ｂ内に予め記憶された前述した処理の所定プログラムを読み出し及び実行し、全方位センサ１からの前記環状画像，処理画像及び演算結果等を汎用メモリ２ｃに一時的に記憶させ、表示装置３で表示させるための処理画像をビデオメモリ２ｄに記憶させるものである。また、全方位センサ１，操作手段４及び表示装置３は、外部デバイスＩ／Ｆ２ｅを介して画像処理装置２の各部に接続されている。

表示装置３は、ＴＦＴトランジスタ型液晶表示装置や有機ＥＬ表示装置、ＣＲＴディスプレイ等からなる周知の表示装置が用いられる。

操作手段４は、キーボードや操作スイッチ等の切換手段が用いられ、環状画像５からパノラマ展開画像あるいは拡大画像、前記パノラマ展開画像あるいは前記拡大画像から前記環状画像、前記パノラマ展開画像から前記拡大画像、前記拡大画像から前記パノラマ展開画像に表示装置３の表示形態を切り換える場合に用いられる。

次に、図４から図７を用いて、画像処理装置２の中心座標を求める処理動作について説明する。

画像処理装置２は、全方位センサ１からＭ×Ｎ画素の大きさから構成されるフレーム画像５ｃを入力し（ステップＳ１）、Ｒ×Ｓ画素の大きさからなる走査パターン６によってフレーム画像５ｃにおけるパターンマッチング処理を行うための位置を設定する（ステップＳ２）。

次に、画像処理装置２は、ＲＯＭ２ｂ内に予め記憶されているＲ×Ｓ画素の大きさからなる検索対象パターン７の中心座標（ｘ，ｙ）と、ステップＳ２で設定された位置における走査パターン６の中心座標（ｘｎ,ｙｎ）との誤差を計算し（ステップＳ３）、この誤差が予め決められた最小値よりも小さいか、あるいは等しいか否かを判定し（ステップＳ４）、この判定条件を満たさない場合（最小値より大きい場合）は、ステップＳ６に進むとともに、マッチング処理が終了していないとしてステップＳ２に戻り、走査パターン６を矢印方向に画素単位で移動させてステップＳ３以降の処理を実行する。なお、走査パターン６によるフレーム画像５中の走査処理は、前記判定条件が満たされるまでの間において、繰り返し実行される。

画像処理装置２は、ステップＳ４において、前記判定条件を満たしていると判断した場合、この判断時の走査パターン６の中心座標（ｘｎ，ｙｎ）を汎用メモリ２ｃ内に記憶するとともに（ステップＳ５）、次ステップにてマッチング処理が終了したと判断して（ステップＳ６）、パターンマッチング処理を終了する（ステップＳ７）。

なお、画像処理装置２は、汎用メモリ２ｃに記憶されている中心座標（ｘｎ，ｙｎ）に基づいて、環状画像５を図６で示すパノラマ展開画像８、もしくは図７で示す拡大画像９に変換するとともに、この変換した画像を表示装置３にて表示させる処理を実行するものである。また、図６及び図７において、１０は、全方位センサ１により撮像された物体を示している。

次に、図８を用いて、画像処理装置２における画像変換処理について詳述するが、環状画像５から拡大画像９、拡大画像９から環状画像５へ画像変換する場合を例に挙げて説明する。なお、以下に説明する画像変換処理は、環状画像５の中心座標（ｘｎ，ｙｎ）を求めた以降の処理である。

画像処理装置２は、全方位センサ１から画像入力し（ステップＳ２０）、操作手段４による表示切り替えのための入力があるか否かを判定する（ステップＳ２１）。画像処理装置２は、操作手段４により入力が無い場合、表示装置３の表示状態を現状の表示形態とするべく、後で詳述するステップＳ２２に進む。

画像処理装置２は、ステップＳ２１における表示切り替えの入力があったと判断した場合、表示装置３にて表示されている表示形態が環状画像５であるか拡大画像９であるかを判定する（ステップＳ２３）。画像処理装置２は、表示装置３の表示形態が環状画像５である場合に「Δｎ＝＋１」し（ステップＳ２４）、内部カウンタｎに「＋１」を加えるインクリメント（ｎ＝ｎ＋Δｎ）処理を実行する（ステップＳ２５）。また、画像処理装置２は、表示装置３の表示形態が拡大画像９である場合に「Δｎ＝−１」し（ステップＳ２６）、内部カウンタｎに「−１」を加えるインクリメント（ｎ＝ｎ＋Δｎ）処理を実行する（ステップＳ２５）。なお、ステップＳ２５において、「ｋ＝０」は環状画像であることを示し、また「ｋ＝１」は拡大画像であることを示し、Ｎは予め決められた定数である。

画像処理装置２は、環状画像５から拡大画像９に変換処理する場合において、ｎの値が予め定められた定数Ｎと等しくなるまで（ｋ＝１）、「ｎ＝＋１」毎に画像変換処理が実行されるとともに（ステップＳ２７）、その都度、その画像変換処理された環状画像５から拡大画像９に移行する画像を表示装置３にて表示する処理が実行され（ステップＳ２８）、環状画像５から拡大画像９へ変換が終了するまでの間は、ステップＳ１からのステップＳ２８までの処理を繰り返し実行することになり、従って、表示装置３への表示画像は、環状画像５から拡大画像９に連続的に変化することになる。

また、画像処理装置２は、拡大画像９から環状画像５に戻す処理（変換処理）を実行する場合において、Ｎの値が「０」になるまで（ｋ＝０）、「ｎ＝−１」毎に画像変換処理が実行されるとともに（ステップＳ２７）、その都度、その画像変換処理された拡大画像９から環状画像５に移行する画像を表示装置３にて表示する処理が実行され（ステップＳ２８）、拡大画像９から環状画像５へ変換が終了するまでの間は、ステップＳ１からのステップＳ２８までの処理を繰り返し実行することになり、従って、表示装置３への表示画像は。拡大画像９から環状画像５に連続的に変化することになる。

画像処理装置２は、ステップＳ２２において、「ｎ＝０」または「ｎ＝Ｎ」のどちらか一方の条件が満たされる場合、言い換えると、環状画像５から拡大画像９への変換が終了もしくは拡大画像９から環状画像５への変換が終了している場合に、「Δｎ＝０」とすることで、変換終了後の環状画像９あるいは拡大画像５のまま表示し続けるための処理が実行される（ステップＳ２９）。

なお、前述した画像変換処理以外に、環状画像５からパノラマ展開画像８、パノラマ展開画像８から環状画像５、パノラマ展開画像８から拡大画像９、拡大画像９からパノラマ展開画像８に画像変換する場合についても、前述した変換処理と同等の処理を実行することによって、画像変換が除々に行われ、変換画像が連続的に表示されるようになる。

かかる全方位撮像装置は、広角レンズによって環状画像を得る全方位センサ１と、全方位センサ１により得られる環状画像５をパノラマ展開画像８あるいは拡大画像９に変換する画像処理装置２と、各画像５，８，９を表示するための表示装置３と、を備えた全方位撮像装置に関し、画像処理装置２は、環状画像５をパノラマ展開画像８もしくは拡大画像に９変換する際の環状画像５における中心座標（ｘｎ，ｙｎ）をパターンマッチング処理により抽出してなるものであることから、全方位画像装置としての構成を複雑にすることなく、また画像処理におけるソフト構成（アルゴリズム）を簡素化することが可能となることから画像処理技術の高速処理が可能となる。また、パターンマッチング処理によって自動的に中心座標を得ることができることから、従来のように人的作業の影響を受けることなく、正確な中心座標を得ることができる。

また、画像処理装置２は、画像の切り換え変化が連続的に行われるように切換処理してなるものであり、全方位画像の拡大位置あるいは展開位置を操作者が容易に認識することが可能となり、商品価値を向上させることができる。

本発明の実施形態を示す全方位撮像装置のブロック図。同上実施形態の撮像画像を示す図。同上実施形態の画像処理装置を示すブロック図。同上実施形態の中心座標の求め方を説明する図。同上実施形態の中心座標を求める処理フローを説明する図。同上実施形態のパノラマ展開画像を説明する図。同上実施形態の拡大画像を説明する図。同上実施形態の画像変換の処理フローを説明する図。

符号の説明

１全方位センサ（全方位撮像手段）
２画像処理装置（制御手段）
３表示装置（表示手段）
４操作手段
５環状画像
８パノラマ展開画像
９拡大画像

Claims

全方位撮像レンズによって環状画像を得る全方位撮像手段と、前記全方位画像撮像手段により得られる前記環状画像をパノラマ展開画像あるいは拡大画像に変換する制御手段と、前記各画像を表示するための表示手段と、を備えた全方位撮像装置であって、
前記制御手段は、前記環状画像を前記パノラマ展開画像もしくは前記拡大画像に変換する際の基準位置となる前記環状画像における中心座標をパターンマッチング処理により抽出してなることを特徴とする全方位撮像装置。
前記制御手段は、画像の切り換え変化が連続的に行われるように切換処理してなることを特徴とする請求項１に記載の全方位撮像装置。