JP2012029179A - 周辺画像表示装置及びその表示方法 - Google Patents

Abstract

【課題】 撮像される物体の全方位の位置関係を容易に把握することができる周辺画像表示装置及びその表示方法を提供する。
【解決手段】 周辺画像表示装置は、全方位を撮像する全方位撮像手段２０と、全方位撮像手段２０により撮像した撮像データを全方位を示す環状画像及びパノラマ画像並びに全方位の一部を切り出した切り出し画像に変換する制御手段３０と、前記環状画像と前記パノラマ画像と前記切り出し画像とを同時に表示する表示手段４０と、表示手段４０に表示される前記環状画像，前記パノラマ画像あるいは前記切り出し画像の何れか１つに対して前記切り出し画像の切り出し領域を選択する選択操作を行う操作手段５０と、を備える。制御手段３０は、前記選択操作に応じて、前記環状画像，前記パノラマ画像及び前記切り出し画像の表示形態を連動して切り替えてなる。

【選択図】 図１

Description

本発明は、全方位撮像手段により全方位を撮像して周辺画像を表示する周辺画像表示装置及びその表示方法に関するものである。

従来より、全方位を撮像するための全方位撮像手段が種々提案されており、例えば特許文献１，２に開示されている。斯かる全方位撮像手段１は、双曲面形状の反射ミラー２で周囲光Ｌを反射させ、ＣＣＤ等の撮像素子３によって周囲の様子を撮像するものである（図４参照）。撮像素子３は回路基板４上に搭載されており、撮像素子３が搭載された回路基板４はケース体５の底壁部５ａに配置されている。ケース体５の側壁部５ｂには、透光性材料からなる円筒状の筒体６が設けられており、この筒体６の内部に反射ミラー２が配置されている。筒体６の上部開口６ａには蓋体７が配設されており、この蓋体７に反射ミラー２が固定されている。反射ミラー２は、双曲面形状になっており、双曲面形状の頂点を下にして、蓋体７から垂下するように配置されている。

また、本願出願人は、部品数が少なく安価に製造することが可能な全方位撮像手段１０を提案しており、斯かる全方位撮像手段１０は特許文献３に開示されている。全方位撮像手段１０は、光学部材１１と、支持部材１２と、撮像素子１３と、回路基板１４と、反射層１５とから構成されるものである（図５参照）。撮像素子１３は回路基板１４に搭載され、光学部材１１の中心軸と撮像素子１３の中心軸が合うように配置される。周囲光Ｌは、入射面１６ａから基部１６の内部に入射し、反射層１５で反射され、導光部１７によって撮像素子１３に導かれる。反射層１５で下方に反射された周囲光Ｌは、出射面１７ｂから出て、撮像素子１３によって撮像される。全方位撮像手段を用いて周辺画像を表示する周辺画像表示装置は、全方位撮像手段１，１０の撮像素子３，１３が出力した撮像画像Ｓ１（図６（ａ）参照）を画像処理回路によって全方位を示すパノラマ画像Ｇ１（図６（ｂ）参照）や全方位の一部を切り出してなる切り出し画像Ｇ２（図６（ｃ）参照）等に変換し、液晶ディスプレイや有機ＥＬディスプレイ等の表示手段（図示しない）に周辺画像として表示するものである。

特開平１１−２０５７７２号公報 特開２０００−３４７６５０号公報 特開２００７−８１９２５号公報

しかしながら、撮像した全周囲をパノラマ画像Ｇ１にて表示させる場合及び／あるいは撮像した全周囲の内の一部を切り出し画像Ｇ２にて表示させる場合は、表示される画像Ｇ１，Ｇ２に含まれる物体がどの方位に位置するのか判別し難く、利用者が得たい情報を直感的に得ることができないという問題を有していた。例えば、図６に示すように、パノラマ画像Ｇ１においては人物Ｍ１〜Ｍ４が同じ方位に並んで位置しているようにも見え、切り出し画像Ｇ２においては人物Ｍ１が表示されるのみであるため、人物Ｍ１〜Ｍ４がそれぞれどの方位に存在するのか判断することは困難であった。

本発明は、撮像される物体の全方位の位置関係を容易に把握することができる周辺画像表示装置及びその表示方法を提供することを第一の課題とするものである。また、本発明は、操作の利便性の高い周辺画像表示装置及びその表示方法を提供することを第二の課題とするものである。

本発明は、前記課題を解決するために、全方位を撮像する全方位撮像手段と、前記全方位撮像手段により撮像した撮像データを全方位を示す環状画像及びパノラマ画像並びに全方位の一部を切り出した切り出し画像に変換する制御手段と、前記環状画像と前記パノラマ画像と前記切り出し画像とを同時に表示する表示手段と、前記表示手段に表示される前記環状画像，前記パノラマ画像あるいは前記切り出し画像の何れか１つに対して前記切り出し画像の切り出し領域を選択する選択操作を行う操作手段と、を備え、
前記制御手段は、前記選択操作に応じて、前記環状画像，前記パノラマ画像及び前記切り出し画像の表示形態を連動して切り替えてなることを特徴とする。

また、前記環状画像は前記環状画像における前記切り出し画像の切り出し領域を示す第一の切り出し領域表示部を含み、前記パノラマ画像は前記パノラマ画像における前記切り出し画像の切り出し領域を示す第二の切り出し領域表示部を含み、
前記制御手段は、前記選択操作に応じた表示形態の切り替えとして、前記第一の切り出し領域表示部の移動と前記第二の切り出し領域表示部の移動と前記切り出し画像の切り替えとを連動して行うことを特徴とする。

また、前記操作手段は、ポインティングデバイスからなることを特徴とする。

また、前記ポインティングデバイスは、前記表示手段の表示画面上に配置されるタッチパネルからなることを特徴とする。

本発明は、前記課題を解決するために、前記全方位撮像手段により撮像した撮像データを全方位を示す環状画像及びパノラマ画像並びに全方位の一部を切り出した切り出し画像に変換し、前記環状画像と前記パノラマ画像と前記切り出し画像とを表示手段に同時に表示する周辺画像表示装置の表示方法であって、
前記表示手段に表示される前記環状画像，前記パノラマ画像あるいは前記切り出し画像の何れか１つに対して前記切り出し画像の切り出し領域を選択する選択操作に応じて、前記環状画像，前記パノラマ画像及び前記切り出し画像の表示形態を連動して切り替えることを特徴とする。

また、前記環状画像は前記環状画像における前記切り出し領域を示す第一の切り出し領域表示部を含み、前記パノラマ画像は前記パノラマ画像における前記切り出し領域を示す第二の切り出し領域表示部を含み、
前記選択操作に応じた表示形態の切り替えとして、前記第一の切り出し領域表示部の移動と前記第二の切り出し領域表示部の移動と前記切り出し画像の切り替えとを連動して行うことを特徴とする。

本発明は、撮像される物体の全方位の位置関係を容易に把握することができるものである。また、本発明は、操作の利便性を高めることができるものである。

本発明の実施形態を示す断面図及びブロック図。 同上実施形態を示す撮像画像及び表示画像の説明図。 同上実施形態を示す表示画像の説明図。 従来例を示す断面図。 他の従来例を示す断面図。 従来例を示す撮像画像及び表示画像の説明図。

以下、添付図面に基づいて、本発明の一実施形態を説明する。周辺画像表示装置は、全方位撮像手段２０と、表示制御部（制御手段）３０と、表示手段４０と、操作手段５０と、から構成されている。

全方位撮像手段２０は、反射ミラー２１とケース体２２と撮像素子２３とレンズ２４とを備えるものであり、反射ミラー２１の中心軸に対する全方位を撮像するものである。

反射ミラー２１は、双曲面形状の光学部材であり、双曲面形状の頂点を下にして配置されている。反射ミラー２１は周囲光Ｌを下方に反射させ、反射ミラー２１で反射された周囲光Ｌはレンズ２４にて撮像素子２３に集光させる。撮像素子２３は、ＣＣＤ若しくはＣＭＯＳからなるものであり、表示制御部３０に全方位の撮像画像を撮像データとして出力する。

ケース体２２は、円錐面からなる側面２２ａと、平面からなる上面２２ｂとを有する略プリン形状になっており、レンズ２４及び撮像素子２３を収容する。ケース体２２の上面２２ｂには、円形の開口部２２ｃが形成されており、反射ミラー２１で反射された周囲光Ｌは、開口部２２ｃからケース体２２に収容されたレンズ２４に入射する。

表示制御部３０は、撮像素子２３が出力した撮像データを表示画像に変換して、表示画像データを表示手段４０に出力する。表示手段４０は、液晶ディスプレイ若しくは有機ＥＬディスプレイからなるものであり、表示制御部３０にて画像処理された表示画像データを入力して、後述する表示画像を表示する。操作手段５０は、例えば表示手段４０の表示画面上に配置されるタッチパネルからなり、表示手段４０に表示される表示画像に対するタッチ操作を検出して表示制御部３０に出力するものである。

図２は、撮像素子２３にて撮像される撮像画像Ｓ１１と表示手段４０の表示画面上に表示される環状画像Ｇ１１，パノラマ画像Ｇ１２及び切り出し画像Ｇ１３を示すものである。撮像画像Ｓ１１は、全方位を撮像した環状領域Ｓ１１１と反射ミラー２１の外側周辺を撮像した外側領域Ｓ１１２と反射ミラー２１に投影された撮像素子２３自身を撮像した中央領域Ｓ１１３とを含む（図２（ａ）参照）。表示制御部３０は、撮像画像Ｓ１１を環状画像Ｇ１１に画像変換させ、さらに、環状画像Ｇ１１をパノラマ画像Ｇ２及び切り出し画像Ｇ１３に画像変換させ、環状画像Ｇ１１，パノラマ画像Ｇ１２及び切り出し画像Ｇ１３を同時に表示手段４０に表示させる（図２（ｂ）参照）。

環状画像Ｇ１１は、全方位を示す画像であり、撮像画像Ｓ１１から無効な領域である外側領域Ｓ１１２及び中央領域Ｓ１１３を取り除いた画像である。また、環状画像Ｇ１１は、環状画像Ｇ１１における切り出し画像Ｇ１３の切り出し領域（切り出し画像Ｇ１３として表示される領域）を示す第一のカーソルＧ１１１（第一の切り出し領域表示部）を含むものである。第一のカーソルＧ１１１は、環状画像Ｇ１１の切り出し画像Ｇ１３に対応する領域を覆う扇状の着色部からなる。環状画像Ｇ１１は撮像される物体（本実施形態においては人物Ｍ１〜Ｍ４）に歪みを有するものの、各人物Ｍ１〜Ｍ４の全方位における位置関係を直感的に把握することができる。

パノラマ画像Ｇ１２は、全方位を示す画像であり、環状画像Ｇ１１を所定の切断線によって切り開いた矩形画像である。また、パノラマ画像Ｇ１２は、パノラマ画像Ｇ１２における切り出し画像Ｇ１３の切り出し領域を示す第二のカーソルＧ１２１（第二の切り出し領域表示部）を含むものである。第二のカーソルＧ１２１は、パノラマ画像Ｇ１２の切り出し画像Ｇ１３に対応する領域を覆う矩形状の着色部からなる。パノラマ画像Ｇ１２は、歪みを有するものの全方位の環境を容易に認識することができる。

切り出し画像Ｇ１３は、全方位の内の一部の領域を示す画像であり、例えば環状画像Ｇ１１を所定の切断線によって切り開いた矩形画像の一部、すなわちパノラマ画像Ｇ１２の一部からなる矩形画像である。切り出し画像Ｇ１３は、歪みの補正が可能であり、歪みのない画像で全方位の一部を詳細に把握することができる。

図３は、操作手段５０によって切り出し画像Ｇ１３の切り出し領域を選択する選択操作を行う際の環状画像Ｇ１１，パノラマ画像Ｇ１２及び切り出し画像Ｇ１３の表示形態の切り替えを示すものである。なお、図３においてはパノラマ画像Ｇ１２に対して前記選択操作を行う場合を示している。

利用者が前記選択操作として表示画面上のパノラマ画像Ｇ１２の所定個所（図３においては人物Ｍ４が表示されている個所付近）をタッチ操作すると、操作手段５０はそのタッチ位置を検出して表示制御部３０に出力する。表示制御部３０は、切り出し画像Ｇ１３の切り出し領域を利用者がタッチした位置を基点として算出される所定領域に変更し、パノラマ画像G１２の表示形態の切り替えとして新たな切り出し領域に第二のカーソルＧ１２１を移動させる。さらに、表示制御部３０は前記選択操作と連動して、切り出し画像Ｇ１３の表示形態を新たな切り出し領域に対応する画像（図３においては人物Ｍ４を含む画像）に切り替え、環状画像Ｇ１１の表示形態の切り替えとして第一のカーソルＧ１１１を新たな切り出し領域に対応する位置（図３においては人物Ｍ４を含む所定領域）に移動させる。

なお、本実施形態は、操作手段５０によって行う切り出し画像Ｇ１３の切り出し領域を選択する前記選択操作は、環状画像Ｇ１１あるいは切り出し画像Ｇ１３に対しても行うことが可能である。具体的に、環状画像Ｇ１１に対する前記選択操作として環状画像Ｇ１１の所定個所をタッチ操作すると、操作手段５０はそのタッチ位置を検出して表示制御部３０に出力し、切り出し画像Ｇ１３の切り出し領域を利用者がタッチした位置を基点として算出される所定領域に変更し、環状画像Ｇ１１の表示形態の切り替えとして新たな切り出し領域に第一のカーソルＧ１１１を移動させる。さらに、表示制御部３０は前記選択操作と連動して、切り出し画像Ｇ１３の表示形態を新たな切り出し領域に対応する画像に切り替え、パノラマ画像Ｇ１２の表示形態の切り替えとして第二のカーソルＧ１２１を新たな切り出し領域に対応する位置に移動させる。

また、切り出し画像Ｇ１３に対する前記選択操作として切り出し画像Ｇ１３を所定方向にドラッグ操作すると、操作手段５０はそのドラッグ方向及びドラッグ量を検出して表示制御部３０に出力し、切り出し画像Ｇ１３の切り出し領域を利用者がドラッグした方向及び量に応じて所定領域分移動させ、切り出し画像Ｇ１３の表示形態を新たな切り出し領域に対応する画像に切り替える。例えば切り出し画像Ｇ１３の図３中の右方向にドラッグさせた場合、切り出し領域はドラッグ量に応じた所定領域分左方向に移動し、切り出し画像Ｇ１３は新たな切り出し領域に対応する画像（パノラマ画像Ｇ１２における所定領域分左方向に移動した画像であり、環状画像Ｇ１１における所定領域分反時計回りに移動した画像）に切り替えられる。さらに、表示制御部３０は前記選択操作と連動して、環状画像Ｇ１１の表示形態の切り替えとして第一のカーソルＧ１１１を新たな切り出し領域に対応する位置に移動させ、パノラマ画像Ｇ１２の表示形態の切り替えとして第二のカーソルＧ１２１を新たな切り出し領域に対応する位置に移動させる。

本実施形態は、表示手段４０に環状画像Ｇ１１，パノラマ画像Ｇ１２及び切り出し画像Ｇ１３を同時に表示することで、パノラマ画像Ｇ１２あるいは切り出し画像Ｇ１３で表示される画像の全方位の位置関係を環状画像Ｇ１２で容易に把握でき、利用者が必要な情報を瞬時に認識することができる。また、環状画像Ｇ１１，パノラマ画像Ｇ１２及び切り出し画像Ｇ１３の何れか１つに対して行われる切り出し画像Ｇ１３の切り出し領域を選択する前記選択操作に応じて、直接は操作されない他の２つの画像の表示形態をも連動して切り替えることによって、環状画像Ｇ１１を基準として方位を変えて切り出し領域を選択したい、パノラマ画像Ｇ１２を基準として離間した範囲を切り出し領域として選択したい、切り出し画像Ｇ１３を基準として若干移動させて表示したいなど３つの画像Ｇ１１，Ｇ１２，Ｇ１３に対して利用者が抱く選択欲求のいずれにも対応できる直感的な操作が可能となり周辺画像表示装置としての操作の利便性を高めることができる。

なお、本実施形態においては、切り出し画像Ｇ１３の切り出し領域を選択する前記選択操作としては、タッチ操作のほか、タップ操作により切り出し領域を選択する操作、第一，第二のカーソルＧ１１１，Ｇ１２１をドラッグ操作で追従移動させる操作、フリック操作によって切り出し領域をスクロールさせる操作、ピンチアウト操作あるいはピンチイン操作によって切り出し領域を拡大あるいは縮小させる操作などを含む。また、操作手段５０としては、直感的な操作が可能な他のポインティングデバイスとして、マウス、ジョイスティック、タッチパッド、ペンタブレットあるいはトラックボールなどを用いてもよい。

本発明は、全方位撮像手段により全方位を撮像して周辺画像を表示する周辺画像表示装置及びその表示方法に好適である。

２０ 全方位撮像手段
２１ 反射ミラー
２３ 撮像素子
２４ レンズ
３０ 表示制御部（制御手段）
４０ 表示手段
５０ 操作手段
Ｇ１１ 環状画像
Ｇ１１１ 第一のカーソル（第一の切り出し領域表示部）
Ｇ１２ パノラマ画像
Ｇ１２１ 第二のカーソル（第二の切り出し領域表示部）
Ｇ１３ 切り出し画像
Ｓ１１ 撮像画像

Claims (6)

1. 全方位を撮像する全方位撮像手段と、前記全方位撮像手段により撮像した撮像データを全方位を示す環状画像及びパノラマ画像並びに全方位の一部を切り出した切り出し画像に変換する制御手段と、前記環状画像と前記パノラマ画像と前記切り出し画像とを同時に表示する表示手段と、前記表示手段に表示される前記環状画像，前記パノラマ画像あるいは前記切り出し画像の何れか１つに対して前記切り出し画像の切り出し領域を選択する選択操作を行う操作手段と、を備え、
   前記制御手段は、前記選択操作に応じて、前記環状画像，前記パノラマ画像及び前記切り出し画像の表示形態を連動して切り替えてなることを特徴とする周辺画像表示装置。
2. 前記環状画像は前記環状画像における前記切り出し領域を示す第一の切り出し領域表示部を含み、前記パノラマ画像は前記パノラマ画像における前記切り出し領域を示す第二の切り出し領域表示部を含み、
   前記制御手段は、前記選択操作に応じた表示形態の切り替えとして、前記第一の切り出し領域表示部の移動と前記第二の切り出し領域表示部の移動と前記切り出し画像の切り替えとを連動して行うことを特徴とする請求項１に記載の周辺画像表示装置。
3. 前記操作手段は、ポインティングデバイスからなることを特徴とする請求項１に記載の周辺画像表示装置。
4. 前記ポインティングデバイスは、前記表示手段の表示画面上に配置されるタッチパネルからなることを特徴とする請求項３に記載の周辺画像表示装置。
5. 全方位を撮像した撮像データを全方位を示す環状画像及びパノラマ画像並びに全方位の一部を切り出した切り出し画像に変換し、前記環状画像と前記パノラマ画像と前記切り出し画像とを表示手段に同時に表示する周辺画像表示装置の表示方法であって、
   前記表示手段に表示される前記環状画像，前記パノラマ画像あるいは前記切り出し画像の何れか１つに対して前記切り出し画像の切り出し領域を選択する選択操作に応じて、前記環状画像，前記パノラマ画像及び前記切り出し画像の表示形態を連動して切り替えることを特徴とする周辺画像表示装置の表示方法。
6. 前記環状画像は前記環状画像における前記切り出し領域を示す第一の切り出し領域表示部を含み、前記パノラマ画像は前記パノラマ画像における前記切り出し領域を示す第二の切り出し領域表示部を含み、
   前記選択操作に応じた表示形態の切り替えとして、前記第一の切り出し領域表示部の移動と前記第二の切り出し領域表示部の移動と前記切り出し画像の切り替えとを連動して行うことを特徴とする請求項５に記載の周辺画像表示装置の表示方法。
   

Images