JP2012029180A

JP2012029180A - 周辺画像表示装置及びその表示方法

Info

Publication number: JP2012029180A
Application number: JP2010167691A
Authority: JP
Inventors: Kanae Inaba; 加苗稲葉; Teruko Ishikawa; 輝子石川; Yoshinori Shida; 吉範志田; Takeshi Yanaida; 武志谷内田
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2010-07-27
Filing date: 2010-07-27
Publication date: 2012-02-09

Abstract

【課題】迅速かつ直感的な操作が可能であり、利便性の高い周辺画像表示装置及びその表示方法を提供する。
【解決手段】周辺画像表示装置は、全方位を撮像する全方位撮像手段２０と、全方位撮像手段２０により撮像した撮像データを全方位を示す環状画像及び全方位の一部を切り出した切り出し画像に変換する制御手段３０と、前記環状画像と前記切り出し画像とを表示可能な表示手段４０と、表示手段４０に表示される前記環状画像に対して前記切り出し画像の切り出し領域を選択するべく所定の選択点を指定する選択操作を行う操作手段５０と、を備える。制御手段３０は、記選択操作が行われた場合に予め所定の大きさに定められる前記切り出し領域の中心軸が前記選択点と一致するように前記切り出し領域を変更してなる。
【選択図】図１

Description

本発明は、全方位撮像手段により全方位を撮像して周辺画像を表示する周辺画像表示装置及びその表示方法に関するものである。

従来より、全方位を撮像するための全方位撮像手段が種々提案されており、例えば特許文献１，２に開示されている。斯かる全方位撮像手段１は、双曲面形状の反射ミラー２で周囲光Ｌを反射させ、ＣＣＤ等の撮像素子３によって周囲の様子を撮像するものである（図４参照）。撮像素子３は回路基板４上に搭載されており、撮像素子３が搭載された回路基板４はケース体５の底壁部５ａに配置されている。ケース体５の側壁部５ｂには、透光性材料からなる円筒状の筒体６が設けられており、この筒体６の内部に反射ミラー２が配置されている。筒体６の上部開口６ａには蓋体７が配設されており、この蓋体７に反射ミラー２が固定されている。反射ミラー２は、双曲面形状になっており、双曲面形状の頂点を下にして、蓋体７から垂下するように配置されている。

また、本願出願人は、部品数が少なく安価に製造することが可能な全方位撮像手段１０を提案しており、斯かる全方位撮像手段１０は特許文献３に開示されている。全方位撮像手段１０は、光学部材１１と、支持部材１２と、撮像素子１３と、回路基板１４と、反射層１５とから構成されるものである（図５参照）。撮像素子１３は回路基板１４に搭載され、光学部材１１の中心軸と撮像素子１３の中心軸が合うように配置される。周囲光Ｌは、入射面１６ａから基部１６の内部に入射し、反射層１５で反射され、導光部１７によって撮像素子１３に導かれる。反射層１５で下方に反射された周囲光Ｌは、出射面１７ｂから出て、撮像素子１３によって撮像される。全方位撮像手段を用いて周辺画像を表示する周辺画像表示装置は、全方位撮像手段１，１０の撮像素子３，１３が出力した撮像画像Ｓ１（図６（ａ）参照）を画像処理回路によって全方位を示すパノラマ画像Ｇ１（図６（ｂ）参照）や全方位の一部を切り出してなる切り出し画像Ｇ２（図６（ｃ）参照）等に変換し、液晶ディスプレイや有機ＥＬディスプレイ等の表示手段（図示しない）に周辺画像として表示するものである。

特開平１１−２０５７７２号公報特開２０００−３４７６５０号公報特開２００７−８１９２５号公報

切り出し画像Ｇ２の切り出し領域、すなわち全方位を示す画像Ｓ１，Ｇ１において切り出し画像Ｇ２として表示される領域を選択する操作方法としては、例えば特許文献２に開示されるように左矢印、右矢印、上矢印及び下矢印等の入力キーを備える入力部を用いて前記切り出し領域を移動（変更）させる方法や、特許文献１に開示されるように切り出し画像Ｇ２を表示する表示画面上に上移動ボタン、左移動ボタン、右移動ボタン及び下移動ボタン等を表示させ、表示画面上に表示される各ボタンを操作して前記切り出し領域を移動させる方法がある。しかしながら、これらの操作方法は、いずれも現在表示される切り出し画像Ｇ２を基準としながら操作ボタンを操作して前記切り出し領域を任意の方向に移動させるものであって、利用者が得たい領域を迅速かつ直感的に得ることができないという問題を有していた。例えば、図６に示すように、切り出し画像Ｇ２に人物Ｍ１を含む領域が表示される場合に、パノラマ画像Ｇ１に表示される人物Ｍ３を含む領域を切り出し画像Ｇ２として表示させたいと直感的に考えても、利用者が必要とする領域の表示に至るまでは前記切り出し領域の移動操作を複数回必要とし、操作に時間が掛かり利便性の点ではなお改善の余地があった。

本発明は、前述の課題を鑑みてなされてものであって、迅速かつ直感的な操作が可能であり、利便性の高い周辺画像表示装置及びその表示方法を提供することを目的とするものである。

本発明は、前述の課題を解決するために、全方位を撮像する全方位撮像手段と、前記全方位撮像手段により撮像した撮像データを少なくとも全方位を示す環状画像及び全方位の一部を切り出した切り出し画像に変換する制御手段と、前記環状画像と前記切り出し画像とを表示可能な表示手段と、前記表示手段に表示される前記環状画像に対して前記切り出し画像の切り出し領域を選択するべく所定の選択点を指定する選択操作を行う操作手段と、を備え、
前記制御手段は、前記選択操作が行われた場合に予め所定の大きさに定められる前記切り出し領域の中心軸が前記選択点と一致するように前記切り出し領域を変更してなることを特徴とする。

また、前記環状画像は前記環状画像における前記切り出し領域を示す切り出し領域表示部を含み、前記制御手段は、前記切り出し領域の変更に連動して前記切り出し領域表示部を移動させることを特徴とする。

また、前記操作手段は、ポインティングデバイスからなることを特徴とする。

また、前記ポインティングデバイスは、前記表示手段の表示画面上に配置されるタッチパネルからなることを特徴とする。

本発明は、前述の課題を解決するために、全方位を撮像した撮像データを少なくとも全方位を示す環状画像及び全方位の一部を切り出した切り出し画像に変換し、前記環状画像と前記切り出し画像とを表示手段に表示可能な周辺画像表示装置の表示方法であって、
前記表示手段に表示される前記環状画像に対して前記切り出し画像の切り出し領域を選択するべく所定の選択点を指定する選択操作に応じて、予め所定の大きさに定められる前記切り出し領域の中心軸が前記選択点と一致するように前記切り出し領域を変更することを特徴とする。

また、前記環状画像は前記環状画像における前記切り出し領域を示す切り出し領域表示部を含み、前記切り出し領域の変更に連動して前記切り出し領域表示部を移動させることを特徴とする。

本発明は、迅速かつ直感的な操作が可能であり、利便性を高めることが可能となる。

本発明の実施形態を示す断面図及びブロック図。同上実施形態を示す撮像画像及び表示画像の説明図。同上実施形態を示す表示画像の説明図。従来例を示す断面図。他の従来例を示す断面図。従来例を示す撮像画像及び表示画像の説明図。

以下、添付図面に基づいて、本発明の一実施形態を説明する。周辺画像表示装置は、全方位撮像手段２０と、表示制御部（制御手段）３０と、表示手段４０と、操作手段５０と、から構成されている。

全方位撮像手段２０は、反射ミラー２１とケース体２２と撮像素子２３とレンズ２４とを備えるものであり、反射ミラー２１の中心軸に対する全方位を撮像するものである。

反射ミラー２１は、双曲面形状の光学部材であり、双曲面形状の頂点を下にして配置されている。反射ミラー２１は周囲光Ｌを下方に反射させ、反射ミラー２１で反射された周囲光Ｌはレンズ２４にて撮像素子２３に集光させる。撮像素子２３は、ＣＣＤ若しくはＣＭＯＳからなるものであり、表示制御部３０に全方位の撮像画像を撮像データとして出力する。

ケース体２２は、円錐面からなる側面２２ａと、平面からなる上面２２ｂとを有する略プリン形状になっており、レンズ２４及び撮像素子２３を収容する。ケース体２２の上面２２ｂには、円形の開口部２２ｃが形成されており、反射ミラー２１で反射された周囲光Ｌは、開口部２２ｃからケース体２２に収容されたレンズ２４に入射する。

表示制御部３０は、撮像素子２３が出力した撮像データを表示画像に変換して、表示画像データを表示手段４０に出力する。表示手段４０は、液晶ディスプレイ若しくは有機ＥＬディスプレイからなるものであり、表示制御部３０にて画像処理された表示画像データを入力して、後述する表示画像を表示する。操作手段５０は、例えば表示手段４０の表示画面上に配置されるタッチパネルからなり、表示手段４０に表示される表示画像に対するタッチ操作を検出して表示制御部３０に出力するものである。

図２は、撮像素子２３にて撮像される撮像画像Ｓ１１と表示手段４０の表示画面上に表示される環状画像Ｇ１１及び切り出し画像Ｇ１２を示すものである。撮像画像Ｓ１１は、全方位を撮像した環状領域Ｓ１１１と反射ミラー２１の外側周辺を撮像した外側領域Ｓ１１２と反射ミラー２１に投影された撮像素子２３自身を撮像した中央領域Ｓ１１３とを含む（図２（ａ）参照）。表示制御部３０は、撮像画像Ｓ１１を環状画像Ｇ１１に画像変換させ、さらに、環状画像Ｇ１１を切り出し画像Ｇ１２に画像変換させ、環状画像Ｇ１１及び切り出し画像Ｇ１２を同時に表示手段４０に表示させる（図２（ｂ）参照）。

環状画像Ｇ１１は、全方位を示す画像であり、撮像画像Ｓ１１から無効な領域である外側領域Ｓ１１２及び中央領域Ｓ１１３を取り除いた画像である。また、環状画像Ｇ１１は、環状画像Ｇ１１における切り出し画像Ｇ１２の切り出し領域（切り出し画像Ｇ１２として表示される領域）を示すカーソルＧ１１１（切り出し領域表示部）を含むものである。第一のカーソルＧ１１１は、環状画像Ｇ１１の切り出し画像Ｇ１２に対応する領域を覆う扇状の着色部からなる。環状画像Ｇ１１は撮像される物体（本実施形態においては人物Ｍ１〜Ｍ４）に歪みを有するものの、各人物Ｍ１〜Ｍ４の全方位における位置関係を直感的に把握することができる。

切り出し画像Ｇ１２は、全方位の一部の領域を示す画像であり、例えば環状画像Ｇ１１を所定の切断線によって切り開いたパノラマ画像の一部からなる矩形画像である。切り出し画像Ｇ１２は、歪みの補正が可能であり、歪みのない画像で全方位の一部を詳細に把握することができる。

図３は、操作手段５０によって環状画像Ｇ１１に対して切り出し画像Ｇ１２の切り出し領域を選択する選択操作を行った場合の切り出し領域の変更（移動）を示すものである。なお、図３においては、環状画像Ｇ１１は人物Ｍ１〜Ｍ４及びカーソルＧ１１１を省略して図示している。

利用者が前記選択操作として表示画面上の環状画像Ｇ１１の所定個所をタッチ操作によって指定すると（図３（ａ）参照）、操作手段５０はタッチポイント（選択点）Ｐ１の座標を検出して表示制御部３０に出力する。表示制御部３０は、予め所定の大きさ（面積）で扇形状の切り出し領域Ｅ１１を設定しており、この切り出し領域Ｅ１１の中心軸Ｌ１１が入力したタッチポイントＰ１と一致する（ポイントＰ１が中心軸Ｌ１１上に位置する）ように、切り出し領域Ｅ１１を移動させる（図３（ｂ）参照）。切り出し領域Ｅ１１の中心軸Ｌ１１は、環状画像Ｇ１１上に想定する各法線Ｌ１の何れかの一部と重なり、切り出し領域Ｅ１１を二等分する線分である。なお、本実施形態においては切り出し領域Ｅ１１の大きさが環状画像Ｇ１１の法線Ｌ１方向の全部を含むため、タッチポイントＰ１の高さ（法線Ｌ１方向の位置）は切り出し領域Ｅ１１の移動に影響しないが、切り出し領域Ｅ１１の大きさによっては（切り出し領域Ｅ１１が法線Ｌ１方向の一部しか含まない大きさの場合など）、切り出し領域Ｅ１１をタッチポイントＰ１の高さも考慮して移動させてもよい。さらに、表示制御部３０は前記選択操作と連動して、切り出し画像Ｇ１２の表示形態を前記選択操作により変更された新たな切り出し領域Ｅ１１に対応する画像（本例では人物Ｍ２を含む画像）に切り替え、環状画像Ｇ１１の表示形態の切り替えとしてカーソルＧ１１１を新たな切り出し領域Ｅ１１に対応する位置（本例では図２における人物Ｍ２を含む領域）に移動させる。

本実施形態は、表示手段４０に表示され全方位の位置関係が把握できる環状画像Ｇ１１に対して直接切り出し領域Ｅ１１を選択する前記選択操作が行われ、利用者の指定したポイントＰ１に応じた切り出し画像Ｇ１２が瞬時に表示されるため、必要とする領域の表示に至るまでの時間を短縮して迅速な操作ができ、利用者が全方位の位置関係に応じた視覚的、直感的な前記選択操作を行うことができるため操作の利便性を向上させることが可能となる。

なお、本実施形態においては、切り出し画像Ｇ１２の切り出し領域Ｅ１１を選択する前記選択操作としては、タッチ操作のほか、タップ操作やドラッグ操作で選択点を指定する操作、フリック操作によって選択点を一定時間毎に移動させる操作、ピンチアウト操作あるいはピンチイン操作によって切り出し領域Ｅ１１を拡大あるいは縮小させる操作などを含む。また、操作手段５０としては、直感的な操作が可能な他のポインティングデバイスとして、マウス、ジョイスティック、タッチパッド、ペンタブレットあるいはトラックボールなどを用いてもよい。また、表示手段４０には常に環状画像Ｇ１１と切り出し画像Ｇ１２とを同時に表示させる必要はなく、通常は切り出し画像Ｇ１２のみ表示し、前記選択操作に際して環状画像Ｇ１１を表示させるものであってもよい。また、表示手段４０に、環状画像Ｇ１１及び切り出し画像Ｇ１２のほかにさらに全方位を示すパノラマ画像を表示させてもよい。

本発明は、全方位撮像手段により全方位を撮像して周辺画像を表示する周辺画像表示装置及びその表示方法に好適である。

２０全方位撮像手段
２１反射ミラー
２３撮像素子
２４レンズ
３０表示制御部（制御手段）
４０表示手段
５０操作手段
Ｅ１１切り出し領域
Ｇ１１環状画像
Ｇ１１１カーソル（切り出し領域表示部）
Ｇ１２切り出し画像
Ｌ１法線
Ｌ１１中心軸
Ｐ１タッチポイント（選択点）
Ｓ１１撮像画像

Claims

全方位を撮像する全方位撮像手段と、前記全方位撮像手段により撮像した撮像データを少なくとも全方位を示す環状画像及び全方位の一部を切り出した切り出し画像に変換する制御手段と、前記環状画像と前記切り出し画像とを表示可能な表示手段と、前記表示手段に表示される前記環状画像に対して前記切り出し画像の切り出し領域を選択するべく所定の選択点を指定する選択操作を行う操作手段と、を備え、
前記制御手段は、前記選択操作が行われた場合に予め所定の大きさに定められる前記切り出し領域の中心軸が前記選択点と一致するように前記切り出し領域を変更してなることを特徴とする周辺画像表示装置。
前記環状画像は前記環状画像における前記切り出し領域を示す切り出し領域表示部を含み、前記制御手段は、前記切り出し領域の変更に連動して前記切り出し領域表示部を移動させることを特徴とする請求項１に記載の周辺画像表示装置。
前記操作手段は、ポインティングデバイスからなることを特徴とする請求項１に記載の周辺画像表示装置。
前記ポインティングデバイスは、前記表示手段の表示画面上に配置されるタッチパネルからなることを特徴とする請求項３に記載の周辺画像表示装置。
全方位を撮像した撮像データを少なくとも全方位を示す環状画像及び全方位の一部を切り出した切り出し画像に変換し、前記環状画像と前記切り出し画像とを表示手段に表示可能な周辺画像表示装置の表示方法であって、
前記表示手段に表示される前記環状画像に対して前記切り出し画像の切り出し領域を選択するべく所定の選択点を指定する選択操作に応じて、予め所定の大きさに定められる前記切り出し領域の中心軸が前記選択点と一致するように前記切り出し領域を変更することを特徴とする周辺画像表示装置の表示方法。
前記環状画像は前記環状画像における前記切り出し領域を示す切り出し領域表示部を含み、前記切り出し領域の変更に連動して前記切り出し領域表示部を移動させることを特徴とする請求項５に記載の周辺画像表示装置の表示方法。