JP2015053573A - 画像記録装置及び撮像装置 - Google Patents

Abstract

【課題】全方位画像の内容をサムネイル画像で確認しやすくする。【解決手段】制御部（１０５）は、画像入力部（１００）による入力画像の周囲（及び中央）の一定範囲に黒部分があるかどうかで、全方位撮影ユニット（１１２）を装着して撮影した全方位画像か、通常画像かを識別する。画像編集部（１０８）は、全方位画像をその周方向に展開したパノラマ画像に変換し、そのパノラマ画像からサムネイル画像を生成する。全方位画像でない通常画像については、画像編集部（１０８）は、画像入力部（１００）による入力画像からサムネイル画像を生成する。【選択図】 図１

Description

本発明は、画像記録装置及び撮像装置に関し、より具体的には、全方位画像のような、周囲方向の撮影画像を記録する画像記録装置及び撮像装置に関する。

全方位画像とは、正面方向に直交する３６０度範囲について一体に撮影された画像であり、例えば、専用の全方位カメラや、通常のカメラに全方位撮影ユニットを取り付ける事によって撮影される。例えば、水平面の３６０度範囲全てを画角内に収めた画像を得ることが出来る。全方位撮影ユニットは例えば、通常のカメラの撮影レンズの前面に着脱可能なアダプタであって、撮影レンズに向かって凸の円錐状鏡面を具備する構造からなる。円錐状鏡面が、撮影レンズの光軸を横方向に偏向する。

このような全方位撮影ユニットを使って撮影された全方位画像は一般に、図７（ａ）に示すように、中心部と周辺部とで縮尺が異なるドーナツ形状となる。このままでは、ユーザから見て、非常に視認しにくい画像となるので、通常は、この撮影画像をパーソナルコンピュータ等によりデジタル処理して、図７（ｂ）に示すような全周のパノラマ画像に展開する（特許文献１）。以後、全方位画像をパノラマ画像に変換するこのような処理をパノラマ展開と表記する。パノラマ展開では、全方位画像中のどこかにドーナッツ形状の半径方向に延びる切断線を決定することになるが、このようなパノラマ画像を切れ目無しで再生表示する表示技術自体は公知である。

又は、撮影レンズの撮影光軸を横方向に偏向するミラーを撮影レンズの光軸を中心に回転しつつ撮影することで、全方位画像を得られるようにした全方位撮影ユニットもある。この場合、得られる全方位画像は、通常のカメラを所定面（例えば、水平面）で回転しつつ撮影した個別画像の集合からなり、これら個別画像をその重複部分に注目して合成することで、全周のパノラマ画像が得られる。

いわゆる魚眼レンズのような超広角レンズを使うことで、３６０度の全周を一度に撮影することもできる。この場合、撮影画像は円形になり、その中央部は正面の画像となる。

特開２００５−３０３３４０号公報

昨今のデジタルカメラでは、記録画像を確認する手段として、個々の記録画像のサムネイル画像を一覧表示する機能、いわゆるインデックス表示が装備されている。着脱自在な全方位撮影ユニットを使用可能なカメラの場合、記録画像には、全方位撮影ユニットを使った場合の全方位画像（図７（ａ））と、全方位撮影ユニットを使わない場合の通常画像とが混在することになる。

このような混在状況で、サムネイル画像を一覧表示するインデックス表示を選択すると、図７（ｃ）に示すような表示画像となる。全方位画像については、ドーナッツ状の画像のサムネイル画像になり、画像内容の視覚的確認が困難になる。

本発明は、このような不都合を解消し、全方位画像であっても見易いサムネイル画像を表示できる画像記録装置及び撮像装置を提示することを目的とする。

本発明に係る画像記録装置は、入力画像が周画像か否かを識別する識別手段と、前記周画像を周方向に展開した展開画像を生成する展開手段と、前記入力画像を記録媒体に記録するための制御手段であって、前記入力画像が前記周画像であると識別された場合には、前記展開手段により前記展開画像を生成して前記記録媒体に記録するように制御し、前記入力画像が前記周画像でないと識別された場合には、前記展開手段による前記展開画像の生成は行わずに前記入力画像を前記記録媒体に記録するように制御する制御手段とを具備することを特徴とする。

本発明によれば、入力画像が周画像か否かを判断し、周画像であれば、パノラマ展開した画像のサムネイル画像を生成するので、サムネイル画像による一覧表示で内容を確認しやすくなる。

本発明の一実施例の概略構成ブロック図である。 本実施例の動作フローチャートである。 ＤＣＦデータのデータ構造例である。 全方位画像識別方法の説明図である。 全方位撮影ユニット検出部を有する変更例の概略構成得ロック図である。 図１に示す実施例の別の動作フローチャートである。 全方位画像、展開画像、一覧表示の一例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像記録装置を組み込んだ撮像装置の一実施例の概略構成ブロック図を示す。

画像入力部１００は、撮影レンズ１０１、撮像素子１０２及び画像処理部１０３からなる。撮影レンズ１０１は、焦点距離及び絞りを変更可能である。撮像素子１０２は、撮影レンズ１０１による光学像を電気信号に変換する素子であり、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳイメージセンサ等からなる。

画像処理部１０３は、撮像素子１０２の出力画像信号に撮影モードに応じた種々の処理、例えば、ホワイトバランス及びγ補正等の所定の画像処理を行い、得られた画像データをメモリ１０６に書き込む。ユーザは、操作部２１３により撮影モードを指定できる。

表示部１０４は、撮影時のビューファインダとして機能し、再生モードでは、記録画像のサムネイル画像を一覧表示するインデックス画像と、個々の記録画像の再生画像を表示できる。操作部２１３がタッチパネルを具備する場合、そのタッチパネルは、表示部１０４の表示画面上に配置される。これにより、種々のタッチ操作により制御部１０５への指示が可能になる。

制御部１０５は、操作部２１３からの入力と動作状態に応じて、撮像装置全体を制御する。制御部１０５は、不図示のプログラムメモリから読み出したプログラムに基づき、演算処理や各機能ブロックの制御を行い、後述する記録動作を実行させる。また、制御部１０５は、詳細は後述するが、画像処理部１０３からメモリ１０６に書き込まれた入力画像データが通常画像データか全方位画像データであるかを判断する機能を具備する。

メモリ１０６は、入力画像データ及び圧縮された画像データのバッファメモリとして、また、制御部１０５のワークメモリとして使用される。

画像符号化復号化部１０７は、静止画像データをＪＰＥＧ方式で符号化してＪＰＥＧデータを生成し、ＪＰＥＧデータを復号化して画像データを復元する手段である。画像符号化復号化部１０７は、記録時には、メモリ１０６に書き込まれた入力画像データを制御部１０５から指示された圧縮パラメータでＪＰＥＧデータに符号化し、ＤＣＦ形式でメモリ１０６に書き戻す。また、再生時には、画像符号化復号化部１０７は、メモリ１０６のＪＰＥＧデータを復号化して画像データを再生し、再生画像データをメモリ１０６に書き戻す。

画像編集部１０８は、全方位画像データをパノラマ画像データに変換するパノラマ展開を行う手段であり、メモリ１０６の全方位画像データ（図７（ａ））を横長矩形状のパノラマ画像データ（図７（ｂ））に展開し、メモリ１０６に書き戻す。画像編集部１０８はまた、メモリ１０６の入力画像データに縮小処理とトリミング処理を施して、一覧表示画像表示（インデックス画像表示）のためのサムネイル画像を生成する機能を具備する。画像編集部１０８は、作成したサムネイル画像データをメモリ１０６に書き込む。

記録媒体制御部１０９は、記録媒体１１０へのデータの読み書きを制御し、ファイルシステムを管理する。具体的には、記録媒体制御部１０９は、メモリ１０６のＤＣＦ形式のデータを記録媒体１１０に記録し、記録媒体１１０に記録されたＤＣＦ形式のデータを読み出してメモリ１０６へ書き込む。

データバス１１１は、制御部１０５から各機能ブロックへのアクセスと、メモリ１０６を介した各機能ブロック間のデータ転送等に使用される。

全方位撮影ユニット１１２は、撮影レンズ１０１の前面に着脱自在である。全方位撮影ユニット１１２が撮影レンズ１０１に装着されると、画像入力部１００は、図７（ａ）に示すような、全周を同時に撮影したドーナッツ状の全方位画像データを出力する。他方、全方位撮影ユニット１１２が撮影レンズ１０１に装着されていない場合、画像入力部１００は、撮影レンズ１０１の正面の被写体を撮像した所定アスペクト比の矩形の画像データを出力する。

操作部２１３は、図１に示す撮像装置に対するユーザインターフェースとなり、種々の操作スイッチ及び操作ボタンなどからなり、操作結果を制御部１０５に出力する。

撮影レンズ１０１の前面には、全方位撮影ユニット１１２を着脱自在である。全方位撮影ユニット１１２は、撮影レンズ１０１への装着時に、撮影レンズ１０１に向かって凸の円錐状の反射鏡が撮影レンズ１０１の中心光軸１２０上に配置された光学アダプタである。全方位撮影ユニット１１２が装着されないとき、撮影レンズ１０１の中心光軸１２０がそのまま撮影光軸となり、撮像素子１０２は撮影レンズ１０１の前方の被写体を撮影する。他方、全方位撮影ユニット１１２を撮影レンズ１０１に装着したとき、全方位撮影ユニット１１２の円錐状ミラーが撮影光軸１２２を横方向に偏向する。このとき、撮像素子１０２は、光軸１２０の周囲３６０度を撮影視野とすることができ、周囲３６０度の被写体を撮像する。

図２を参照して、本実施例の記録動作を説明する。操作部２１３よりユーザが記録指示を制御部１０５に入力すると、図２に示すフローがスタートする。

Ｓ２０１で、撮像素子１０２は、撮影レンズ１０１を通過した光学像を電気信号に変換する。そして、画像処理部１０３が、撮像素子１０２からの画像信号にホワイトバランス及びγ補正等の画像処理を行い、得られた撮影画像データを入力画像データとしてメモリ１０６に書き込む。

Ｓ２０２で、制御部１０５は、全方位画像か通常画像かの判断を除外する撮影モードかが設定されているかどうかを判断する。そのような撮影モードは、例えば、夜景撮影モード又は花火撮影モードであり、以下、全方位画像か通常画像かの判断を除外する撮影モードを除外モードという。除外モードが設定されている場合（Ｓ２０２）、制御部１０５は、Ｓ２０５に進み、除外モードでない場合（Ｓ２０２）、制御部１０５はＳ２０３に進む。

Ｓ２０３で、制御部１０５は、メモリ１０６に書き込まれた入力画像データを読み出し、全方位画像か通常画像かを判断する。全方位画像は、図７（ａ）に示したようにドーナツ形状の画像となるので、制御部１０５は、画像データの周囲（及び中心）の特定部分が黒画像かどうかで全方位画像を識別できる。制御部１０５は、全方位画像と判断した場合（Ｓ２０３）、Ｓ２０４に進み、通常画像と判断した場合、Ｓ２０５に進む。

図４を参照して、ドーナツ形状の全方位画像の識別方法を説明する。図４に示す例では、制御部１０５は、撮影画像に対して５本の水平ラインＡ，Ｂ，Ｃ，Ｄ，Ｅに沿った輝度分布を検出する。

画像の中心ラインがラインＣであり、ラインＢ，Ｄ及びラインＡ，Ｅは、それぞれ、中心のラインＣから同一距離だけ上下に離れている。

全方位画像はドーナツ形状の画像になるので、全てのラインＡ，Ｂ，Ｃ，Ｄ，Ｅで、画像の両端は黒画像、即ち輝度が０の画像となり、その他の部分は、画像の内容により輝度が分布する。

ラインＣは画像の中心に位置するので、画像の中心部に相当する範囲で黒画像となる。

また、両端の黒分布は中心ラインＣで一番短くなり、画像の中心から上下垂直方向に画像端に向かうほど、黒分布が長くなる。

図４に示した例では、中心部の黒分布はラインＣのみに出現し、画像両端の黒分布の長さについては、（Ａ≒Ｅ）＞（Ｂ≒Ｄ）＞Ｃとなる。ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｅは、輝度値が０近傍である黒画像の画素数を表す。これらの条件が成立した場合、制御部１０５は、入力画像が全方位画像であると判断する。もちろん、魚眼レンズの場合、ラインＣの中央部分での黒画像は、全方位画像の判断条件とはならない。

図２に戻る。Ｓ２０４で、画像編集部１０８は、メモリ１０６に書き込まれた全方位画像（例えば、図７（ａ）に示すドーナッツ形状の画像）を周方向に展開した展開画像（例えば、図７（ｂ）に示す横長矩形状のパノラマ画像）に変換する。画像編集部１０８は、展開画像の画像データをメモリ１０６に書き込む。本実施例では、パノラマ展開する際の画像の中心は予め決められた位置であるとする。

Ｓ２０５で、画像編集部１０８は、メモリ１０６から画像データ（通常画像の場合は入力画像データ、全方位画像の場合は展開画像データ）を読み出し、縮小及びトリミング処理を行ってサムネイル画像データを生成する。画像編集部１０８はサムネイル生成手段として機能する。生成したサムネイル画像データは、インデックス表示に使用される。画像編集部１０８は生成したサムネイル画像データをメモリ１０６に書き込む。サムネイル画像は、全画角を縮小したものでも、全画角の一部を切り出した画像を縮小したものでも良い。本実施例では、サムネイル画像は、横画素数１６０画素、縦画素数１２０画素の大きさである。

Ｓ２０６で、画像符号化復号化部１０７は、メモリ１０６から入力画像データ及びＳ２０５で生成したサムネイル画像データを読み出して符号化し、符号化データを生成する。画像符号化復号化部１０７は、ＤＣＦ形式に必要なＳＯＩ、ＥＯＩ及びＴＡＧの各情報を同時に生成し、符号化データと共にＤＣＦ形式でメモリ１０６に書き戻す。ＴＡＧ情報は、メーカ名、モデル名及び作成日時等の情報の他に、全方位画像か通常画像かを示す情報も含む。ＳＯＩ情報及びＥＯＩ情報はそれぞれ、予め決められたスタートマーカ及びエンドマーカである。ＤＣＦ構造の一例を図３に示す。

Ｓ２０７で、記録媒体制御部１０９は、メモリ１０６からＤＣＦ形式のデータを読み出し、記録媒体１１０に記録する。これにより、図２に示すフローが終了する。

ステップＳ２０３では、入力画像が全方位画像か否かを、複数の切断線上の黒部分の分布で評価していたが、ユーザ自身が見て確認し、操作部２１３で指定してもよい。また、入力画像が全方位画像か否かを、画像が円形状であるか、画像の中心領域に黒い円形状が有るか、または、画像等により判断してもよい。

図２に示すフローでは、全方位画像か否かを画像処理により識別した。これに対し、図５に示すように、全方位撮影ユニット１１２の撮影レンズ１０１への装着を検出する全方位撮影ユニット検出部１３０を設けて、その検出結果により全方位画像を識別するようにしてもよい。

全方位撮影ユニット検出部１３０は例えば、全方位撮影ユニット１１２が装着されない状態でオフ、装着されてオンとなる機械スイッチからなる。制御部１０５は、全方位撮影ユニット検出部１３０の検出出力に従い、撮影画像が全方位画像か否かを識別し、その識別結果に従い実施例１のように動作する。

図２に示すフローでは、全方位画像については、展開処理によりパノラマ画像を生成してからサイズを縮小してサムネイル画像を生成したが、先にサイズを縮小してから展開処理によりパノラマ画像形式のサムネイル画像を生成してもよい。図６は、そのように変更した動作フローチャートを示す。

操作部２１３よりユーザが記録指示を制御部１０５に入力すると、図６に示すフローがスタートする。

Ｓ６０１で、撮像素子１０２は、撮影レンズ１０１を通過した光学像を電気信号に変換する。そして、画像処理部１０３が、撮像素子１０２からの画像信号にホワイトバランス及びγ補正等の画像処理を行い、得られた撮影画像データを入力画像データとしてメモリ１０６に書き込む。

Ｓ６０２で、制御部１０５は、Ｓ２０２と同様に、全方位画像か通常画像かの判断を除外する撮影モードかが設定されているかどうかを判断する。除外モードが設定されている場合、制御部１０５は、Ｓ６０５に進み、除外モードでない場合、制御部１０５はＳ６０３に進む。

Ｓ６０３で、制御部１０５は、Ｓ２０３と同様に、メモリ１０６に書き込まれた入力画像データを読み出し、全方位画像か通常画像かを判断する。制御部１０５は、全方位画像と判断した場合、Ｓ６０４に進み、通常画像と判断した場合、Ｓ６０５に進む。

Ｓ６０４で、画像編集部１０８は、メモリ１０６に書き込まれた全方位画像（例えば、図７（ａ）に示すドーナッツ形状の画像）から、サイズを縮小してインデックス表示に必要なサムネイル画像を生成する。このサムネイル画像は、全画角を縮小したものでも、全画角の一部を切り出した画像を縮小したものでも良い。次に、画像編集部１０８は、生成したサムネイル画像を周方向に展開して、パノラマ画像形式のサムネイル画像に変換する。画像編集部１０８は、パノラマ画像形式のサムネイル画像データをメモリ１０６に書き込む。本実施例では、パノラマ展開する際の画像の中心は予め決められた位置であるとする。また、サムネイル画像は、横画素数１６０画素、縦画素数１２０画素の大きさである。

Ｓ６０５で、画像編集部１０８は、メモリ１０６から通常画像の入力画像データを読み出し、縮小及びトリミング処理を行ってサムネイル画像データを生成する。生成したサムネイル画像データは、インデックス表示に使用される。画像編集部１０８は生成したサムネイル画像データをメモリ１０６に書き込む。このサムネイル画像は、全画角を縮小したものでも、全画角の一部を切り出した画像を縮小したものでも良い。本実施例では、サムネイル画像は、横画素数１６０画素、縦画素数１２０画素の大きさである。

Ｓ６０６以降の動作は、図２のＳ２０６以降と同様であるので、説明を省略する。

図６に示すフローでは、全方位画像から展開画像を生成する処理が、少ない画素数で行えるので、処理負担が少なくなり、短時間で次の処理に移行できる。

また、全方位画像がそのまま記録媒体に記録されるので、事後的に展開処理その他の処理をパーソナルコンピュータ等の外部装置で行うことが可能になる。

３６０度全周を視野に収容して撮影及び記録する実施例を説明したが、周方向の特定の角度範囲、例えば、１８０度とか２７０度とかを視野に収容するケースにも本発明は適用可能である。更には、周方向で複数の領域に分割された状態で一度に撮影されるケースにも適用可能である。すなわち、欠けの無い全方位又は全周に限らず、全周の一部を欠いた周方向の画像（周画像という）を記録する場合にも、本発明は適用されうる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (17)

1. 入力画像が周画像か否かを識別する識別手段と、
   前記周画像を周方向に展開した展開画像を生成する展開手段と、
   前記入力画像を記録媒体に記録するための制御手段であって、前記入力画像が前記周画像であると識別された場合には、前記展開手段により前記展開画像を生成して前記記録媒体に記録するように制御し、前記入力画像が前記周画像でないと識別された場合には、前記展開手段による前記展開画像の生成は行わずに前記入力画像を前記記録媒体に記録するように制御する制御手段
   とを具備することを特徴とする画像記録装置。
2. 前記入力画像からサムネイル画像を生成するサムネイル生成手段を更に備え、
   前記制御手段は、前記入力画像が前記周画像でないと識別された場合に、前記サムネイル生成手段により生成されたサムネイル画像を前記既得媒体に記録するように制御することを特徴とする請求項１に記載の画像記録装置。
3. 前記制御手段は、記サムネイル生成手段により生成されたサムネイル画像を前記入力画像と共に前記記録媒体に記録するように制御することを特徴とする請求項２に記載の画像記録装置。
4. 前記入力画像が前記周画像であると識別された場合に、前記制御手段は、前記展開手段により生成した前記展開画像をサムネイル画像として前記入力場層と共に前記記録媒体に記録するように制御することを特徴とする請求項３に記載の画像記録装置。
5. 前記制御手段は、前記入力画像が前記周画像であるか否かを示す情報を前記記録媒体に記録するように制御することを特徴とする請求項１ないし４の何れか１項に記載の画像記録装置。
6. 前記識別手段は、前記入力画像の特定部分が黒か否かにより前記周画像か否かを識別することを特徴とする請求項１ないし５の何れか１項に記載の画像記録装置。
7. 前記識別手段は、ユーザの指定に従い、前記入力画像が前記周画像か否かを識別することを特徴とする請求項１ないし５の何れか１項に記載の画像記録装置。
8. 前記周画像が全方位画像であることを特徴とする請求項１ないし７の何れか１項に記載の画像記録装置。
9. 前記展開手段は、前記周画像を周方向に展開したパノラマ画像を生成することを特徴とする請求項１乃至８の何れか１項に記載の画像記録装置。
10. 前記入力画像が前記周画像であると識別された場合に、前記制御手段は、前記入力画像の代わりに、前記展開画像を前記既得媒体に記録するように制御することを特徴とする請求項１に記載の画像記録装置。
11. 全方位撮影ユニットを着脱自在な撮像手段と、
    前記撮像手段による撮影画像を前記入力画像とする請求項１乃至９の何れか１項に記載の画像記録装置
    とを具備することを特徴とする撮像装置。
12. 更に、全方位撮影ユニットの着脱を検出する検出手段を具備し、
    前記識別手段は、前記検出手段の検出出力に従い、前記入力画像が前記周画像か否かを識別する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 特定の撮影モードにおける前記入力画像に対し、前記識別手段は、前記入力画像が前記周画像か否かを識別しないことを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記特定の撮影モードが花火撮影モードと夜景撮影モードであることを特徴とする請求項１１に記載の撮像装置。
15. 入力画像が周画像か否かを識別する識別工程と、
    前記入力画像を記録媒体に記録するための制御工程であって、前記入力画像が前記周画像であると識別された場合には、前記周画像を周方向に展開した展開画像を生成して前記既得媒体に記録するように制御し、前記入力画像が前記周画像でないと識別された場合には、前記展開画像の生成は行わずに前記入力画像を前記既得媒体に記録するように制御する制御工程
    とを有することを特徴とする画像記録装置の制御方法。
16. 請求項１５に記載の画像記録装置の制御方法をコンピュータに実行させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images