JP2017126942A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 撮影者が何に注目して広角撮影を行ったのかをユーザが容易に確認できるようにする。【解決手段】 本体装置２０の制御部２１は、撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を撮像装置１０から取得して、この広角画像に写り込まれている撮影者の一部分に基づく広角画像内の所定の領域を撮影者が注目している注目領域として特定し、この注目領域内の画像を明示するための処理（例えば、広角画像から注目領域内の画像を切り出して表示する処理）を行う。【選択図】 図１

Description

本発明は、広角で撮影された広角画像に対して処理を行う画像処理装置、画像処理方法及びプログラムに関する。

デジタルスチルカメラなどの撮像装置に採用されている魚眼レンズ等の広角レンズは、例えば、画角が略１８０゜という広範囲な撮影が可能であるが、射影方式が採用されているためにこの広角レンズで撮影された画像は、その中心部から端部（周辺部）の方に向かう程、大きく歪んだものとなる。このような広角レンズを用いて広角撮影された画像を表示する技術としては、例えば、撮影された魚眼画像内から所定領域内の画像を切り出して、その切り出した領域内の画像に対して歪曲を補正する処理を施すことにより歪のない画像（補正画像）をユーザに提供するようにした技術が開示されている（特許文献１参照）。

実用新案登録第３０６６５９４号公報

上述した特許文献の技術によれば、魚眼レンズ等の広角レンズを用いて広範囲な撮影を行った場合でも歪のない画像を得ることが可能となるために、例えば、壮大に広がる空間を収めて撮影するような場合には良いが、人物などの所定の被写体を撮影対象として広角撮影した撮影画像を再生した場合、その撮影画像において、撮影者がどの被写体に注目して撮影したのかを判別することが困難になってしまうという問題があった。

本発明の課題は、撮影者が何に注目して広角撮影を行ったのかをユーザが容易に確認できるようにすることである。

上述した課題を解決するために本発明は、
撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する取得手段と、
前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する特定手段と、
前記特定手段によって特定された前記注目領域内の画像を明示するための処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。

本発明によれば、撮影者が何に注目して広角撮影を行ったのかをユーザが容易に確認可能とすることができる。

（１）は、画像表示装置として適用したデジタルカメラを構成する撮像装置１０と本体装置２０とを一体的に組み合わせた状態を表す外観図、（２）は、撮像装置１０と本体装置２０とを分離した状態を表す外観図。 （１）は、撮像装置１０の構成を示すブロック図、（２）は、本体装置２０の構成を示すブロック図。 （１）は、魚眼レンズ１６Ｂを用いて広角撮影する撮像装置１０が撮影者の胸に装着されている状態を示し、（２）は、その状態における撮像装置１０の撮影範囲を示した図。 撮影モードに切り替えられた場合の本体装置２０側の動作（本実施形態の特徴部分の動作）を説明するためのフローチャート。 図４に続く動作を示したフローチャート。 魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（本実施形態の特徴部分の動作）を示したフローチャート。 （１）、（２）は、撮像装置１０が撮影者の胸の位置に装着されている状態において、撮影された魚眼画像の周辺上端部に写り込んでいる撮影者の頭部に基づいて、撮影者の注目方向を検出する方法を説明するための図。 （１）〜（３）は、魚眼画像（保存済み画像）を再生する場合の様子を説明するための図。 （１）、（２）は、撮影者の注目方向に応じて特定した注目領域を移動させる特殊な場合を説明するための図。

以下、図１〜図９を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、このデジタルカメラは、後述する撮像部を備える撮像装置１０と、後述する表示部を備える本体装置２０とに分離可能なセパレート型デジタルカメラである。図１（１）は、撮像装置１０と本体装置２０とを一体的に組み合わせた状態を示し、図１（２）は、撮像装置１０と本体装置２０とを分離した状態を示した図である。このセパレート型デジタルカメラを構成する撮像装置１０と本体装置２０とは、それぞれが利用可能な無線通信を用いてペアリング（無線接続認識）が可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用している。本体装置２０側では、撮像装置１０側で撮影された画像を受信取得して、この撮影画像（ライブビュー画像）を表示するようにしている。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像：保存前の画像）も意味している。

図２（１）は、撮像装置１０の構成を示すブロック図であり、図２（２）は、本体装置２０の構成を示すブロック図である。
図２（１）において、撮像装置１０は、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮像部１６を備えている。制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。通信部１４は、撮影画像を本体装置２０側に送信したり、本体装置２０からの操作指示信号などを受信したりする。操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。

撮像部１６は、被写体を高精細に撮影可能なカメラ部を構成するもので、この撮像部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮像素子１６Ｃなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ（図示省略）を魚眼レンズ１６Ｂに交換したり、その他の広角レンズ（図示省略）に交換したりすることが可能なもので、図示の例は、通常の撮像レンズに代わって魚眼レンズ１６Ｂを装着した状態を示している。この魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、その画角が１８０゜を超える広範囲な撮影（略１８０゜撮影）が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ１６Ｂによって撮影された広角画像（魚眼画像）の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮影された広角画像（魚眼画像）は、その中心から端部に向かう程、大きく歪んだものとなる。

すなわち、魚眼レンズ１６Ｂは、その画角が略１８０゜という広範囲な撮影が可能な円周魚眼レンズであるため、魚眼画像の全体は、円形の画像となり、その中心部から端部（周辺部）の方に向かう程、大きく歪んだものとなると共に、魚眼画像の中心部に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しょうとしてもその確認は極めて困難なものとなる。このような魚眼レンズ１６Ｂによる被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）１６Ｃに結像されると、この撮像素子１６Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号に変換されると共に、所定の画像表示処理が施された後、本体装置２０側に送信されてモニタ表示される。

図２（２）において、本体装置２０は、魚眼レンズなどを使用して撮影された画像を再生する再生機能を有し、制御部２１、電源部２２、記憶部２３、通信部２４、操作部２５、タッチ表示部２６を備えている。制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこの本体装置２０の全体動作を制御するもので、この制御部２１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部２３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ２３Ａ、この本体装置２０が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ２３Ｂなどを有している。

通信部２４は、撮像装置１０との間で各種のデータの送受信を行う。操作部２５は、図示省略の電源ボタン、レリーズボタンタン（２段押し型のボタン）、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えたもので、制御部２１は、この操作部２５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮像装置１０に対して送信したりする。タッチ表示部２６は、高精細液晶などのディスプレイ２６Ａ上にタッチパネル２６Ｂを積層配置した構成で、その表示画面は、撮影された画像（魚眼画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。本体装置２０側において制御部２１は、撮影を指示するレリーズボタン操作（２段押し操作：本撮影操作）が行われると、魚眼画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部２３の記録メディアに記録保存させる。

図３（１）は、魚眼レンズ１６Ｂを用いて広角撮影する撮像装置１０が撮影者の胸に装着されている状態を示し、（２）は、その状態における撮像装置１０の撮影範囲を示した図である。
撮像装置１０は、その裏面側に衣服などに装着可能な係止具や面ファスナなどの装着部１８が設けられており、図３（１）は、撮影者の左胸の位置に撮像装置１０を取り外し自在に装着した状態を示している。図３（２）は、魚眼レンズ１６Ｂの光軸方向が重力方向に対して略直交する状態、つまり、カメラが地面に対して略垂直となるようにして撮影した場合（垂直撮りを行った場合）を示し、この撮像装置１０は、上述したようにその画角が１８０゜を超える広範囲な撮影（略１８０゜撮影）が可能なために、図３（２）に示すように、撮像装置１０を撮影者の左胸の位置に装着した状態で広角撮影を行うと、撮影者の一部（頭部）が広角画像（魚眼画像：静止画像）内の所定の位置（例えば、周辺上端部）に写り込んでしまう。なお、撮影者の頭部には、顎、顔、頭髪を含む。

ここで、本実施形態において、本体装置２０は、撮影時にその撮影範囲内に撮影者の一部分が含まれている状態で撮影された広角画像（魚眼画像：静止画像）を撮像装置１０から取得し、この魚眼画像に写り込まれている撮影者の一部分（頭部）が示す方向を撮影者が注目している方向として検出し、この注目方向を撮影者の顔の向きを示す情報として魚眼画像のファイル情報（例えば、Ｅｘｉｆ情報）として書き込むようにしている。そして、その魚眼画像の再生時に、そのファイル情報から撮影者の顔の向きを示す情報（注目方向）を読み出し、この注目方向に相当する魚眼画像内における所定の領域を注目領域として特定して、この注目領域内の画像を明示するための処理を行うようにしている。

すなわち、注目領域内の画像を明示するための処理として、注目領域内の画像を魚眼画像内から切り出してその切り出した画像に対してその歪曲を補正する処理を行い、その補正画像を再生画面に表示する処理を行う。なお、魚眼画像の歪を補正する処理（魚眼歪補正処理）は、仮想球面モデル上の任意の点で接する平面をスクリーンとして、仮想球面モデル上の点を平面スクリーン上の点に座標変換することにより魚眼画像の歪を補正する技術を用いているが、この補正処理は、画像処理において一般的に用いられている周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

次に、本実施形態における画像処理装置（デジタルカメラ）の動作概念を図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図４及び図５、図６は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図４及び図５、図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図４及び図５は、撮影モードに切り替えられた場合の本体装置２０側の動作（本実施形態の特徴部分の動作）を説明するためのフローチャートである。
まず、本体装置２０側の制御部２１は、撮像装置１０から広角画像（魚眼画像）を受信取得しながらその取得画像をライブビュー画像として表示する動作を開始する（図４のステップＡ１）。そして、レリーズボタンが半押し操作（１段押し込み操作：仮撮影操作）されるまで待機状態となる（ステップＡ２）。ここで、レリーズボタンの半押し操作が行われると（ステップＡ２でＹＥＳ）、自動焦点調整（ＡＦ）及び自動露出調整（ＡＥ）処理を開始する（ステップＡ３）。

そして、制御部２１は、撮像装置１０から魚眼画像（ライブビュー画像）を受信取得してその画像を解析しながらその魚眼画像内の所定の位置（上述の周辺上端部）に含まれている人物の顔、すなわち、撮影者の顔を検出する処理を行う（ステップＡ４）。この顔検出処理は、顔パーツを検出したり、肌色を検出したりするなど、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

ここで、図３（２）に示したように撮像装置１０が撮影者の胸の位置に装着されている状態で広角撮影された魚眼画像内の所定の部分（周辺上端部）には、その撮影者の一部分（顎、顔、毛髪）が写り込んでいるため、制御部２１は、魚眼画像内から撮影者の顔を検出する。更に、検出した顔の中から鼻を認識して、魚眼画像内の鼻尖点の座標位置を検出すると共に（ステップＡ５）、撮影者の顎先を認識してその顎先の高さ（座標位置）を検出する（ステップＡ６）。そして、検出した鼻の位置（鼻尖点）の位置と顎先の高さ（位置）とを、本撮影時において撮影者の注目方向を判定するための判定用基準値（初期値）としてワークメモリ２３Ｂに一時記憶（設定）しておく（ステップＡ７）。

図７（１）、（２）は、撮像装置１０が撮影者の胸の位置に装着されている状態において、撮影された魚眼画像の周辺上端部に写り込んでいる撮影者の頭部（顎、顔、毛髪）に基づいて、本撮影時における撮影者の注目方向を判定する方法を説明するための図である。
撮像装置１０が撮影者の胸の位置に装着されている状態で撮影を行った場合に、撮影者の頭部は魚眼画像の周辺部に写り込むために大きく歪んだものとなるが、撮影者の顔の各部位を認識してその位置を特定することができる程度の歪みであるため、本実施形態では、撮影者の鼻尖点と顎先に着目し、その鼻尖点と顎先の位置の変化に基づいて、顔の向きを判定（検出）するようにしている。図７（１）は、魚眼画像内における撮影者の鼻尖点の位置変化を示し、図７（２）は、撮影者の顎先の位置変化を示した図で、制御部２１は、鼻尖点の位置の変化を検出することにより顔の左右方向の変化を検出し、また、顎先の位置の変化を検出することによって顔の上下方向の変化を検出することによって、本撮影時における撮影者の注目方向（顔の向き）を判定するようにしている。

このように本実施形態においては、撮影者の鼻尖点と顎先の位置変化に基づいて、その撮影者の注目方向（顔の向き）を判定するようにしているため、その判定基準値（初期値）としての鼻尖点と顎先の位置を予め設定しておく必要がある。上述のステップＡ７は、この判定基準値を設定するための処理で、レリーズボタンの半押し操作（仮撮影操作）時にその設定を行うようにしいる。このような設定処理が終わると、ステップＡ８に移り、レリーズボタンの全押し操作（本撮影操作）が行われるまで待機状態となる。

いま、レリーズボタンが全押し操作されると（ステップＡ８でＹＥＳ）、図５のフローに移り、撮像装置１０から受信取得した魚眼画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部２３の記録メディアに記録保存させる（ステップＡ９）。そして、上述の場合と同様に、その撮影画像（魚眼画像）を解析しながらその画像内に含まれている人物の顔を検出する（ステップＡ１０）。更に、検出した顔の中から鼻尖点の位置を検出すると共に（ステップＡ１１）、撮影者の顎先の位置を検出する（ステップＡ１２）。

次に、本撮影時に検出した鼻尖点と顎先の位置と、予め設定されている判定用基準値（仮撮影時の鼻尖点と顎先の位置）とを比較し、本撮影時の鼻尖点の位置と仮撮影時の鼻尖点の位置との変位量を求めると共に、本撮影時の顎先の位置と仮撮影時の顎先の位置との変位量を求める（ステップＡ１３）。そして、鼻尖点の変位量と顎先の変位量から本撮影時における撮影者の注目方向（顔の向き）を判定する（ステップＡ１４）。この場合、本実施形態においては、上述の判定用基準値（仮撮影時における鼻尖点と顎先の位置）の状態を撮影者の顔が正面に向いていると状態であると仮定するようにしている。すなわち、判定用基準値の鼻尖点と顎先の位置は、左右及び上下に偏りのない正面向きの状態であると仮定し、この正面向き状態を基準点（魚眼画像の中心点）として、鼻尖点の変位量と顎先の変位量から本撮影時における撮影者の注目方向（顔の向き）を判定するようにしている。なお、基準点を魚眼画像の中心点とする場合に限らず、撮像装置１０の装着位置との関係で基準点を設定するようにしてもよい。

いま、仮撮影時の鼻尖点の位置をＸ１、本撮影時の鼻尖点の位置をＸ２とすると、鼻尖点の変位量ΔＸは、Ｘ１−Ｘ２となる。同様に、仮撮影時の顎先の位置をＹ１、本撮影時の顎先の位置をＹ２とすると、その変位量ΔＹは、Ｙ１−Ｙ２となる。ここで、上述のように正面向き状態を基準点（魚眼画像の中心点）とした場合には、魚眼画像の中心点からＸ軸方向（左右方向）に鼻尖点の変位量ΔＸだけ離れ、かつ、Ｙ軸方向（上下方向）に顎先の変位量ΔＹだけ離れた位置を撮影者の注目方向（顔の向き）として判定する。なお、鼻尖点の変位量ΔＸがプラスであれば右方向、マイナスであれば左方向、顎先の変位量ΔＹがプラスであれば上方向、マイナスであれば下方向に変位する。

そして、検出した撮影者の注目方向（顔の向き）を画像ファイル情報（例えば、Ｅｘｉｆ情報）に書き込むと共に、撮影者の頭部が写り込んでいる方向に基づいて魚眼画像の天地方向を特定して、その魚眼画像の天地方向を画像ファイル情報に書き込む（ステップＡ１５）。なお、本実施形態において、撮影者の頭部が写り込んでいる方向に基づいて魚眼画像の天地方向を特定しているが、それに限らず、撮像装置１０にセンサーなどの姿勢検出部を設けて、当該姿勢検出部の検出結果に基づいて魚眼画像の天地方向を特定してもよい。更に、本実施形態においては、撮影者の注目方向（顔の向き）を画像ファイル情報に書き込むようにしたが、その魚眼画像に対応付けて別ファイルに記憶するようにしてもよい。その後、撮影モードが解除されて他の動作モード（撮影モードなど）に切り替えられたかを調べ（ステップＡ１６）、撮影モードのままであれば（ステップＡ１６でＮＯ）、図４のステップＡ２に戻るが、撮影モードが解除された場合には（ステップＡ１６でＹＥＳ）、図４及び図５のフローから抜ける。

図６は、魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（本実施形態の特徴部分の動作）を示したフローチャートである。
まず、制御部２１は、ユーザ操作によって魚眼画像（保存済み画像）の再生が指示されると、記憶部２３の記録メディアに記録保存されている複数の魚眼画像（保存済み画像）を読み出すと共に（ステップＢ１）、サムネイル画像に変換してタッチ表示部２６に一覧表示させる（ステップＢ２）。

図８は、魚眼画像を再生する場合の様子を説明するための図である。
図８（１）、本体装置２０側のタッチ表示部２６に各種の魚眼画像（保存済み画像）がサムネイル表示された一覧画面を示した図である。図中の円形は、個々の魚眼画像を示し、３×３のマトリックス状に魚眼画像がサムネイル表示されている状態である。この状態において、この一覧画面の中から任意のサムネイル画像を再生対象として指定するタッチ操作が行われたかを調べ（ステップＢ３）、タッチ操作が行われなければ（ステップＢ３でＮＯ）、操作部２５の所定キーとして、再生終了を指示するキーが操作されたかを調べる（ステップＢ４）。ここで、再生終了が指示されなければ（ステップＢ４でＮＯ）、上述のステップＢ３に戻るが、再生終了が指示された場合には（ステップＢ４でＹＥＳ）、図６のフローから抜ける。

いま、複数の魚眼画像がマトリックス状にサムネイル画像として一覧表示されている状態において、その中から任意のサムネイル画像の位置がタッチされると（ステップＢ３でＹＥＳ）、制御部２１は、その魚眼画像を再生対象として選択指定する（ステップＢ５）。図８（２）は、再生対象として選択された魚眼画像を示している。そして、この指定画像（魚眼画像）のファイル情報から撮影者の注目方向（顔の向き）及び天地方向を読み出し（ステップＢ６）、この注目方向から魚眼画像内の注目領域を切り出し枠として特定する（ステップＢ７）。

すなわち、図８（２）は、再生対象として選択された魚眼画像内に特定した注目領域を示した図である。この場合、制御部２１は、魚眼画像内において撮影者の注目方向の位置を基準（中心点）として所定サイズ（縦横比が３：４）の長方形枠を注目領域として特定する。図示の例では、撮影者が男の子に注目している場合で、その男の子を基準（中心点）として所定サイズの長方形枠（図中、破線）が注目領域として特定される。そして、次のステップＢ８では、上述のようにして特定した注目領域を移動する必要があるかを判別する。すなわち、特定した注目領域内から所定の被写体の一部分（例えば、人物の頭部）がはみ出しているか、又は、注目領域が魚眼画像の外側に所定量以上はみ出しているかを判別する。

ここで、特定した注目領域内から所定の被写体の一部分（例えば、人物の頭部）がはみ出している場合には（ステップＢ８でＹＥＳ）、その被写体の一部分が注目領域内に収まるようにその注目領域を移動する（ステップＢ９）。また、注目領域が魚眼画像の外側に所定量以上（例えば、３０％以上）はみ出している場合には（ステップＢ８でＹＥＳ）、そのはみ出し量が少なくなるように（例えば、２０％以下となるように）、注目領域を広角画像（魚眼画像）の内側方向に移動する（ステップＢ９）。

図９（１）は、注目領域内から人物の頭部がはみ出している場合を例示したもので、図中、破線の長方形は、移動前の注目領域を示し、実線の長方形は、移動後の注目領域を示したもので、注目領域を図中、上方向に移動することによって人物の頭部は、注目領域内に収まるようになる。図９（２）は、注目領域が魚眼画像の外側に所定量以上はみ出している場合を例示したもので、図中、破線の長方形は、移動前の注目領域を示し、実線の長方形は、移動後の注目領域を示したもので、注目領域を図中、下方向に移動することによって移動前の注目領域内には魚眼画像が略５０％しか含まれていなかったが、移動後の魚眼画像には魚眼画像が略８０％含まれるようになる。なお、本実施形態では、注目領域が魚眼画像の外側に所定量以上はみ出している場合には、そのはみ出し量が少なくなるように、注目領域を広角画像（魚眼画像）の内側方向に移動させているが、そのはみ出し量が全く無くなるまで、注目領域の全体を魚眼画像の内側に含まれるように、当該注目領域を移動させてもよい。

このようにして特定した注目領域に基づいて魚眼画像からその注目領域（切り出し枠）内の画像を切り出す（ステップＢ１０）。なお、注目領域（切り出し枠）は、長方形に限らず、楕円などであってもよく、その形状は問わない。そして、その切り出した画像に対してその歪曲を補正する処理（ステップＢ１１）を施した後、その魚眼画像のファイル情報から読み出した天地方向に基づいて魚眼画像の天地を判断して再生画面に拡大表示させる（ステップＢ１２）。図８（３）は、注目領域（切り出し枠）内の画像が拡大表示された状態を示している。

そして、他の魚眼画像の表示を指示する操作（画像の切り替えを指示する操作）が行われたかを調べたり（ステップＢ１３）、画像再生の終了を指示する操作が行われたかを調べたりする（ステップＢ１４）。いま、再生終了が指示された場合には（ステップＢ１４でＹＥＳ）、図６のフローから抜けるが、他の魚眼画像への切り替え表示を指示する切替操作が行われた場合には（ステップＢ１３でＹＥＳ）、上述したサムネイル画像を一覧表示するステップＡ２に戻り、以下、上述の動作を繰り返す。

以上のように、本実施形態において本体装置２０の制御部２１は、撮影時にその撮影範囲内に撮影者の一部分が含まれている状態で広角撮影された広角画像（魚眼画像）を撮像装置１０から取得して、この広角画像（魚眼画像）に写り込まれている撮影者の一部分に基づく魚眼画像内の所定の領域を撮影者が注目している注目領域として特定し、この注目領域内の画像を明示するための処理を行うようにしたので、撮影者が何に注目して広角撮影を行ったのかを容易に確認することができる。

制御部２１は、魚眼画像内に写り込まれている撮影者の一部分に基づいて、撮影時にその撮影範囲内で撮影者が注目している方向を検出し、この注目方向に相当する魚眼画像内における所定の領域を注目領域として特定するようにしたので、広角時に撮影者の状態に応じた注目方向から魚眼画像内の注目領域を適切に特定することができる。

制御部２１は、撮影者の注目方向を基準として、魚眼画像内における所定サイズの領域を注目領域として特定するようにしたので、撮影者の注目対象を基準として注目領域として特定することができる。

制御部２１は、注目領域内から所定の被写体の一部分（人物の頭部）がはみ出している場合には、その被写体の一部分が注目領域内に収まるようにその注目領域を移動するようにしたので、注目方向を精度良く検出することができなくても注目領域内に人物の顔を収めることが可能となる。

制御部２１は、注目領域が魚眼画像の外側に所定量以上はみ出している場合には、その注目領域を魚眼画像の内側方向に移動するようにしたので、たとえ注目方向を精度良く検出することができなくても注目領域内から魚眼画像が大きく外れることを防ぐことが可能となる。

制御部２１は、レリーズボタンが半押し操作（仮撮影操作）時にその撮影範囲内に撮影者の一部分が含まれている状態で撮影された魚眼画像を取得し、かつ、レリーズボタンが全押し操作（本撮影操作）時にその撮影範囲内に撮影者の一部分が含まれている状態で広角撮影された魚眼画像を取得し、仮撮影時に撮影された魚眼画像内に写り込まれている撮影者の一部分と本撮影時に撮影された魚眼画像内に写り込まれている撮影者の一部分とを比較し、その変化状態に基づいて、本撮影時にその撮影範囲内で撮影者が注目している方向を検出するようにしたので、撮影者の注目方向を適切に検出することができる。

制御部２１は、撮影者の胸に撮像装置１０が装着されている状態で撮影された魚眼画像を取得し、この魚眼画像に写り込まれている撮影者の顔部分に基づいて、撮影者が注目している方向を検出するようにしたので、撮影者の顔部分からその注目方向を適切に検出することができる。

制御部２１は、魚眼画像内に写り込まれている撮影者の位置に基づいて、その魚眼画像の天地方向を検出するようにしたので、撮影者の位置を画像フォルダ情報に画像方向として天地方向を書き込むことができる。
なお、撮像装置１０に姿勢検出部を設け、その姿勢検出部の検出結果に基づいて魚眼画像の天地方向を特定するようにすれば、天地方向の特定が確実なものとなる。

制御部２１は、注目領域内の画像を明示するための処理として、魚眼画像内から注目領域内の画像を切り出す処理を行うようにしたので、撮影範囲が広範囲であってもその中から注目領域内の画像のみを抽出することができる。

制御部２１は、注目領域内の画像を明示するための処理として、魚眼画像の注目領域内内の画像に対してその歪を補正する処理を行うようにしたので、注目領域内の画像のみを歪のない画像とすることができる。

（変形例１）
上述した実施形態においては、撮影者の注目方向を基準（中心）として、魚眼画像内における所定サイズの領域を注目領域として特定して、その注目領域内の画像を切り出すようにしたが、魚眼画像を予め複数の領域に論理的に分割（例えば、広角画像を３×３のマトリックス状に分割）しておき、この複数の分割領域の中から撮影者の注目方向に相当するいずれかの分割領域を注目領域として特定し、その注目領域内の画像を切り出すようにしてもよい。

すなわち、９つの分割領域を“正面向き”、“正面上向き”、“正面下向き”、“右横向き”、“右上向き”、“右下向き”、“左横向き”、“左上向き”、“左下向き”の領域とし、その中から注目方向が属する分割領域を注目領域（切り出し枠）として特定して、その枠内の画像を切り出すようにしてもよい。なお、例えば、鼻尖点の変位量を左右方向（Ｘ軸方向）、顎先の変位量を上下方向（Ｙ軸方向）として、上述の各分割領域を対応付けたテーブル（図示省略）を参照して、注目方向が属する分割領域を注目領域として特定するようにしてもよい。

この場合、魚眼画像は円形であるため、例えば、“右上向き”、“右下向き”、“左上向き”、“左下向き”の分割領域（斜め方向の分割領域）のいずれかが魚眼画像の外側からはみ出してしまう場合には、上述した実施形態と同様に、その分割領域をそのまま注目領域（切り出し枠）として特定せずに、分割領域を魚眼画像の内側に所定距離移動した領域を注目領域（切り出し枠）として特定するようにしてもよい。また、撮影者の注目方向に相当する分割領域内の所定の被写体（例えば、人物の頭部）がその分割領域からはみ出している場合には、その人物の頭部全体がその分割領域内に収まるように移動した領域を注目領域（切り出し枠）として特定するようにしてもよい。

また、上述のように魚眼画像を予め複数の領域に分割する場合においても、第１実施形態と同様に、注目領域内から所定の被写体の一部分（人物の頭部）がはみ出している場合には、その被写体の一部分が注目領域内に収まるようにその注目領域を移動するようにしたので、注目方向を精度良く検出することができなくても注目領域内に人物の顔を収めることが可能となる。更に、注目領域が広角画像の外側に所定量以上はみ出している場合には、その注目領域を魚眼画像の内側方向に移動するようにしたので、注目方向を精度良く検出することができなくても注目領域内から魚眼画像が大きく外れることを防ぐことが可能となる。

このように魚眼画像を予め複数の領域に分割しておき、撮影者の注目方向に相当するいずれかの分割領域を注目領域として特定するようにすれば、注目領域の特定が容易となると共に、注目領域を一律に特定することが可能となる。

更に、注目領域を特定する方法としては、撮影者の一部分の撮影前後の位置変化、又は形状変化、又は面積変化に基づいて魚眼画像内の所定の領域を撮影者が注目している注目領域として特定するにしてもよい。このように各種の特定方法を可能とすることにより、その中から複数の特定方法を組み合わせて注目領域を多角的に特定したり、特定方法を撮影状況に応じて切り換えたりすることができる。

（変形例２）
上述した実施形態においては、撮影者の注目方向を基準（中心）に基づいて特定した注目領域を切り出し枠として特定し、その枠内の画像を切り出すようにしたが、注目領域内の画像を明示する処理としては、これに限らず、例えば、魚眼画像又はその補正画像内の注目領域に指標を付加（重畳）するようにしてもよいし、これらを組み合わせてもよい。例えば、注目領域に識別可能な枠を付加したり、注目領域内に特別な記号や図形などを付加したり、注目領域内の画像の輝度を高めたりするようにしてもよい。このように注目領域を識別可能に表示するようにすれば、ユーザは画像再生によってその画像全体を確認しながら撮影者が何に注目していたかを併せて知ることができる。

なお、上述した実施形態においては、１台のカメラで撮影された魚眼画像に対してその撮影者の注目方向を検出してその注目方向に相当する注目領域を特定するようにしたが、これに限らず、撮影者が複数台のカメラを装着し、各カメラで撮影された画像を合成して広角画像を生成する場合にも適用可能である。このことは、更に、撮影範囲が連続するように１台のカメラで順次撮影された各撮影画像を順次合成して広角画像を生成する場合においても同様である。

上述した実施形態においては、魚眼レンズ１６Ｂを用いて静止画撮影を行う場合を例示したが、動画撮影を行う場合であっても同様に適用可能である。この場合、本撮影時に撮影者の注目方向を１フレーム毎に検出して注目領域を切り出し枠として特定し、この注目領域（切り出し枠）内の画像をフレーム毎に再生するようにすればよい。この場合、動画（魚眼画像）の再生時に撮影者の注目方向が変化したときのみ注目領域を特定して魚眼画像と共に、又は魚眼画像に代えて注目領域から切り出した画像を再生するようにしてもよい。

上述した実施形態においては、人物の顔を検出して、鼻尖点及び顎先の位置から撮影者の注目方向を特定するようにしたが、これに限らず、目の位置など顔のどの部位を基準として撮影者の注目方向を特定するかは問わない。また、鼻尖点などの変位量から撮影者の注目方向を特定する場合に限らず、例えば、鼻の形状変化や面積変化などの変移量から撮影者の注目方向を特定するようにしてもよい。更に、撮影者の瞳を検出してその視線方向を注目方向として特定するようにすれば、撮影者が顔を動かさずに視線方向のみを変えた場合でもその視線方向を注目方向として特定することが可能となる。

上述した実施形態においては、撮影体として人間を前提としたが、撮影体は人間に限らず、視覚、聴覚、触覚など感覚機能を有する知能ロボットの判断能力を基に撮影を行う場合であってもよい。また、上述した実施形態においては、撮影者の一部として、人物の顔を例示したが、撮影者の指、腕、足などによるジェスチャを検出するようにしてもよい。

また、上述した実施形態においては、撮影範囲が略１８０°の魚眼レンズ１６Ｂを用いて撮影した魚眼画像に適用した場合を例示したが、３６０°撮影の魚眼画像に適用するようにしてもよい。例えば、３６０°撮影として前方１８０°撮影と後方１８０°撮影の２回に分けて撮影することにより得られた魚眼画像に適用したり、略１８０°の魚眼レンズ１６Ｂを筐体の前後両面（表裏両面）にそれぞれ備えたカメラによって前後両方を一度に撮影することにより得られた魚眼画像に適用したりしてもよい。

上述した実施形態においては、撮像装置１０を撮影者の胸に装着するようにしたが、これに限らず、例えば、帽子の鍔の先に装着したり、腰のベルトに装着したり、更には、ウエアラブルカメラに限らず、定置して撮影を行うカメラに適用可能である。

上述した実施形態においては、魚眼レンズ１６Ｂを用いて魚眼画像を撮影する場合を例示したが、魚眼レンズ１６Ｂ以外の広角レンズを使用して広角撮影した広角画像に対しても適用可能である。

また、上述した実施形態においては、画像処理装置としてデジタルカメラに適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する取得手段と、
前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する特定手段と、
前記特定手段によって特定された前記注目領域内の画像を明示するための処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記取得手段によって取得された前記広角画像内に写り込まれている前記撮影体の一部分に基づいて、撮影時にその撮影範囲内で前記撮影体が注目している方向を検出する第１の検出手段を更に備え、
前記特定手段は、前記第１の検出手段によって検出された前記撮影体の注目方向に相当する前記広角画像内における所定の領域を前記注目領域として特定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記特定手段は、特定した前記注目領域内から所定の被写体の一部分がはみ出している場合には、その被写体の一部分が前記注目領域内に収まるようにその注目領域を移動する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、
前記特定手段は、特定した前記注目領域が広角画像の外側にはみ出している場合には、その注目領域を広角画像の内側方向に移動する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項２乃至４のいずれか１項に記載の画像処理装置において、
前記取得手段は、仮撮影時にその撮影範囲内に前記撮影体の一部分が含まれている状態で広角撮影された広角画像を取得し、かつ、本撮影時にその撮影範囲内に前記撮影体の一部分が含まれている状態で広角撮影された広角画像を取得し、
前記第１の検出手段は、前記仮撮影時に撮影された広角画像内に写り込まれている前記撮影体の一部分と前記本撮影時に撮影された広角画像内に写り込まれている前記撮影体の一部分とを比較し、その変化状態に基づいて、前記本撮影時にその撮影範囲内で撮影体が注目している方向を検出する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項２乃至５のいずれか１項に記載の画像処理装置において、
前記撮影体の胸に装着されている状態において広角撮影を行う撮影手段を備え、
前記取得手段は、前記撮影手段による広角撮影時にその撮影範囲内に前記撮影体の顔部分が含まれている状態で広角撮影された広角画像を取得し、
前記第１の検出手段は、前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の顔部分に基づいて、当該撮影体が注目している方向を検出する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、
前記広角画像の天地方向を検出する第２の検出手段を更に備え、
前記処理手段は、更に、前記第２の検出手段によって検出された広角画像の前記天地方向にしたがって前記注目領域内の画像を明示するための処理を行う、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項７に記載の画像処理装置において、
前記第２の検出手段は、前記取得手段によって取得された広角画像内に写り込まれている前記撮影体の位置に基づいて、その広角画像の天地方向を検出する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項１乃至８のいずれか１項に記載の画像処理装置において、
前記処理手段は、前記特定手段によって特定された注目領域内の画像を明示するための処理として、前記広角画像内から前記注目領域内の画像を切り出す処理を行う、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項１乃至９のいずれか１項に記載の画像処理装置において、
前記処理手段は、前記特定手段によって特定された注目領域内の画像を明示するための処理として、前記広角画像の注目領域内の画像に対してその歪を補正する処理を行う、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項１乃至１０のいずれか１項に記載の画像処理装置において、
前記処理手段は、前記特定手段によって特定された注目領域内の画像を明示するための処理として、前記広角画像内の注目領域を識別可能に表示する処理を行う、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１乃至１１のいずれか１項に記載の画像処理装置において、
前記特定手段は、前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の一部分の撮影前後の位置変化、又は形状変化、又は面積変化に基づいて前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、
画像処理装置における画像処理方法であって、
撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する処理と、
前記取得された広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する処理と、
前記特定された注目領域内の画像を明示するための処理と、
を含むことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、
画像処理装置のコンピュータに対して、
撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する機能と、
前記取得された広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する機能と、
前記特定された注目領域内の画像を明示するための処理を行う機能と、
を実現させるためのプログラムである。

１０ 撮像装置
２０ 本体装置
１１、２１ 制御部
１３、２３ 記憶部
２３Ａ プログラムメモリ
１４、２４ 通信部
１６ 撮像部
１６Ｂ 魚眼レンズ
１６Ｃ 撮像素子
２５ 操作部
２６ タッチ表示部

Claims (14)

1. 撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する取得手段と、
   前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する特定手段と、
   前記特定手段によって特定された前記注目領域内の画像を明示するための処理を行う処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段によって取得された前記広角画像内に写り込まれている前記撮影体の一部分に基づいて、撮影時にその撮影範囲内で前記撮影体が注目している方向を検出する第１の検出手段を更に備え、
   前記特定手段は、前記第１の検出手段によって検出された前記撮影体の注目方向に相当する前記広角画像内における所定の領域を前記注目領域として特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、特定した前記注目領域内から所定の被写体の一部分がはみ出している場合には、その被写体の一部分が前記注目領域内に収まるようにその注目領域を移動する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、特定した前記注目領域が広角画像の外側にはみ出している場合には、その注目領域を広角画像の内側方向に移動する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、仮撮影時にその撮影範囲内に前記撮影体の一部分が含まれている状態で広角撮影された広角画像を取得し、かつ、本撮影時にその撮影範囲内に前記撮影体の一部分が含まれている状態で広角撮影された広角画像を取得し、
   前記第１の検出手段は、前記仮撮影時に撮影された広角画像内に写り込まれている前記撮影体の一部分と前記本撮影時に撮影された広角画像内に写り込まれている前記撮影体の一部分とを比較し、その変化状態に基づいて、前記本撮影時にその撮影範囲内で撮影体が注目している方向を検出する、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮影体の胸に装着されている状態において広角撮影を行う撮影手段を備え、
   前記取得手段は、前記撮影手段による広角撮影時にその撮影範囲内に前記撮影体の顔部分が含まれている状態で広角撮影された広角画像を取得し、
   前記第１の検出手段は、前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の顔部分に基づいて、当該撮影体が注目している方向を検出する、
   ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記広角画像の天地方向を検出する第２の検出手段を更に備え、
   前記処理手段は、更に、前記第２の検出手段によって検出された広角画像の前記天地方向にしたがって前記注目領域内の画像を明示するための処理を行う、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２の検出手段は、前記取得手段によって取得された広角画像内に写り込まれている前記撮影体の位置に基づいて、その広角画像の天地方向を検出する、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記処理手段は、前記特定手段によって特定された注目領域内の画像を明示するための処理として、前記広角画像内から前記注目領域内の画像を切り出す処理を行う、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記処理手段は、前記特定手段によって特定された注目領域内の画像を明示するための処理として、前記広角画像の注目領域内の画像に対してその歪を補正する処理を行う、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記処理手段は、前記特定手段によって特定された注目領域内の画像を明示するための処理として、前記広角画像内の注目領域を識別可能に表示する処理を行う、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記特定手段は、前記取得手段によって取得された前記広角画像に写り込まれている前記撮影体の一部分の撮影前後の位置変化、又は形状変化、又は面積変化に基づいて前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する、
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 画像処理装置における画像処理方法であって、
    撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する処理と、
    前記取得された広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する処理と、
    前記特定された注目領域内の画像を明示するための処理と、
    を含むことを特徴とする画像処理方法。
14. 画像処理装置のコンピュータに対して、
    撮影時にその撮影範囲内に撮影体の一部分が含まれている状態で広角撮影された広角画像を取得する機能と、
    前記取得された広角画像に写り込まれている前記撮影体の一部分に基づく前記広角画像内の所定の領域を前記撮影体が注目している注目領域として特定する機能と、
    前記特定された注目領域内の画像を明示するための処理を行う機能と、
    を実現させるためのプログラム。

Images