JP2016139975A - 画像取得装置、画像取得方法及び画像取得のためのプログラム - Google Patents

Abstract

【課題】１枚の画像から画像を切り出して再配置することで新たな画像を作成することができる画像取得装置、画像取得方法及び画像取得のためのプログラムを提供する。【解決手段】画像取得装置としての撮像装置１は、撮像部４と、トリミング部２５と、方向決定部２７と、画像合成部２８とを備える。撮像部４は、第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成する。トリミング部２５は、前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出す。方向決定部２７は、前記第１の画像の向きである画像方向を決定する。画像合成部２８は、前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成する。【選択図】図１

Description

本発明は、画像取得装置、画像取得方法及び画像取得のためのプログラムに関する。

デジタルカメラにおいて、被写体から到来した光は、撮影レンズによって収束する。その結果、撮像素子の撮像面に被写体像が結像する。撮像素子は、撮像面に結像した被写体像に基づいて画像データを生成する。この画像データに対しては、記録用や表示用に種々の画像処理が行われる。

一般に、魚眼レンズは、約１８０°の広がりを持つ半球全体に及ぶ被写体の像を１つの円形のイメージサークル内に結像させる。このイメージサークルと撮像面との位置関係には、円周魚眼と対角魚眼とが存在する。例えば特許文献１に記載のレンズ鏡筒は、魚眼ズームレンズのズーム操作環を回転させる操作によって、ＡＰＳ−Ｃ、ＡＰＳ−Ｈ、又はフルサイズの撮像素子に対して対角魚眼とすることと、フルサイズの撮像素子に対して円周魚眼とすることとを簡単に切り換えることができるように構成されている。

特開２０１２−２２１０８号公報

例えば魚眼レンズのように、広い画角を有するレンズを用いると、多くの被写体の画像を一度に取得することができる。このようにして取得された画像から必要な画像を切り出して再配置することで、新たな画像を作成することができる。

本発明は、１枚の画像から複数の画像を切り出してそれらの向きを整えて再配置することで新たな画像を作成することができる画像取得装置、画像取得方法及び画像取得のためのプログラムを提供することを目的とする。

本発明の一態様によれば、画像取得装置は、第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成する撮像部と、前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出すトリミング部と、前記第１の画像の向きである画像方向を決定する方向決定部と、前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成する画像合成部とを備える。

本発明の一態様によれば、画像取得方法は、第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成することと、前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出すことと、前記第１の画像の向きである画像方向を決定することと、前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成することとを含む。

本発明の一態様によれば、画像取得のためのプログラムは、第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成することと、前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出すことと、前記第１の画像の向きである画像方向を決定することと、前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成することとをコンピュータに実行させる。

本発明によれば、１枚の画像から複数の画像を切り出してそれらの向きを整えて再配置することで新たな画像を作成することができる画像取得装置、画像取得方法及び画像取得のためのプログラムを提供できる。

一実施形態に係る撮像装置の構成例の概略を示すブロック図。 撮像装置の使用態様の一例を説明するための図。 撮像装置の使用態様の一例を説明するための図。 撮像装置の使用態様の一例を説明するための図。 撮像装置を書画カメラとして用いた場合に取得される撮影画像の一例を示す図。 撮影画像に基づいて作成される編集画像の一例を示す図。 撮像装置の動作の一例を説明するためのフローチャートである。 周辺領域の内径の定め方の一例について説明するための図。 周辺領域の内径の定め方の一例について説明するための図。 周辺領域の外径及び内径について説明するための図。 周辺領域の画像から周辺画像を作成することについて説明するための図。 周辺領域の画像から周辺画像を作成することについて説明するための図。 周辺画像について説明するための図。 中央画像について説明するための図。

本発明の一実施形態に係る画像取得装置としての撮像装置について説明する。図１は、本実施形態に係る画像取得装置としての撮像装置１の構成例の概略を示す図である。撮像装置１は、制御部２と、撮像部４と、表示部５と、タッチパネル６と、記録部７と、操作部８と、姿勢検出部９と、通信部１０と、一時記憶部１１と、マイクロホン１２とを有する。

撮像部４は、魚眼光学系４１と、撮像素子４２とを備える。魚眼光学系４１は、複数枚のレンズを有し、被写体から入射した光束を収束させて、被写体像を撮像素子４２の撮像面に結像させる。魚眼光学系４１は、１８０°以上の画角の被写体を撮像素子４２の撮像面に写し込ませることができる円周魚眼レンズである。魚眼光学系４１は、１８０°よりも大きな画角を有することが好ましい。撮像素子４２は、例えばＣＣＤ又はＣＭＯＳイメージセンサを含み、撮像面に結像した被写体像に係るアナログ画像データを生成する。撮像部４は、ＡＤ変換回路を有し、撮像素子４２により生成されたアナログ画像データをデジタル画像データである撮影画像データに変換する。撮像部４によって取得された画像を、以下では撮影画像と称することにする。

表示部５は、例えば液晶ディスプレイ（ＬＣＤ）又は有機ＥＬディスプレイ等を含む。表示部５は、表示面に例えば撮影画像データに基づいて撮影画像を表示する。また、表示部５は、撮影画像に係る情報や、撮像装置１の状態や操作に係る情報等を表示してもよい。また、表示部５は、複数の表示面を有していてもよい。

タッチパネル６は、表示部５の表示面に重ねて設けられている。タッチパネル６は、ユーザが指先又はペン先等で触れたパネル上の位置情報を検出する。タッチパネル６の検出方式は、例えば抵抗膜方式、静電容量方式、光学方式、電磁誘導方式等のうち何れの検出方式であってもよい。

記録部７は、電源を切っても内容が保存される記録媒体、例えばＦＬＡＳＨメモリである。記録部７は、撮像装置１を動作させるためのプログラム、撮影画像データ、後述する引き伸ばし率等の各種パラメータ、後述する撮影画像から作成した編集画像等、種々の情報を記録する。なお、記録部７とは別に、着脱可能な記録部が設けられ、撮影画像や編集画像のデータは、この着脱可能な記録部に記録されてもよい。一時記憶部１１は、撮影した画像、その画像に所定の画像処理を施した画像、制御部２による演算結果等の情報を一時記憶する。

操作部８は、例えば各種ボタン、ダイヤル、スライダ等を含む。操作部８は、例えばレリーズボタンや、モードダイヤルを含む。ユーザによる操作が操作部８に対して行われたとき、この操作は制御部２によって検出される。

姿勢検出部９は、加速度センサを含む。姿勢検出部９は、撮像装置１の姿勢を算出するために用いられる撮像装置１にかかる加速度を検出する。姿勢検出部９は、検出した加速度の情報を制御部２へと伝達する。この姿勢検出部９は、重力加速度などを利用して装置の向きや角度などを判定し、地磁気センサなどで撮影方位まで判定可能であるが、機器が真上や真下に向けられている場合、中央部で撮影されているものの上下は検出が難しい。本発明は、このように装置の姿勢とは別に上下判定しなければならない対象物も正しく表示や記録などをする場合に有効になる。

通信部１０は、外部の装置と有線接続して又は無線接続して、外部の装置とデータの送受信を行う。通信の方式は、一般に知られている種々の方式が採用され得る。

マイクロホン１２は、音を電気信号に変換する。音の到来方向に基づいて音源を特定できるように、撮像装置１は、複数のマイクロホン１２を含むことが好ましい。

撮像装置１の外装部には、マグネット又はフック等が設けられている。撮像装置１は、マグネット又はフック等によりスタンドその他の機材に取り付けられ得る。

制御部２は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、又はＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）等を含む。制御部２は、画像処理部２１と、状態判定部２２と、顔検出部２３と、音源特定部２４と、トリミング部２５と、歪み補正部２６と、方向決定部２７と、画像合成部２８とを含む。画像処理部２１と、状態判定部２２と、顔検出部２３と、音源特定部２４と、トリミング部２５と、歪み補正部２６と、方向決定部２７と、画像合成部２８とは、それぞれ１つの回路によって実現されてもよいし、それらのうち複数が１つの回路で実現されてもよい。

画像処理部２１は、撮影画像データに対するデモザイク処理や、撮影画像データに係るノイズ、ホワイトバランス、階調、色等の各種撮影パラメータを調整する画像処理等を行う。

状態判定部２２は、姿勢検出部９から取得した加速度情報に基づいて、撮像装置１の姿勢の状態を判定する。

顔検出部２３は、撮影画像に含まれる顔を検出する。顔検出には、例えば目、鼻又は口等の顔の特徴に基づくパターンマッチングが用いられる。顔検出部２３は、顔の位置、顔の向き等に係る情報を取得する。また、顔検出部２３は、顔以外の被写体を検出してもよい。例えば、顔検出部２３は、撮影画像に対して文字の特徴に基づくパターンマッチングを行って文字を検出してもよい。顔検出部２３は、文字の向き等に係る情報を取得する。

音源特定部２４は、複数のマイクロホンによって取得された音データを解析し、音源の方向を特定する。すなわち、音源特定部２４は、マイクロホンによって取得された音情報に基づいて、第２の被写体のうち音を発生している音源を特定する。

トリミング部２５は、顔検出部２３によって特定された被写体の情報やその他の情報に基づいて、撮影画像から複数の画像を切り出す。本実施形態では、画像の中央付近に位置する被写体（第１の被写体と称することにする）と、その被写体の周囲に位置する被写体（第２の被写体と称することにする）とが同時に撮影された画像が撮影画像として取得される。トリミング部２５は、第１の被写体を含む画像（第１の画像と称することにする）と、第２の被写体を含む画像（第２の画像と称することにする）とを切り出す。

歪み補正部２６は、トリミング部２５が切り出した画像（第１の画像及び第２の画像）について、歪みを補正する歪み補正を行う。撮像装置１では、魚眼光学系４１が用いられているので、歪みのない画像を得るためには、撮影画像に対して歪み補正を行う必要がある。

方向決定部２７は、トリミング部２５によって切り出され、歪み補正部２６によって歪み補正がされた画像（第１の画像及び第２の画像）について、状態判定部２２から取得した撮像装置１の姿勢に係る情報や、顔検出部２３から取得した被写体に係る情報に基づいて、画像の上下方向といった画像方向を特定して、画像に対して上下情報を付加する。

画像合成部２８は、上下情報を参照しながら、切り出された第１の画像と第２の画像とを合成して、新たな編集画像を作成する。

図２Ａ乃至図２Ｃを参照して、撮像装置１の利用例について説明する。ユーザＵは、撮像装置１の魚眼光学系４１の光軸の方向を自由に決めることができる。図２Ａは、ユーザＵが撮像装置１を保持した状態で撮影を行う場合の一例を示す。図２Ａに示す場合では、ユーザＵは、魚眼光学系４１の光軸が水平方向となるように、撮像装置１を保持している。このように、撮像装置１は、魚眼レンズを備えた一般的なカメラと同様に用いられ得る。

図２Ｂは、ユーザＵが撮像装置１を保持した状態で撮影を行う場合の別の例を示す。この場合、ユーザＵは、撮像装置１の魚眼光学系４１の光軸の方向を天頂へ向けた状態での撮影を行っている。このとき、撮像装置１によって、水平方向全周にわたる画像が取得され得る。

図２Ｃは、撮像装置１が書画カメラとして用いられている場合の一例を示す。図２Ｃでは、机Ｓ１にスタンドＳ２が取り付けられている。撮像装置１は、マグネット又はフック等によりスタンドＳ２に取り付けられている。撮像装置１は、魚眼光学系４１が鉛直下向きとなるように、スタンドＳ２に固定されている。図２Ｃに示す状況では、机Ｓ１の上には、写真Ｏ１が置かれている。また、机Ｓ１の周囲には、複数の人物Ｏ２、Ｏ３及びＯ４がいる。撮像装置１が備える魚眼光学系の画角が１８０°よりも大きいとき、撮像装置１が配置される高さは、例えば人物Ｏ２、Ｏ３及びＯ４の目線の高さ付近とされる。

撮像装置１は、上記の状態で円周魚眼の画角で撮影を行う。このときに得られる撮影画像の一例を図３Ａに模式的に示す。円周魚眼であるので、得られる撮影画像Ｉ１は円形であり、魚眼光学系４１の光学系の設計に応じた画角の画像が得られる。また、円形の撮影画像Ｉ１の周囲は、いわゆるけられた状態となる。図３Ａに示すように、撮影画像Ｉ１の中央付近には、机Ｓ１の上に置かれた写真Ｏ１が写っている。さらに、写真Ｏ１の周囲には、机Ｓ１の周囲にいる複数の人物Ｏ２，Ｏ３，Ｏ４が写っている。このように得られた画像には、一台のカメラ利用だけで、机上の写真やドキュメント（書類）と、それを鑑賞する人の様子が捉えられる。したがって、遠隔地でこの画像を取得することにより、会議やパーティなどの様子を知ることができ、それに声などで参加することができる。多くのＴＶ会議システムは、参加者の顔を写すことに注力しており、こうした資料などを中心に皆で語らう用途を想定してはいない。

本実施形態に係る撮像装置１は、図３Ａに示したような撮影画像Ｉ１から、図３Ｂに示すような編集画像Ｉ２を生成する。編集画像Ｉ２は、机Ｓ１の上に置かれた写真Ｏ１の画像である中央画像Ｃ２と、写真Ｏ１を見る人物Ｏ２，Ｏ３，Ｏ４の画像である周辺画像Ｐ２とが並べて表されるものである。ここで、中央画像Ｃ２は、図３Ａに示した撮影画像Ｉ１の中央領域Ｃ１のうち、写真Ｏ１の部分だけが切り出され、歪みが補正されることで得られた画像である。また、周辺画像Ｐ２は、図３Ａに示した撮影画像Ｉ１のうち円環状の周辺領域Ｐ１の部分が長方形に変形されているものとなっている。さらに、中央画像Ｃ２と周辺画像Ｐ２とは、被写体の上下の向きが揃えられている。

以下、本実施形態に係る撮像装置１の動作の一例について説明する。ここで説明する動作は、主に図２Ｃに示した書画カメラとして用いられた場合の動作である。図４は、本実施形態の撮像装置１の動作を示すフローチャートである。例えば電源がオンになったとき、制御部２は、記録部７に記録されたプログラムを読み込んで、以下のカメラ制御処理を開始する。

ステップＳ１０１において、制御部２は、撮影モードが選択されているか否かを判定する。ステップＳ１０１において、撮影モードが選択されていると判定されたとき、処理はステップＳ１０２に進む。

ステップＳ１０２において、制御部２は、撮像部４に撮像を開始させる。撮像部４を用いて、円周魚眼の画角の撮影画像Ｉ１が生成される。

ステップＳ１０３において、制御部２は、姿勢検出部９から加速度情報を取得する。制御部２は、加速度情報に基づいて撮像装置１の姿勢の状態を判定する。

ステップＳ１０４において、制御部２は、撮影方向を判別するために、魚眼光学系４１の光軸が鉛直方向を向いているか否かを判定する。鉛直方向を向いているとき、処理はステップＳ１０５に進む。ここで、鉛直方向を向いているか否かの判断は、厳密な鉛直方向に限らず、おおよそ鉛直方向を向いているか否かの判断でよく、以下についても同様である。

ステップＳ１０５において、制御部２は、撮影画像Ｉ１における周辺部に人物がいるか否かを判定する。人物がいないとき、処理はステップＳ１０７に進む。一方、人物がいるとき、処理はステップＳ１０６に進む。

ステップＳ１０６において、制御部２は、周辺画像Ｐ２を作成し、上下情報を付加する。周辺画像Ｐ２の作成方法について説明する。周辺画像Ｐ２は、撮影画像Ｉ１から円環状に切り出した領域の画像に基づいて作成する。ここで、切り出す領域である円環の幅をどのような値にするかが問題となる。

一例として、本実施形態では以下のようにして切り出す円環の幅を決定する。すなわち、切り出す円環の外周の半径をＲ０としたときに、半径Ｒ０は、撮像素子４２によって得られたイメージサークルの半径とする。一方、切り出す円環の内周の半径をＲ１としたときに、Ｒ１の基準をＲ０の半分（Ｒ０＝２×Ｒ１）とする。この基準から、Ｒ１の値を微調整する。具体的には、撮影画像Ｉ１の周縁部に写っている人物を顔検出の結果を利用して特定し、周辺画像Ｐ２にこの人物の胸像が写るような値にＲ１を調整する。

図５Ａ及び図５Ｂに円環の幅の設定の一例について説明するための模式図を示す。図５Ａは、撮影画像Ｉ１の周縁部に写っている人物Ｏ５が小さい場合であり、図５Ｂは、撮影画像Ｉ１の周縁部に写っている人物Ｏ５が大きい場合である。イメージサークルは、円環状の周辺領域Ｐ１と円形の中央領域Ｃ１とに分割されている。図５Ａに示すように、人物Ｏ５の大きさが比較的小さいとき、周辺領域Ｐ１の内径Ｒ１は比較的大きくなるように調整される。一方、図５Ｂに示すように、人物Ｏ５の大きさが比較的大きいとき、周辺領域Ｐ１の内径Ｒ１は比較的小さくなるように調整される。このようにして調整された周辺領域Ｐ１の画像に基づいて周辺画像Ｐ２が作成され、中央領域Ｃ１の画像に基づいて中央画像Ｃ２が作成される。なお、ここでは、周辺領域Ｐ１と中央領域Ｃ１とは重ならないものとして説明したが、周辺領域Ｐ１と中央領域Ｃ１とはその一部において重なっていてもよい。

なお、上述したＲ１の基準をＲ０の半分としたことは次のような意味を持つ。すなわち、魚眼光学系４１の画角が１８０°であるとき、図６に示すように、周辺領域Ｐ１として選択されるのは、水平面から下向きに４５°の範囲である。

次に、撮影画像Ｉ１における周辺領域Ｐ１の画像から、周辺画像Ｐ２を作成する方法について簡単に説明する。図７Ａに示すように、周辺領域Ｐ１の１箇所に半径方向に切断線を設定する。周辺領域Ｐ１内の各点の座標を、内周と外周とを対向する辺とし切断線をもう一方の対向する辺とする長方形内の各点の座標に変換するなど、例えば円筒変換と呼ばれる座標変換等を行う。

ここで得られる長方形は、例えば図７Ｂに示すように、周辺領域Ｐ１の外周及び内周に対応する辺の長さが２πＲ０の長方形である。この辺の長さは、内径Ｒ１及び変数ｋを用いて２πＲ１×ｋとも表される。ここで、変数ｋについては、Ｒ０＝ｋ×Ｒ１の関係が成り立つ。この変数ｋを引き伸ばし率と称することにする。引き伸ばし率ｋが大き過ぎると、撮影画像Ｉ１から周辺画像Ｐ２への変形が大きくなるため、好ましくない。このため、本実施形態では、上述のとおり、引き伸ばし率ｋの基準値を２とし、引き伸ばし率ｋを２の前後で調整していることになる。

切断線は、人物が写っていない領域とすることが好ましい。切断線と人物とが重なってしまうと、作成される周辺画像Ｐ２においては、人物が切断された画像となってしまう。そこで、切断線の設定は、検出された人物の位置に基づいてもよい。また、例えば、スタンドＳ２が写っている部分を切断線として設定してもよい。また、机の角の所に人が座ることは少ないので、机の角の部分に合わせて切断線が設定されてもよい。

図４に戻って、カメラ制御処理について説明を続ける。ステップＳ１０６において、制御部２は、上述のようにして撮影画像Ｉ１に基づいて、周辺画像Ｐ２を作成する。このように、周辺画像Ｐ２は、第１の被写体の周囲に位置する第２の被写体を含む第２の画像に相当する。

さらに、ステップＳ１０６において、制御部２は、周辺画像Ｐ２に上下情報を付加する。上下情報は、作成された長方形の周辺画像Ｐ２の上下を特定する情報である。周辺画像Ｐ２の上下は例えば次のようにして特定される。例えば周辺画像Ｐ２に含まれる人物については、顔検出がされ、人物像が特定されているので、これらの情報に基づいて、周辺画像Ｐ２の上下が特定され得る。また、撮像装置１の姿勢に基づいて上下が特定されてもよい。すなわち、図２Ｃに示すように、撮影方向が鉛直下向きであるとき、周辺画像Ｐ２の上方向は、撮影画像Ｉ１の外周側となる。ステップＳ１０６の後、処理はステップＳ１０７に進む。

ステップＳ１０７において、制御部２は、撮像装置１の姿勢によって特定される撮影方向は、鉛直下向であるか否かを判定する。鉛直下向きでないとき、処理はステップＳ１１３に進む。一方、鉛直下向きであるとき、処理はステップＳ１０８に進む。すなわち、図２Ｃに示すように、撮像装置１が書画カメラとして用いられているとき、処理はステップＳ１０８に進む。

ステップＳ１０８において、制御部２は、中央領域Ｃ１に被写体となる対象物があるか否かを判定する。撮像装置１は書画カメラとして用いられているので、中央領域Ｃ１には、文字、図形、記号、写真等を含む文書や図面、写真やドキュメント等の被写体が配置されていることが想定される。これは一般的に書類等は机の上などに上向きに置かれる（重力を利用）ので、上から下を撮影する方が自然だという理由に基づいている。書画カメラは、通常、このような環境下を想定して設計されている。今回の実施例のように、書画カメラのレンズを広角化すると、上述のように上から下に向けて撮影する場合、周辺部の対象物まで撮影できるメリットが出てくる。周辺物は、書類等と同様に重力方向に立った状態の対象物が画面中央から周辺に向かって放射状に伸びた画像となる。したがって、その画像に応じた光軸を中心にして同じ単純な補正処理を行うことにより、得られた画像を自然な画像に変換することができる。もちろん、天井に貼られた標語などを撮影する場合には逆の関係になる。重力に逆らって壁にとめられているポスターや投射されたドキュメントなどを撮影する場合は、こうした考え方とは異なるが、ポスターだけを撮影するのであれば、それを撮影できる配置にしてもよい。これらの場合はカメラの姿勢判定を使って上下判定がされ得る。一方、文字を読み取る技術を使えば、机上や天井の文字でも、文字の上下は決まっているので、そのパターンをデータベース照合などで判定してドキュメントや文字の上下関係を判定することができる。もちろん、図２Ｃのように写真などを撮影する場合でも写っている人の顔の上下や空がどこにあるかや影の出方などによって上下判定が可能となる。中央領域Ｃ１に対象物がないとき、処理はステップＳ１１３に進む。一方、中央領域Ｃ１に対象物があるとき、処理はステップＳ１０９に進む。

ステップＳ１０９において、制御部２は、撮影画像Ｉ１の中央領域Ｃ１に含まれる対象物の画像を抽出し、歪みを補正して中央画像Ｃ２を作成する。このように、中央画像Ｃ２は、第１の被写体を含む第１の画像に相当する。この中央画像と周辺画像では、その境界をどこにするかが問題となるが、書画カメラでは説明がシンプルで、ドキュメントや写真の縁やそれが置かれた机の縁を境界とすればよい。ドキュメントや写真の縁やそれが置かれた机の縁は、多くの場合、そのほかの部分と色調や明るさが異なる上、四辺形であるからそれを想定した切り分けをすればよい。また、厳密に境界を設定しなくとも、各部位から切り紙風に切り出してもよい。

ステップＳ１１０において、中央画像Ｃ２の上下の向きを判定できるか否かを判定する。例えば中央画像Ｃ２に人物や文字の画像が含まれているとき、その人物や文字を検出し、その人物や文字の向きに基づいて、中央画像Ｃ２の上下の向きを判定できる。中央画像Ｃ２の上下の向きを判定できないとき、処理はステップＳ１１２に進む。一方、中央画像Ｃ２の上下の向きを判定できるとき、処理はステップＳ１１１に進む。

ステップＳ１１１において、制御部２は、中央画像Ｃ２のデータに対して、上下情報を付加する。その後、処理はステップＳ１１２に進む。

このような装置では、撮影されるものを一括して扱うより、個々の領域ごとに必要に応じた処理を施して表現した方が好ましい場合がある。ここでは、機器の姿勢では上下左右の判定が困難な中央部の対象物と、上下左右が機器の姿勢などで判定可能な周辺の対象物とを分けて処理を行っている。特に画角が広いと、様々なものが画面の中に写り込み、人間の視覚とは異なる画像となるため、このように整理して理解しやすい表示にすることがユーザーインターフェースとしても好ましい。ステップＳ１１２において、制御部２は、周辺画像Ｐ２と中央画像Ｃ２とを合成して、それらを含む１枚の編集画像Ｉ２を作成する。すなわち、図２Ｃに示すような状況において、撮影により図３Ａのような撮影画像Ｉ１が得られたとする。このとき、制御部２は、撮影画像Ｉ１を周辺領域Ｐ１と中央領域Ｃ１とに分割する。制御部２は、周辺領域Ｐ１からは、図８Ａに示すような周辺画像Ｐ２を作成し、中央領域Ｃ１からは、図８Ｂに示すような中央画像Ｃ２を作成する。そして、周辺画像Ｐ２と中央画像Ｃ２とを上下を揃えて合成することで、図３Ｂに示すような編集画像Ｉ２を作成する。その後、処理はステップＳ１１３に進む。

ステップＳ１１３において、制御部２は、編集画像Ｉ２を、表示部５又は撮像装置１の外部に設けられた表示装置に表示させる。この表示装置は、例えば写真Ｏ１を囲む人物Ｏ２，Ｏ３，Ｏ４が表示画像を視聴できるように設けられた表示装置である。人物Ｏ２，Ｏ３，Ｏ４は、表示装置を用いて編集画像Ｉ２を見ることができる。また、編集画像Ｉ２を表示する代わりに、又は編集画像Ｉ２を表示するとともに、編集画像Ｉ２を記録部７に記録してもよい。

ステップＳ１１４において、制御部２は、ユーザによって行われるレリーズ操作を検出したか否かを判定する。レリーズ操作を検出していないとき、処理はステップＳ１１６に進む。一方、レリーズ操作を検出したとき、処理はステップＳ１１５に進む。

ステップＳ１１５において、制御部２は、上述のようにして生成した編集画像Ｉ２のデータを記録部７に記録する。その後、処理はステップＳ１１６に進む。

ステップＳ１１６において、制御部２は、撮影モードを終了するか否かを判定する。撮影モードを終了しないとき、処理はステップＳ１０３に戻る。一方、撮影モードを終了するとき、処理はステップＳ１１７に進む。

ステップＳ１１７において、制御部２は、撮像装置１の電源をオフにするか否かを判定する。電源をオフにしないとき、処理はステップＳ１０１に戻る。一方、オフにするとき、制御部２は、電源をオフにしてカメラ制御処理を終了する。

ステップＳ１０４において、撮像装置１の光軸が鉛直方向にないと判定されたとき、処理はステップＳ１１８に進む。ステップＳ１１８において、撮影により得られた撮影画像Ｉ１の上下を判定する。撮影画像Ｉ１の上下は、撮像装置１の姿勢や撮影画像Ｉ１に含まれる人物の向き等に基づいて判定される。ステップＳ１１９において、制御部２は、撮影画像Ｉ１の上下を考慮して、撮影画像Ｉ１を表示部５に表示させる。

ステップＳ１２０において、制御部２は、ユーザによって行われるレリーズ操作を検出したか否かを判定する。レリーズ操作を検出していないとき、処理はステップＳ１０３に戻る。一方、レリーズ操作を検出したとき、処理はステップＳ１２１に進む。ステップＳ１２１において、制御部２は、撮影処理を実行し、撮影画像Ｉ１のデータを記録部７に記録する。その後、処理はステップＳ１１６に進む。

ステップＳ１０１において、撮影モードが選択されていないと判定されたとき、処理はステップＳ１２２に進む。ステップＳ１２２において、制御部２は、再生モードにおける処理を実行する。再生モードでは、記録部７に記録された画像を表示する。ここでは再生モードにおける動作の説明を省略する。再生モードにおける動作の後、処理はステップＳ１１７に進み、前述の電源がオフであるか否かの判定が行われる。

以上のとおり、本実施形態によれば、撮像装置１は、一般的な魚眼レンズを備えたカメラとして用いられるだけでなく、書画カメラとしても用いられ得る。撮像装置１が書画カメラとして用いられるとき、撮像装置１の正面に置かれた対象物の他に、それを取り囲む、例えば人物の画像も取得され、当該対象物の画像と当該人物の画像とが合成された編集画像が作成される。このような撮像装置１を例えば会議で用いれば、会議資料と共に会議の参加者の様子を表示装置に表示したり記録装置に記録したりできる。このことは、特に遠隔地との間で画像及び音声の通信を介して行われる、いわゆるテレビ会議において便利である。なお、ここで、光軸が鉛直方向であるかを判定して、上下の表現が分からない例を示したが、それ以外にも、機器の姿勢以外から上下判定を行う必要がある画像部位がある場合、その他の方法をとってもよい。水中でユーザが無理な姿勢から撮影した魚の上下や、撮影部、光学部を遠隔操作で動かしながら撮影するような用途の場合、撮影者の構え方が、通常想定されたものとは異なる場合がある。なお、書画カメラの場合は、文書や机の境界などが、この画像部位の切り分けの目安として使えるので説明が簡単であったが、それに限るものではない。例えば、潜水しながら撮影する魚は、魚の形で上下を揃えて拡大しながら、潜水した仲間の画像は機器の姿勢を基準に上下を決めて表示するなどの用途がある。この場合は、魚の形などから対象領域が削られないような範囲で余裕をもって切り出すような方法が考えられる。つまり、この実施例では、第１の被写体の存在する第１の画像領域と前記第１の被写体とは異なる第２の被写体を含む第２の領域とを同時に撮影して、撮影画像を生成する撮像部と、前記撮影画像から、前記第１の画像領域と前記第２の画像領域とを判定して切り出すトリミング部を有し、前記第１の画像領域と第２の画像領域をそれぞれ上下判定を行って画像方向を決定する方向決定部を有する装置を提供するものである。前記画像の方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成する画像合成部とを備える画像取得装置ということになるが、一方の画像の上下の向きは機器の姿勢で判定し、一方の画像の上下の向きはその画像領域に含まれる対象物の画像の上下から決定されている特徴もある。

なお、撮像装置１は、上述のような書画カメラとしてのみ用いられるのであれば、表示部５やタッチパネル６が備えられていなくてもよい。また、魚眼光学系４１、撮像部４及び姿勢検出部９等と、画像処理を行う演算部とは、別体として設けられ、これらが無線又は有線によって通信し、上記の撮像装置１と同様の機能を果たしてもよい。

また、上述の実施形態は一例であり、様々な変形例が考えられる。例えば、図３Ｂには、編集画像Ｉ２の一例として、１つの中央画像Ｃ２と１つの周辺画像Ｐ２とが並べられる例を示したがこれに限らない。例えば、周辺画像は、２つに分割されてそれらが並べて表示されるように合成されてもよいし、人物ごとに画像が切り出されてそれらが並べて表示されるように合成されてもよい。中央画像についても同様である。また、周辺画像の被写体は、人物に限らない。

また、上述の例では、撮像装置１の光学系の光軸が鉛直となるように設置される例を示したが、これに限らない。撮像装置１は、光軸が斜めになるように設置されてもよい。この場合も、例えば周辺の人物などの画像の認識には種々の画像認識の技術等が用いられ、画像の上下方向が判定されて、これらの上下方向に基づいて画像の方向が整えられて、編集画像が合成され得る。また、写真などの対象物は撮像装置１の撮像領域の中央に配置されてもよいし、偏った位置に配置されてもよい。対象物が撮像領域内の偏った位置に配置される場合、画像認識の技術等が用いられて、撮影画像の中から対象物の画像が切り出されたり、その周辺の人物の画像が切り出されたりする。

また、周辺画像として、発言をしている人物が大きく含まれるような編集画像が作成されてもよい。この場合、制御部２は、マイクロホン１２から得られた音データを参照して、音源の位置を判定する。制御部２は、周辺領域のうち、音源の位置に対応する領域の画像を切り出す。制御部２は、この切り出して作成した周辺画像を編集画像の中に合成する。このような撮像装置１が会議で用いられると、編集画像には、撮像装置１の正面に置かれた対象物の画像と、その周囲にいる会議の参加者のうち発言をした人の画像とが含まれることになる。

また、上述の本実施形態では、撮像装置１が備える光学系は魚眼光学系であるものとしたが、撮像装置１には、例えば一般的な広角レンズが用いられてもよい。その場合も画像の歪みを取るための画像変換に係る処理が異なるが、他の動作は上述の撮像装置１と同様である。

また、上述の実施形態では、中央画像と周辺画像とは１つの編集画像に合成されて表示や記録がされているが、これに限らない。中央画像と周辺画像とは、別々の画像として、異なる表示装置に表示されたり、異なる画像として保存されたりしてもよい。

以上、各実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、種々の記録媒体や記録部に収められ得る。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。

また、上述の実施形態は、例えばスマートフォンやタブレット端末といった情報携帯端末にも適用され得る。情報携帯端末には、ウェアラブル端末も含まれる。また、コンシューマ用のカメラ等に限らず、監視カメラや、検査用等の産業用機器や、各種医療用の観察装置にも適用され得る。特に、広い視野で撮影され、画面の場所によって適応的に上下判定をして表示や記録するような用途に向いている。特に、ユーザが持って撮影する場合以外や、ユーザが操作するとしても遠隔の機器を操作する場合、過酷な環境下では、機器の姿勢と画像の上下が異なる場合があり、また、広角の画像取得では様々な対象物が写りこむので、各対象物ごとに上下を決めて表示する方が良い場合に有効活用できる。このような画面の切り分けを行えば、その領域ごとに、上下の扱いを変える他、拡大や縮小、または歪み補正など、適切な画像処理などが可能であり、よりユーザが鑑賞や観察がしやすくなるというメリットがある。これらの処理を手動で調整できるようにしてもよいことは言うまでもない。なお、領域ごとに歪み補正するのはよく使われる技術であるが、ここでは、領域ごとに別画像として扱って、さらに合成などを行っている点などが異なっている。

１…撮像装置、２…制御部、４…撮像部、５…表示部、６…タッチパネル、７…記録部、８…操作部、９…姿勢検出部、１０…通信部、１１…一時記憶部、１２…マイクロホン、２１…画像処理部、２２…状態判定部、２３…顔検出部、２４…音源特定部、２５…トリミング部、２６…歪み補正部、２７…方向決定部、２８…画像合成部、４１…魚眼光学系、４２…撮像素子。

Claims (9)

1. 第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成する撮像部と、
   前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出すトリミング部と、
   前記第１の画像の向きである画像方向を決定する方向決定部と、
   前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成する画像合成部と
   を備える画像取得装置。
2. 前記撮像部は、魚眼光学系を含み、
   前記トリミング部が切り出した前記第１の画像と前記第２の画像との歪みを補正する歪み補正部をさらに備え、
   前記画像合成部は、前記歪み補正部が歪みを補正した前記第１の画像と前記第２の画像とを合成する、
   請求項１に記載の画像取得装置。
3. 前記トリミング部は、文字、図形、記号又は写真を前記第１の被写体とし、人物を前記第２の被写体とする、請求項１又は２に記載の画像取得装置。
4. 前記方向決定部は、パターンマッチングに基づいて前記画像方向を決定する、請求項１乃至３のうち何れか１項に記載の画像取得装置。
5. 音情報を取得するマイクロホンと、
   前記音情報に基づいて前記第２の被写体のうち音を発生している音源を特定する音源特定部と
   をさらに備え、
   前記トリミング部は、前記音源に応じた画像を前記第２の画像として切り出す、
   請求項１乃至４のうち何れか１項に記載の画像取得装置。
6. 第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成することと、
   前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出すことと、
   前記第１の画像の向きである画像方向を決定することと、
   前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成することと
   を含む画像取得方法。
7. 第１の被写体と前記第１の被写体の周囲に位置する第２の被写体とを同時に撮影して、撮影画像を生成することと、
   前記撮影画像から、前記第１の被写体を含む第１の画像と前記第２の被写体を含む第２の画像とを切り出すことと、
   前記第１の画像の向きである画像方向を決定することと、
   前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成することと
   をコンピュータに実行させるための画像取得のためのプログラム。
8. 第１の被写体が存在する第１の領域と前記第１の被写体とは異なる第２の被写体を含む第２の領域とを同時に撮影して、撮影画像を生成する撮像部と、
   前記撮影画像から、前記第１の領域に係る第１の画像と前記第２の領域に係る第２の画像とを判定して切り出すトリミング部と、
   前記第１の画像と前記第２の画像とのうち一方の上下の向きを前記撮像部の姿勢に基づいて決定し、前記第１の画像と前記第２の画像とのうち他方の上下の向きを前記第１の画像又は前記第２の画像における前記第１の被写体又は前記第２の被写体の向きに基づいて決定する、上下判定によって画像方向を決定する方向決定部と、
   前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成する画像合成部と
   を備える画像取得装置。
9. 撮像部によって第１の被写体が存在する第１の領域と前記第１の被写体とは異なる第２の被写体を含む第２の領域とを同時に撮影して、撮影画像を生成することと、
   前記撮影画像から、前記第１の領域に係る第１の画像と前記第２の領域に係る第２の画像とを判定して切り出すことと、
   前記第１の画像と前記第２の画像とのうち一方の上下の向きを前記撮像部の姿勢に基づいて決定し、前記第１の画像と前記第２の画像とのうち他方の上下の向きを前記第１の画像又は前記第２の画像における前記第１の被写体又は前記第２の被写体の向きに基づいて決定する、上下判定によって画像方向を決定することと、
   前記画像方向に基づいて前記第１の画像と前記第２の画像との向きを整えて、前記第１の画像と前記第２の画像とを合成することで編集画像を作成することと
   を含む画像取得方法。