JP2019009574A - 画像処理装置 - Google Patents

Abstract

【課題】全天球画像を射影変換した平面画像を再生する際に、自分撮りの時は撮影者自身の位置が画像の中心に正位置となるよう表示し、撮影者の顔の位置や傾きがバラバラで見づらいことを解決することを可能にした画像処理装置を提供すること。【解決手段】全天球画像データを表示する画像表示手段と、撮影者を検出する撮影者検出手段と、前記撮影者検出手段で撮影者が検出された場合に撮影者が画像の中心に正位置となるよう前記画像表示手段で表示する制御手段と、を備える。【選択図】図１

Description

本発明は、画像処理装置に関し、特に全天球（全方位）画像や３６０度画像を処理して表示する画像処理装置に関する。

従来から、複数の撮像装置を用いて複数の視野領域を撮像し、それぞれを組み合わせることによって全方位撮影を可能にする全天球撮像装置として様々なものが知られている。
また、全天球撮像装置で生成された全天球画像を２次元の表示装置に表示させるために、全天球画像を平面画像に射影変換する画像処理装置が提案されている。

特許文献１には、全天球フォーマットといった広画角画像をディスプレイ装置で表示させるために平面画像に変換するに際して、平面画像に生じる画像伸張や湾曲など違和感を最低化させる装置が提案されている。

一方、監視カメラのシステムやパノラマ画像等で人物を追尾したり中心に表示したりする技術がある。

特許文献２には、視野が０度から３６０度の広い範囲で撮影されたパノラマ映像に対して、視聴者が指定した領域や被写体などの動きによって自動的に移動し、常時該領域や被写体が画面に表示されるように制御する技術が開示されている。

特開２０１３−５７９９３号公報 特開２００５−３０３７９６号公報

全球面カメラを用いて撮影する際、撮影者自身を含めて撮影するいわゆる自分撮りのケースとパノラマ撮影のように周りの様子を全方位にわたって撮影したいケースが想定される。

特許文献１に記載の技術を用いて全天球画像から射影変換した平面画像をディスプレイ装置で表示する際、自分撮りの場合には撮影者の顔の位置や傾きがバラバラだと見づらいため、最初から撮影者自身が中心に正位置となるように表示したい。

しかしながら、特許文献２に記載の画像処理装置では、領域や被写体などユーザーが判断して指定する必要がある。また、撮影者とたまたま写り込んでしまった撮影者自身や撮影者以外の人物を区別するものではない。

そこで、本発明の目的は、全天球画像を射影変換した平面画像を再生する際に、自分撮りの時は撮影者自身の位置が画像の中心に正位置となるよう表示し、撮影者の顔の位置や傾きがバラバラで見づらいことを解決することを可能にした画像処理装置を提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、
全天球画像データを表示する画像表示手段と、撮影者を検出する撮影者検出手段と、前記撮影者検出手段で撮影者が検出された場合に撮影者が画像の中心に正位置となるよう前記画像表示手段で表示する制御手段と、を備えることを特徴とする。

本発明に係る画像処理装置によれば、全天球画像を射影変換した平面画像を再生する際に、自分撮りの時は撮影者自身の位置が画像の中心に正位置となるよう表示することが可能となる。

第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 第１の実施形態に係る画像処理装置の外観の一例を示す図である。 第１の実施形態に係る全天球画像の撮影処理を示すフローチャートである。 第１の実施形態に係る自分撮り判定処理を示すフローチャートである。 第１の実施形態に係る自分撮り判定処理において撮影者の手が写っているかを判定する領域を示す図である。 第１の実施形態に係る自分撮り判定処理において撮影者の顔が写っているかを判定する領域を示す図である。 第１の実施形態に係る全天球画像撮影時の撮影者の撮影姿勢を示す図である。 第１の実施形態に係る自分撮り時の表示例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

《第１の実施形態》
図１は、本発明の第１の実施形態にかかわる画像処理装置１００の構成例を示すブロック図である。

図１を参照して、本画像処理装置１００のブロック図について説明する。

画像処理装置１００は、対物レンズ１０１、１０５と、撮像素子１０２、１０６と、アナログ信号処理部１０３、１０７と、画像処理部１０４、１０８と、システム制御部１０９と、操作部１１０と、シャッターボタン１３０と、メモリ１１１と、不揮発性メモリ１２２と、歪曲画像補正部１１２と、顔検出処理部１１３と、顔向き検出処理部１１４と、手領域検出処理部１１５と、全天球画像生成部１１６と、表示部１１８と、射影変換処理部１１９と、バス１２０を有している。

ここで、画像処理部１０４、１０８、システム制御部１０９、メモリ１１１、不揮発性メモリ１２２、顔検出処理部１１３、顔向き検出処理部１１４、手領域検出処理部１１５、全天球画像生成部１１６、表示部１１８、射影変換処理部１１９は、バス１２０を介して接続されている。

また、撮像素子１０２、１０６、アナログ信号処理部１０３、１０７、操作部１１０は、システム制御部１０９に接続されている。また、シャッターボタン１３０は、操作部１１０を介してシステム制御部１０９に接続されている。

本実施形態では、２つの撮像系により撮像された各撮像画像を繋ぎ合わせ合成して全天球画像を生成する。そのため、２つの対物レンズは各々１８０（＝３６０／２）度を超える画角を有する魚眼レンズであり、各々の光軸が合致するようにして、互いに逆向きに組み合わせられている。

そして、２つの撮像系により撮像された各撮像画像で全天球画像を生成するが、撮像系の構成については、この限りではない。Ｎ個の撮像系で全天球画像を生成する場合は、各撮像画像を繋ぎ合わせ合成すれば良い。

対物レンズ１０１、１０５は、光束を集光して被写体像を撮像素子１０２、１０６の受光面に形成する。撮像素子１０２、１０６は、対物レンズ１０１、１０５を通過した被写体の画像光を光電変換してアナログ画像信号に変換するＣＣＤ等の撮像素子である。

アナログ信号処理部１０３、１０７は、システム制御部１０９の指示に応じて、撮像素子１０２、１０６から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、信号処理されたデジタル画像信号を画像処理部１０４、１０８へ転送する。

画像処理部１０４、１０８は、システム制御部１０９の指示に応じて、アナログ信号処理部１０３、１０７で処理されたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施し、画像処理された撮像画像をメモリ１１１へ記憶させる。

メモリ１１１には、ＲＡＭが用いられ、画像処理部１０４、１０８から出力される撮像画像、または射影変換処理部１１９から出力される表示画像など、バス１２０に接続されている回路で処理された画像を一時的に記憶する。また、メモリ１１１は、システム制御部１０９による処理の過程で動作用の定数、変数、不揮発性メモリ１２２から読み出したプログラム等を記憶する。

不揮発性メモリ１２２は、たとえばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１２２には、システム制御部１０９の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムのことである。

１０９はシステム制御部であり、画像処理装置１００全体を制御する。前述した不揮発性メモリ１２２に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

操作部１１０は、画像処理装置のモード選択ボタンやメニューを決定するＯＫボタン等、ユーザーが画像処理装置を外部から操作する箇所である。

システム制御部１０９は、シャッターボタン１３０が押されると、撮影を実行するために各ブロックの動作を統括制御する。

歪曲画像補正部１１２は、システム制御部１０９の指示に応じて、対物レンズ１０１、１０５の光学特性により歪曲している撮像画像をメモリ１１１から読み出し、レンズの光学特性に応じた歪曲収差補正を施し、補正した撮像画像をメモリ１１１へ記憶させる。

顔検出処理部１１３は、システム制御部１０９の指示に応じて、歪曲画像補正部１１２により歪曲収差補正した撮像画像をメモリ１１１から読み出し、画像データに含まれる被写体から、顔領域を検出して、顔領域情報をメモリ１１１へ記憶させる。

顔向き検出処理部１１４は、システム制御部１０９の指示に応じて、顔検出処理部１１３で検出した顔領域について、画像処理装置の対物レンズ方向に顔が向いているかを判定する。

手領域検出処理部１１５は、システム制御部１０９の指示に応じて、画像データに手が撮影されているか判定する。

なお、顔検出処理部１１３、顔向き検出処理部１１４、手領域検出処理部１１５の詳細な処理内容の詳細は、後述する図４で説明する。

全天球画像生成部１１６は、システム制御部１０９の指示に応じて、画像処理部１０４、１０８で処理された２つの撮像画像をメモリ１１１から読み出し、各撮像画像を繋ぎ合わせ合成した全天球画像を生成し、メモリ１１１へ記憶させる。全天球画像の生成については、例えば、すでに公知である特開２０１３−４５０８９に記載されている。

射影変換処理部１１９は、システム制御部１０９の指示に応じて、全天球画像生成部１１６で生成された全天球画像を、射影変換方式により平面画像に変換し、メモリ１１１へ記憶させる。

表示部１１８は、ＬＣＤ（液晶表示装置）等で構成され、射影変換処理部１１９で生成された平面画像をメモリ１１１から読み出し、システム制御部１０９の制御により表示画像として表示する。

図１に示して説明した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

図２は、画像処理装置１００の外観例である。図２（ａ）は画像処理装置１００の前面部の外観例、図２（ｂ）は画像処理装置１００の側面部の外観例である。

１０１および１０５は対物レンズ、１３０はシャッターボタンである。また、図１には示されていないが、電源スイッチ、表示パネル等も備えている。

図３を参照して、第１の実施例の動作を詳細に説明する。図３は２つの撮像系により全天球画像を生成し、表示するまでの処理の流れを示したフローチャートである。

まず、図３を参照して、全天球画像を撮像するフローチャートについて説明する。

ステップＳ３０１では、ユーザーによりシャッターボタン１３０が押されたかを操作部１１０を介してシステム制御部１０９が判断する。シャッターボタンが押されていたらステップＳ３０２へ移行し、押されていなければ、ステップＳ３０１へ戻る。

次に、ステップＳ３０２では、２つの撮像系により撮像処理を行う。対物レンズ１０１、撮像素子１０２、アナログ信号処理部１０３、画像処理部１０４が画像処理を施した撮像画像をメモリ１１１へ記憶する。さらに、対物レンズ１０５、撮像素子１０６、アナログ信号処理部１０７、画像処理部１０８が画像処理を施した撮像画像をメモリ１１１へ記憶する。

次に、ステップＳ３０３では、撮像した画像が自分撮り撮影かどうかの判定を行い、表示の中心座標を決定する。詳細は、後述する図４で説明する。

次に、ステップＳ３０４では、ステップＳ３０２にて記憶した２つの撮像画像に対して、全天球画像生成部１１６が、各撮像画像を繋ぎ合わせ合成した全天球画像を生成する。

次に、ステップＳ３０５では、射影変換処理部１１９で、ステップＳ３０４にて生成した全天球画像に対し、射影変換を行い、平面画像を生成する。この際、ステップＳ３０３で決定し、メモリ１１１に記憶していた座標が中心となるようする。また、ステップＳ３０３で自分撮りと判定された場合には、メモリ１１１に記憶していた顔の傾き角度により被写体の顔が正位置となるように、平面画像を回転する。

このようにして、２つの撮像系により撮像した各撮像画像から全天球画像を生成し、射影変換処理を施し、平面画像を生成する。

最後にステップＳ３０６でステップＳ３０５にて生成した平面画像をＬＣＤで構成され液晶表示装置に表示する。自分撮り撮影と判断されて、撮影者を中心として表示した際の一例を図８に示す。

ここで、図４を参照して、上述した自分撮り撮影かどうかの判定処理のフローチャートについて詳細に説明する。

まず、ステップＳ４０１では、撮影者の手が写っているかを判定する。図２に示した画像処理装置１００の外観において、対物レンズ１０１および１０５とシャッターボタン１３０の位置関係から、例えば図５に示すように、自分撮りを行った場合に撮影者の手が写り込むと想定される領域５０１を設定する。領域５０１について前記全天球画像を撮像するフローチャートのステップＳ３０２にて記憶した２つの撮像画像に対して、歪曲補正部１１２で歪曲収差を補正する。補正された画像に対して、手領域検出処理部１１５で手が撮影されているか検出する。具体的には手の形のパターン認識としてテンプレートマッチングによる手法や人の肌色領域の解析など公知の技術を用いて、手が撮影されているかを検出する。なお、本実施形態において示した撮影者の手が写り込むと想定される領域は一例であり、撮像処理装置の形態により、任意に設定してよい。手が写っていなかった場合には、ステップＳ４０６へ移行し、再生時に表示する際の中心座標を２つの撮像系のうち、対物レンズ１０５、撮像素子１０２、アナログ信号処理部１０７、画像処理部１０８を介して撮像された画像の中心座標に設定する。一方、手が写っていると判断された場合には、手の座標をメモリ１１１に記憶し、ステップＳ４０２に進む。

ステップＳ４０２で撮影者の顔位置の特定を行う。前記ステップＳ３０２にて記憶した２つの撮像画像に対して、歪曲補正部１１２で歪曲収差を補正する。補正された画像に対して、顔検出処理部１１３で撮影画像内の顔検出処理を行う。顔を検出した顔サイズの矩形を顔領域とし、顔領域の中心座標を顔位置座標、さらに顔の傾き角度を算出すし、ステップＳ４０３に進む。ステップＳ４０２で顔が検出されなかった場合は、前記ステップＳ４０６へ移行する。

次に、ステップＳ４０３では、ステップＳ４０２で撮影者の顔位置として特定した座標とサイズに閾値を設けて、システム制御部１０９で自分撮りの判断を行う。例えば、図６に示すように、自分撮りを行った場合に撮影者の顔が写り込むと想定される領域６０１、自分撮りではないと判定する領域６０２を設定する。

また、図７は撮影者が画像処理装置１００で撮影する際の姿勢を示した図である。

自分撮りの際には、図７（ａ）に示すように撮影することが想定される。この時、対物レンズ１０１および１０５の撮像画像における顔領域の位置は、自分撮りとして判断する領域６０１に含まれる。また、顔のサイズも大きく写り込まれているはずである。一方、周りの様子を全方位にわたって撮影したい場合は、図７（ｂ）や図７（ｃ）のような撮影姿勢になる。したがって、自分撮りではないと判断する領域６０２に含まれ、顔のサイズも小さいか、もしくはほとんど写り込んでいないはずである。

ステップＳ４０３で自分撮りではないと判断した場合は、前記ステップＳ４０６へ移行する。また、自分撮りと判断した場合は、ステップＳ４０４に進む。

ステップＳ４０４では、ステップＳ４０３で自分撮りして判断した撮影者の顔について、顔向き検出処理部１１４で画像処理装置１００に撮影者が顔を向けているか判断する。自分撮りの際はカメラ目線となり、画像処理装置１００に顔を向けているはずである。なお、顔の向きを判別する具体的な方法としては、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置から回転軸を算出する。または、目の虹彩位置を検出することにより視線がどの方向を向いているかを検出するなど公知の種々の手法を用いることにより顔の向きを判定することが出来る。ステップＳ４０４で自分撮りではないと判断した場合は、前記ステップＳ４０６へ移行する。また、自分撮りと判断した場合には、Ｓ４０５に進む。

ステップＳ４０５では、再生時の中心位置を撮影者の顔の中心座標に設定し、顔の傾き角度も記憶する。

以上、説明したように、本実施形態では、全天球画像を射影変換した平面画像を再生する際に、撮影者が写そうとして撮っているのか、たまたま撮れてしまったのかを簡便に判断する。それにより、自分撮りの時は撮影者自身の位置が画像の中心に正位置となるように表示して、撮影者の顔の位置や傾きがバラバラで見づらいことを解決することが可能となる。

なお、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

１００ 画像処理装置、１０１ 対物レンズ、１０２ 撮像素子、
１０３ アナログ信号処理部、１０４ 画像処理部、１０５ 対物レンズ、
１０６ 撮像素子、１０７ アナログ信号処理部、１０８ 画像処理部、
１０９ システム制御部、１１０ 操作部、１１１ メモリ、
１１２ 歪曲画像補正部、１１３ 顔検出処理部、１１４ 顔向き検出処理部、
１１５ 手領域検出処理部、１１６ 全天球画像生成部、１１８ 表示部、
１１９ 射影変換処理部、１２０ バス、１２２ 不揮発性メモリ、
１３０ シャッターボタン

Claims (5)

1. 全天球画像データを表示する画像表示手段と、
   撮影者を検出する撮影者検出手段と、
   前記撮影者検出手段で撮影者が検出された場合に撮影者が画像の中心に正位置となるよう前記画像表示手段で表示する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮影者検出手段は、手領域検出手段を備え、前記手領域検出手段で前記全天球画像データの中の特定の領域に手が写っているかを検出し、手が写っていた際に撮影者が検出されたと判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影者検出手段は、顔検出手段を備え、前記顔検出手段で前記全天球画像データの中の顔を検出し、特定の領域に顔が写っている際に撮影者が検出されたと判定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記撮影者検出手段は、前記顔検出手段により前記全天球画像データの中の顔を検出し、写っている顔の大きさにより撮影者が検出されたと判定することを特徴とする請求項３に記載の撮画像処理装置。
5. 前記撮影者検出手段は、顔向き検出手段を備え、前記顔向き検出手段で前記全天球画像データの中に写っている顔の向きを検出し、顔の向きにより撮影者が検出されたと判定することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。