JP2013118468A

JP2013118468A - 画像処理装置および画像処理方法

Info

Publication number: JP2013118468A
Application number: JP2011264444A
Authority: JP
Inventors: Atsushi Shionozaki; 敦塩野崎; Junichi Rekimoto; 純一暦本; Futoshi Goto; 太後藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-12-02
Filing date: 2011-12-02
Publication date: 2013-06-13
Also published as: US20160307361A1; US20130142452A1; CN103136746A; US9406139B2; US10540805B2

Abstract

【課題】被写体が適切な範囲内に存在するか否かを分かり易く伝えるための画像処理装置および画像処理方法を提供する。
【解決手段】撮像画像に含まれる被写体の深度情報を取得する深度取得部と、前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成する画像合成部と、前記被写体の深度情報に応じてエフェクト処理を実行するエフェクト処理部と、を備える、画像処理装置。
【選択図】図４

Description

本開示は、画像処理装置および画像処理方法に関する。

近日、撮像画像を処理する画像処理装置が広く普及している。例えば、特許文献１には、撮像画像から被写体を抽出し、被写体と他の画像オブジェクトと合成する画像処理装置が開示されている。

特開２００６−１２８７５４号公報

上記のように被写体と他の画像オブジェクトを合成する際には、被写体が他の画像オブジェクトに対して適切な範囲内に存在することが望ましい。例えば、画像オブジェクトが有名人の画像オブジェクトである場合、被写体が有名人と並んで見えるように、被写体の深度が有名人の画像オブジェクトの深度と近いことが望まれる。

しかし、被写体と画像オブジェクトの合成画像を一見しただけでは、被写体が画像オブジェクトに対して適切な深度範囲内に存在しているか否かを把握することが困難な場合がある。例えば、小さい被写体が浅い深度に存在する場合と、大きい被写体が深い深度に存在する場合とでは、合成画像における被写体の大きさに大差が無いので、合成画像における被写体の大きさで被写体が適切な深度範囲内に存在しているか否かを判断することは困難である。

そこで、本開示では、被写体が適切な範囲内に存在するか否かを分かり易く伝えることが可能な、新規かつ改良された画像処理装置および画像処理方法を提案する。

本開示によれば、撮像画像に含まれる被写体の深度情報を取得する深度取得部と、前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成する画像合成部と、前記被写体の深度情報に応じてエフェクト処理を実行するエフェクト処理部と、を備える画像処理装置が提供される。

また、本開示によれば、撮像画像に含まれる被写体の深度情報を取得することと、前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成することと、前記被写体の深度情報に応じてエフェクト処理を実行することと、を含む画像処理方法が提供される。

以上説明したように本開示によれば、被写体が適切な範囲内に存在するか否かを分かり易く伝えることができる。

本開示の実施形態による画像処理システムの構成を示した説明図である。撮像画像からの人物画像の抽出を示した説明図である。人物画像の合成処理を示した説明図である。本開示の実施形態による画像処理装置２０の構成を示した機能ブロック図である。被写体の適切な深度範囲を示した説明図である。人物画像の深度が深過ぎる場合の合成画像を示した説明図である。人物画像の深度が浅過ぎる場合の合成画像を示した説明図である。人物画像と前景オブジェクトが離れている場合の合成画像を示した説明図である。本開示の実施形態による画像処理システムの動作を示したフローチャートである。画像処理装置２０のハードウェア構成例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの基本構成
２．画像処理装置の構成
３．画像処理システムの動作
４．ハードウェア構成
５．むすび

＜１．画像処理システムの基本構成＞
本開示による技術は、一例として以下に説明するように、多様な形態で実施され得る。また、本開示の実施形態による画像処理装置は、
Ａ．撮像画像に含まれる被写体の深度情報を取得する深度取得部（通信部２２０）と、
Ｂ．前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成する画像合成部（２５０）と、
Ｃ．前記被写体の深度情報に応じてエフェクト処理を実行するエフェクト処理部（２６０）と、
を備える。

以下では、まず、このような画像処理装置を含む画像処理システムの基本構成について図１〜図３を参照して説明する。

図１は、本開示の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システムは、撮像装置１０と、画像処理装置２０と、を備える。

（撮像装置）
撮像装置１０は、被写体を撮像して撮像画像を取得する。具体的には、撮像装置１０は、撮影レンズおよびズームレンズなどの撮影光学系、および、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備える。

撮影光学系は、被写体から発せられる光を集光して、撮影素子の撮像面に被写体像を形成する。撮像素子は、撮影光学系によって形成された被写体像を電気的な画像信号に変換する。ここで、撮像素子は、Ｒ成分（赤色）受光素子、Ｇ成分（緑色）受光素子、およびＢ成分（青色）受光素子からなり、各受光素子の作用によりＲＧＢ情報からなる撮像画像が得られる。

また、本開示の実施形態による撮像装置１０は、撮像装置１０と被写体との距離を表わす深度情報を取得する。この深度情報は、撮像画像におけるピクセル単位で取得することが可能である。

さらに、撮像装置１０は、上記の深度情報に基づき、撮像画像から被写体を認識して、被写体の画像部分を抽出する。例えば、撮像装置１０は、深度情報や人間の骨格情報などに基づいて撮像画像から人物画像を抽出する。そして、撮像装置１０は、抽出した人物画像を深度情報と共に画像処理装置２０に送信する。以下、この点について図２を参照して具体的に説明する。

図２は、撮像画像からの人物画像の抽出を示した説明図である。図２に示した撮像画像７０は、人物画像８２および背景画像を含む。ここで、人物画像８２の領域と背景画像の領域は深度に差があるので、撮像装置１０は、撮像画像７０の各ピクセルの深度分布に基づいて人物画像の候補を抽出し、さらに、人間の骨格パターンに合致する候補を人物画像として決定してもよい。これにより、図２に示した処理画像７２のように、撮像画像７０から人物画像８２を抽出することができる。

なお、本明細書においては被写体が人物である例を説明するが、被写体は人物に限定されない。例えば、被写体は、花や動物のような他のオブジェクトであってもよい。また、上記では深度情報に基づいて撮像画像から人物画像を抽出する例を説明したが、パターンマッチング人物の画像認識により人物画像を抽出することも可能である。

（画像処理装置）
画像処理装置２０は、撮像装置１０から人物画像および当該人物画像の深度情報を受信し、深度情報を用いて、人物画像を他の画像オブジェクトと合成する。例えば、画像処理装置２０は、人物画像に、背景画像および前景画像を合成する。以下、この点について図３を参照して具体的に説明する。

図３は、人物画像の合成処理を示した説明図である。図３に示したように、画像処理装置２０は、背景画像７４と、前景オブジェクト８４として有名人を含む前景画像７６と、人物画像８２を含む処理画像７２とを合成して、合成画像９０を生成する。ここで、前景オブジェクト８４は深度情報を有するので、画像処理装置２０は、前景オブジェクト８４と人物画像８２の深度情報に基づき、前景オブジェクト８４と人物画像８２の前後関係を表現することが可能である。

このように、撮像装置１０により撮像した人物を他の画像オブジェクトと合成することにより、当該人物があたかも他の空間に存在しているかのような合成画像を得ることができる。

なお、図１においては画像処理装置２０の一例としてＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）を示しているが、画像処理装置２０はＰＣに限定されない。例えば、画像処理装置２０は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、画像処理装置２０は、携帯電話、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。

また、上記では人物画像８２の抽出を撮像装置１０で行う例を説明したが、人物画像８２の抽出は画像処理装置２０で行うことも可能である。さらに、上述した画像処理装置２０の機能を撮像装置１０に実装し、撮像装置１０を画像処理装置として機能させることも可能である。

（本開示の着眼点）
ところで、上記のように人物画像８２と有名人の前景オブジェクト８４を合成する場合、人物が有名人と並んで見えるためには、人物画像８２の深度が有名人の前景オブジェクト８４の深度と近いことが望まれる。

そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、被写体が適切な範囲内に存在するか否かを分かり易く伝えることが可能である。以下、このような本開示の実施形態による画像処理装置２０について詳細に説明する。

＜２．画像処理装置の構成＞
図４は、本開示の実施形態による画像処理装置２０の構成を示した機能ブロック図である。図４に示したように、本開示の実施形態による画像処理装置２０は、通信部２２０と、記憶部２３０と、表示部２４０と、画像合成部２５０と、エフェクト処理部２６０と、を備える。

通信部２２０は、撮像装置１０とのインタフェースであって、撮像装置１０から人物画像や当該人物画像の深度情報を受信する。なお、通信部２２０は、撮像装置１０と無線で接続されてもよいし、有線で接続されてもよい。

記憶部２３０は、人物画像と合成するための背景画像および前景画像を記憶する記憶媒体である。より詳細には、前景画像に含まれる前景オブジェクトには深度情報が設定されている。深度情報は、前景オブジェクトを構成するピクセルごとに設定されていてもよいが、本明細書においては、前景オブジェクトに１の代表的な深度情報が設定されている場合を主に想定する。なお、記憶部２３０は、画像合成部２５０によって生成された合成画像を記憶してもよい。

このような記憶部２３０は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（ＭａｇｎｅｔｏＯｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）およびＢＤ（Ｂｌｕ−ＲａｙＤｉｓｃ（登録商標））などがあげられる。

表示部２４０は、画像合成部２５０によって生成された合成画像を表示する。この合成画像は、撮像によって得られた人物画像と、仮想的な背景画像および前景画像との合成画像であるので、ユーザは、表示部２４０に表示された合成画像を視認することにより、実際と異なる空間にいる感覚を味わうことができる。

画像合成部２５０は、通信部２２０によって受信された人物画像を、記憶部２３０に記憶されている背景画像および前景画像と合成する。なお、合成する背景画像および前景画像はユーザ操作によって選択されてもよい。また、背景画像および前景画像は、記憶部２３０でなく、ネットワーク上のサーバのような外部装置から供給されてもよい。

ここで、画像合成部２５０は、人物画像を構成するピクセルごとに、人物画像の深度情報と前景画像に含まれる前景オブジェクトの深度情報とに基づいて人物画像と前景オブジェクトの前後関係を表現する。これにより、図３に示したように、臨場感のある合成画像を生成することが可能となる。なお、前景オブジェクトは静止画であってもよいし、動画であってもよい。前景オブジェクトが動画である場合、前景オブジェクトの深度情報は前景オブジェクトの移動により変化する。

エフェクト処理部２６０は、画像合成部２５０による合成画像の生成に際し、人物画像の深度が適切な範囲内でない場合にエフェクト処理を実行する。これにより、人物が適切な深度範囲内に存在するか否かを分かり易く、かつ、直観的に理解できるように伝えることが可能となる。以下、適切な深度範囲やエフェクト処理についてより具体的に説明する。

（適切な深度範囲）
図３に示したように、人物が有名人と並んで見えるためには、人物画像の深度が有名人の前景オブジェクトの深度と近いことが望まれる。すなわち、人物画像の深度が前景オブジェクトの深度を基準とする所定範囲内であることが適切である。このため、エフェクト処理部２６０は、図５に示したように、前景オブジェクトから閾値Ｄｔｈ未満の範囲を適切な深度範囲として扱ってもよい。

なお、図５においては、前景オブジェクトの前側の閾値と後ろ側の閾値として同一の閾値Ｄｔｈを示しているが、前側の閾値と後ろ側の閾値は異なってもよい。また、閾値Ｄｔｈは、前景画像によって異なる値であってもよい。例えば、前景オブジェクトの深度が深い場合には、前景オブジェクトの深度が浅い場合に比べて、同一の深度差による影響が小さい。このため、エフェクト処理部２６０は、前景オブジェクトの深度が深いほど閾値Ｄｔｈを大きな値に設定してもよい。

（エフェクト処理）
エフェクト処理部２６０は、人物画像の深度が上述した適切な深度範囲内である場合、すなわち、人物画像の深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ未満である場合、エフェクト処理を行わない。一方、エフェクト処理部２６０は、人物画像の深度が上述した適切な深度範囲外である場合、すなわち、人物画像の深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ以上である場合、人物が適切な深度範囲内に存在しないことを伝えるためのエフェクト処理を実行する。以下、エフェクト処理の具体例を説明する。

図６は、人物画像の深度が深過ぎる場合の合成画像９２を示した説明図である。図６に示した合成画像９２のように、人物画像８５の深度が前景オブジェクト８４の深度より閾値Ｄｔｈ以上深い場合、エフェクト処理部２６０は、人物画像８５にアルファ処理を施すことにより人物画像８５を半透明にする。また、エフェクト処理部２６０は、図６に示したように、注意喚起のためのアラームマーク８８を合成画像９２に追加する。

なお、エフェクト処理部２６０は、人物画像の各ピクセルの深度の平均値や、胴体部分の深度を代表深度として扱い、当該人物画像の代表深度と、前景オブジェクトの深度を比較することにより、人物画像に対して一律的なエフェクト処理を施してもよい。

または、エフェクト処理部２６０は、人物画像のピクセル単位で人物画像の深度と前景オブジェクトの深度を比較してもよい。この場合、人物の一部分のみにアルファ処理が施され得る。

図７は、人物画像の深度が浅過ぎる場合の合成画像９４を示した説明図である。図７に示した合成画像９４のように、人物画像８６の深度が前景オブジェクト８４の深度より閾値Ｄｔｈ以上浅い場合、エフェクト処理部２６０は、人物画像８５にアルファ処理を施すことにより人物画像８５を半透明にしてもよい。また、エフェクト処理部２６０は、図７に示したように、注意喚起のためのアラームマーク８８を合成画像９２に追加してもよい。

これら合成画像９２や合成画像９４の視認により、被写体である人物が不適切な深度位置に存在することを直感的に把握し、立ち位置を調整することが期待される。

なお、エフェクト処理部２６０は、人物画像の深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ以上である場合、人物画像の深度と前景オブジェクトの深度の差分が大きいほど強いアルファ処理を施してもよい。かかる構成により、被写体である人物は、現在の深度位置と適切な深度範囲との相違の程度をアルファ処理の強さから認識することが可能となる。

また、上記ではエフェクト処理としてアルファ処理やアラームマーク８８の追加を説明したが、エフェクト処理はかかる例に限定されない。例えば、エフェクト処理は、人物画像の点滅、輪郭線の強調、色合いの変化（例えば、白黒化）、ぼかし処理、または注意メッセージの追加などであってもよい。

（応用例）
なお、上記では、前景オブジェクトが１つである例を説明したが、本開示の実施形態は、前景オブジェクトが複数存在する場合にも適用可能である。この場合、エフェクト処理部２６０は、いずれかの前景オブジェクトの深度情報のみに着目してもよいし、複数の前景オブジェクトの深度情報に着目してもよい。エフェクト処理部２６０は、複数の前景オブジェクトの深度情報に着目する場合、いずれかの前景オブジェクトの深度と人物画像の深度の差分が閾値Ｄｔｈ以上である場合にエフェクト処理を施してもよいし、複数の前景オブジェクトの深度と人物画像の深度の差分が閾値Ｄｔｈ以上である場合にエフェクト処理を施してもよい。

（補足）
また、上記では、人物が適切な深度範囲内に存在しないことを伝えるためにエフェクト処理を施す例を説明したが、エフェクト処理部２６０は、合成画像において人物画像と前景オブジェクトが所定距離より離れている場合にエフェクト処理を施してもよい。

図８は、人物画像と前景オブジェクトが離れている場合の合成画像９６を示した説明図である。図８に示した合成画像９６のように、人物画像８２が前景オブジェクト８４から離れている場合、エフェクト処理部２６０は、アラームマーク８８、および人物の移動を誘導する矢印画像８９を追加してもよい。これにより、被写体である人物が適切な位置に移動することが期待される。

＜３．画像処理システムの動作＞
以上、本開示の実施形態による画像処理装置２０の構成を説明した。続いて、図９を参照し、本開示の実施形態による画像処理システムの動作を整理する。

図９は、本開示の実施形態による画像処理システムの動作を示したフローチャートである。図９に示したように、まず、撮像装置１０が被写体である人物を撮像してＲＧＢ情報からなる撮像画像を取得する（Ｓ３０４）。また、撮像装置１０は、撮像画像における各ピクセルの深度情報を併せて取得する（Ｓ３０８）。

そして、撮像装置１０は、撮像画像における各ピクセルの深度情報に基づいて撮像画像から人物の画像部分を認識し、人物画像を抽出する（Ｓ３１２）。その後、撮像装置１０は、抽出した人物画像、および当該人物画像の深度情報を画像処理装置２０に送信する。

一方、画像処理装置２０の画像合成部２５０は、まず、例えば記憶部２３０から読み出した背景画像および前景画像を描画する（Ｓ３１６、Ｓ３２０）。その後、画像合成部２５０は、エフェクト処理部２６０と協働して、人物画像を構成するピクセルごとにＳ３２４〜Ｓ３４０の各処理を行う。

具体的には、画像合成部２５０が、人物画像のピクセルに対応する前景画像のピクセルが前景オブジェクトであるか否かを判断する（Ｓ３２４）。そして、前景画像のピクセルが前景オブジェクトである場合にはＳ３２８の処理に進み、前景オブジェクトでない場合にはＳ３３２の処理に進む。

Ｓ３２８においては、画像合成部２５０が、人物画像のピクセルの深度が前景オブジェクトの深度以上であるか否かを判断する。人物画像のピクセルの深度が前景オブジェクトの深度以上である場合、当該人物画像のピクセルは描画されない。一方、人物画像のピクセルの深度が前景オブジェクトの深度未満である場合にはＳ３３２の処理に進む。

Ｓ３３２においては、エフェクト処理部２６０が、人物画像のピクセルの深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ未満であるか否かを判断する（Ｓ３３２）。そして、人物画像のピクセルの深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ以上である場合、画像合成部２５０が人物画像のピクセルを通常通りに描画する（Ｓ３３６）。一方、人物画像のピクセルの深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ未満である場合、エフェクト処理部２６０が人物画像のピクセルにアルファ処理を施し、アルファ処理が施されたピクセルを画像合成部２５０が描画する（Ｓ３４０）。

＜４．ハードウェア構成＞
以上、本開示の実施形態による画像処理装置２０による画像処理について説明した。上述した画像処理装置２０による画像処理は、ソフトウェアと、画像処理装置２０が備えるハードウェアとの協働により実現される。以下、図１０を参照し、画像処理装置２０のハードウェア構成例を説明する。

図１０は、画像処理装置２０のハードウェア構成例を示した説明図である。図１０に示したように、画像処理装置２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、画像処理装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。画像処理装置２０のユーザは、該入力装置２０８を操作することにより、画像処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかる画像処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、画像処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜５．むすび＞
以上説明したように、本開示の実施形態による画像処理装置２０は、前景オブジェクトを含む前景画像、背景画像および撮像により得られた人物画像の合成に際し、人物画像の深度と前景オブジェクトの深度の差分が閾値Ｄｔｈ以上である場合、人物が適切な深度範囲内に存在しないことを伝えるためのエフェクト処理を実行する。かかる構成により、被写体である人物が適切な深度範囲内に存在するか否かを分かり易く、かつ、直観的に理解できるように伝えることが可能となる。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本明細書の撮像装置１０および画像処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、撮像装置１０および画像処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、撮像装置１０および画像処理装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した撮像装置１０および画像処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像に含まれる被写体の深度情報を取得する深度取得部と、
前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成する画像合成部と、
前記被写体の深度情報に応じてエフェクト処理を実行するエフェクト処理部と、
を備える、画像処理装置。
（２）
前記エフェクト処理部は、前記画像オブジェクトの深度情報と、前記被写体の深度情報の関係に応じてエフェクト処理を実行する、前記（１）に記載の画像処理装置。
（３）
前記エフェクト処理部は、前記被写体の深度情報と前記画像オブジェクトの深度情報との差分が閾値以上である場合に前記エフェクト処理を実行する、前記（２）に記載の画像処理装置。
（４）
前記エフェクト処理部は、前記被写体の深度情報と前記画像オブジェクトの深度情報との差分が大きいほど強いエフェクト処理を実行する、前記（３）に記載の画像処理装置。
（５）
前記エフェクト処理部は、さらに、前記画像合成部によって得られた合成画像における前記画像オブジェクトと前記被写体の位置関係に応じてエフェクト処理を実行する、前記（１）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記エフェクト処理部は、前記被写体を構成する各ピクセルに、各ピクセルの深度情報に応じてエフェクト処理を実行する、前記（１）〜（５）のいずれか一項に記載の画像処理装置。
（７）
撮像画像に含まれる被写体の深度情報を取得することと、
前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成することと、
前記被写体の深度情報に応じてエフェクト処理を実行することと、
を含む、画像処理方法。

１０撮像装置
１２通信網
２０画像処理装置
２２０通信部
２３０記憶部
２４０表示部
２５０画像合成部
２６０エフェクト処理部

Claims

撮像画像に含まれる被写体の深度情報を取得する深度取得部と、
前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成する画像合成部と、
前記被写体の深度情報に応じてエフェクト処理を実行するエフェクト処理部と、
を備える、画像処理装置。
前記エフェクト処理部は、前記画像オブジェクトの深度情報と、前記被写体の深度情報の関係に応じてエフェクト処理を実行する、請求項１に記載の画像処理装置。
前記エフェクト処理部は、前記被写体の深度情報と前記画像オブジェクトの深度情報との差分が閾値以上である場合に前記エフェクト処理を実行する、請求項２に記載の画像処理装置。
前記エフェクト処理部は、前記被写体の深度情報と前記画像オブジェクトの深度情報との差分が大きいほど強いエフェクト処理を実行する、請求項３に記載の画像処理装置。
前記エフェクト処理部は、さらに、前記画像合成部によって得られた合成画像における前記画像オブジェクトと前記被写体の位置関係に応じてエフェクト処理を実行する、請求項１に記載の画像処理装置。
前記エフェクト処理部は、前記被写体を構成する各ピクセルに、各ピクセルの深度情報に応じてエフェクト処理を実行する、請求項１に記載の画像処理装置。
撮像画像に含まれる被写体の深度情報を取得することと、
前記被写体および深度情報を有する画像オブジェクトを各々の深度情報に従って合成することと、
前記被写体の深度情報に応じてエフェクト処理を実行することと、
を含む、画像処理方法。