JP2017054337A - 画像処理装置および方法 - Google Patents

Abstract

【課題】画像内の画像処理対象の領域特定をより正確に行うことができるようにする。
【解決手段】本技術の画像処理装置は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定する判定部を備える。本技術は、例えば、被写体を撮像する撮像装置、撮像画像を処理するサーバ等に適用することができる。
【選択図】図１３

Description

本技術は、画像処理装置および方法に関し、特に、画像内の画像処理対象の領域特定をより正確に行うことができるようにした画像処理装置および方法に関する。

従来、画像の切り抜き等の画像処理を画像の一部分に対して行う場合に、その画像処理の対象とする部分領域の特定を、画像の奥行きを示す奥行き情報に基づいて行う方法があった。

しかしながら、奥行き情報は、測距の方式の特性によってその信頼性が低くなる部分が生じるおそれがあり、その信頼性の低い奥行き情報に基づいて画像処理の対象とする部分領域を特定すると、その領域特定の正確性が低減するおそれがあった。

そこで、他の方法が考えられた。例えば、奥行き情報の取得が難しいピクセルについては、あらかじめ色または輝度によって動画像を複数領域に分割し、分割領域ごとに内部ピクセルで特徴点の奥行き情報を用いて、非特徴点の奥行き情報を補完することが提案された（例えば、特許文献１参照）。また、物体の境界部分について、エッジ検出を併用して、エッジ内部について距離誤差を小さくするための再計算を行うことが提案された（例えば特許文献２参照）。

特開２００６−３１３９０号公報 特開２０１２−７９２５１号公報

しかしながら、これらの手法が常に最適とは限らず、その他の方法も求められていた。

本技術は、このような状況に鑑みて提案されたものであり、画像内の画像処理対象の領域特定をより正確に行うことを目的とする。

本技術の画像処理装置は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する判定部を備える画像処理装置である。

前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高い領域について、前記奥行き情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。

前記判定部は、前記奥行きが所定の閾値より近い領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高くない領域について、前記奥行き情報と異なる他の情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。

前記判定部は、前記他の情報として前記画像の輝度を示す輝度情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。

前記判定部は、前記輝度が所定の閾値より低い領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、前記輝度が所定の閾値より低く、かつ、他の前記画像処理の対象領域に接する領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、前記他の情報として前記画像の色を示す色情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。

前記判定部は、周辺の前記画像処理の対象領域との前記色の違いが所定の閾値より小さい領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、前記他の情報として髪型モデルを表す髪型モデルデータに基づいて、前記髪型モデルにおける髪領域に属する領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、前記他の情報としてテクスチャモデルを表すテクスチャモデルデータに基づいて、テクスチャが前記テクスチャモデルに類似する領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、前記切り抜き対象領域に属する被写体の形状を認識し、前記他の情報として認識された前記被写体の形状に基づいて、前記画像処理の対象と推定可能な領域を前記画像処理の対象領域であると判定することができる。

前記判定部は、単数若しくは複数の画素毎に、前記画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定することができる。

前記判定部は、前記画像処理の対象領域であるか否かの判定結果の分布を示す画像処理対象マップを生成することができる。

前記閾値を設定する設定部をさらに備えることができる。

被写体を撮像し、前記画像を生成する撮像部をさらに備えることができる。

前記奥行き情報および前記信頼性情報を生成する生成部をさらに備えることができる。

前記判定部の判定結果に基づいて、前記画像処理として、前記画像から前記画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部をさらに備えることができる。

前記加工部により生成された前記合成画像を他の装置に送信する送信部をさらに備えることができる。

本技術の画像処理方法は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する画像処理方法である。

本技術の画像処理装置および方法においては、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かが判定される。

本技術によれば、画像を処理することが出来る。また本技術によれば、画像内の画像処理対象の領域特定をより正確に行うことができる。

撮像装置の主な構成例を示すブロック図である。 画像処理部の主な構成例を示すブロック図である。 判定部の主な構成例を示すブロック図である。 撮像画像の例を示す図である。 奥行き情報マップの例を示す図である。 信頼性マップの例を示す図である。 輝度マップの例を示す図である。 切り抜き対象領域マップの例を示す図である。 切り抜き対象領域マップの例を示す図である。 合成画像の例を示す図である。 撮像送信処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 切り抜き対象マップ生成処理の流れの例を説明するフローチャートである。 再判定処理の流れの例を説明するフローチャートである。 閾値入力画面の例を説明する図である。 閾値設定処理の流れの例を説明するフローチャートである。 判定部の主な構成例を示すブロック図である。 色マップの例を示す図である。 再判定処理の流れの例を説明するフローチャートである。 閾値入力画面の例を説明する図である。 髪モデルデータの例を示す図である。 判定部の主な構成例を示すブロック図である。 再判定処理の流れの例を説明するフローチャートである。 テクスチャモデルデータの例を示す図である。 判定部の主な構成例を示すブロック図である。 再判定処理の流れの例を説明するフローチャートである。 形状認識の様子の例を示す図である。 判定部の主な構成例を示すブロック図である。 再判定処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 サーバおよび端末装置の主な構成例を示すブロック図である。 使用例を説明する図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置：輝度マップに基づく再判定）
２．第２の実施の形態（閾値設定）
３．第３の実施の形態（色マップに基づく再判定）
４．第４の実施の形態（髪型モデルに基づく再判定）
５．第５の実施の形態（テクスチャモデルに基づく再判定）
６．第６の実施の形態（形状認識に基づく再判定）
７．第７の実施の形態（応用例）

＜１．第１の実施の形態＞
＜奥行き情報に基づく画像処理対象領域の特定＞
従来、画像の切り抜き等の画像処理を画像の一部分に対して行う場合に、その画像処理の対象とする部分領域の特定を、画像の奥行きを示す奥行き情報に基づいて行う方法があった。

例えば、ある被写体を撮像して撮像画像を生成する場合、一般的に、その撮像画像には被写体の他、被写体の前景や背景となる部分が含まれることが多い。このような撮像画像に対して、被写体の部分にのみ所定の画像処理を施すことが考えられる。例えば、撮像画像内において被写体の部分を特定し、画像処理として、その部分を追尾対象や監視対象として注目したり、被写体が何であるか（例えば人であるか、物であるか等）を認識したり、輝度や色等を調整したり、拡大、縮小、変形等を行ったり、他の画像と合成したりすることが考えられる。

上述したように、撮像画像の被写体で無い部分には、前景や背景等の、被写体とは奥行きの異なる画像が含まれる場合が多い。したがって、被写体の部分の特定を、撮像画像の奥行き情報に基づいて行うことは有用な手段の１つである。つまり、例えば、被写体と被写体で無い部分とで奥行きが異なるような撮像画像であれば、奥行き情報を用いることにより、容易に、被写体の部分と被写体で無い部分とを識別することができる可能性が高い。

しかしながら、奥行き情報は、その測距の方式の特性によってその信頼性が低くなる部分が生じるおそれがある。

奥行き情報を生成するための測距の方法としては、例えば、TOF（Timi Of Flight）方式、ストラクチャードライト方式、ステレオマッチング方式、SfM（Structure from Motion）方式等、様々な方法が存在する。例えばTOF方式は、対象空間に近赤外線を照射し、その対象空間に存在する物体における反射光を受光し、近赤外線を照射してから反射光を受光するまでの時間を計測し、その時間に基づいて対象空間の物体までの距離を求める方式である。また、例えば、ストラクチャードライト方式は、対象空間に存在する物体に近赤外線の所定の投影パタンを投影し、その投影パタンの変形の様子に基づいて対象空間に存在する物体の形状（奥行き）を検出する方式である。さらに、例えば、ステレオマッチング方式は、被写体を互いに異なる位置から撮像した２つの撮像画像間の視差に基づいてその被写体までの距離を求める方式である。また、例えば、SfM方式は、互いに異なる角度から撮像された複数の撮像画像を用いて特徴点の位置合わせ等、画像間の関係を計算し、最適化を行うことで、奥行き検出を行う方式である。

例えばTOF方式やストラクチャードライト方式のように近赤外線を用いて測距を行う方式の場合、輝度が低い（暗い）部分や色が黒い部分、頭髪のような形状が複雑な部分、綿等の所定の生地の部分等においては近赤外線の反射が弱くなり、奥行きの測定精度が低減するおそれがあった。また、ステレオマッチング方式やSfM方式のように複数の位置・角度からの撮像画像を用いて測距を行う方式の場合、オクルージョンの発生しやすい被写体の境界部分等において奥行きの測定精度が低減するおそれがあった。

このように奥行き情報の信頼性が低い個所に対して、奥行き情報に基づく画像処理の対象とする部分領域の特定を行うと、その領域特定の正確性が低減するおそれがあった。

そこで、他の方法が考えられた。例えば特許文献１においては、奥行き情報の取得が難しいピクセルについては、あらかじめ色または輝度によって動画像を複数領域に分割し、分割領域ごとに内部ピクセルで特徴点の奥行き情報を用いて、非特徴点の奥行き情報を補完することが提案された。また、例えば特許文献２においては、物体の境界部分について、エッジ検出を併用して、エッジ内部について距離誤差を小さくするための再計算を行うことが提案された。

しかしながら、これらの手法が常に最適とは限らなかった。例えば、特許文献１に記載の方法では、ある分割領域内の全ピクセルについて測距できなかった場合に奥行き情報を補間することができないおそれがあった。また、特許文献２に記載の方法では、エッジ検出とその内部の再計算の処理のために長時間を要するため、動画像を即時的に（リアルタイムに）破綻せずに処理することができないおそれがあった。したがって、その他の方法も求められていた。

＜信頼性の判定＞
そこで、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定するようにする。例えば、画像処理装置において、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定する判定部を備えるようにする。

このようにすることにより、奥行き情報の信頼性に応じて、画像処理の対象領域の特定に奥行き情報を用いるか否かを制御することができるようになる。したがって、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜撮像装置＞
図１は、本技術を適用した画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図１に示される撮像装置１００は、被写体を撮像し、撮像画像等を生成する装置である。撮像装置１００は、さらに、その撮像画像に対して画像処理を施したり、他の装置に伝送したりする等の様々な処理を行うことができる。

撮像装置１００は、バス１１０、光学部１１１、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、およびドライブ１２５を有する。

光学部１１１乃至ドライブ１２５の各処理部は、バス１１０に接続される。これらの各処理部は、バス１１０を介して任意の情報（データやプログラム等）を互いに授受することができる。例えば、各処理部は、バス１１０を介して他の処理部から任意の情報を取得することができる。また、例えば、各処理部は、バス１１０を介して他の処理部に任意の情報を供給することができる。

光学部１１１は、例えば、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。例えば、光学部１１１は、外部からの光（入射光）を透過し、センサ部１１２に供給する。

センサ部１１２は、任意の情報の検出に関する処理を行う。例えば、センサ部１１２は、任意の情報を検出するセンサを有する。例えば、センサ部１１２が、光学部１１１を介して入射される光（入射光）を受光し、光電変換する光学センサを有するようにしてもよい。この光学センサは、例えばフォトディテクタのような短画素のセンサであってもよいし、所謂CMOS（Complementary Metal Oxide Semiconductor）イメージセンサのような複数画素のセンサであってもよい。また、この光学センサが受光する入射光の波長は任意であり、全波長を含む白色光であってもよいし、可視光であってもよいし、近赤外光であってもよいし、近紫外光であってもよいし、それら以外の波長の光であってもよい。また、センサ部１１２が、マイクロホン等のような音声（振動）を検出する音声センサを有するようにしてもよい。また、センサ部１１２が、例えば、電流、電圧、電力、加速度、速度、角速度、姿勢、力、温度、湿度、流量、磁気、化学物質、または匂い等、その他の情報を検出するセンサを有するようにしてもよい。

また、センサ部１１２が、センサに関するセンサ以外の機能も有するようにしてもよい。例えば、センサ部１１２は、光を発光し、光学部１１１を介して外部に出力する発光部を備えるようにしてもよい。この場合、光学センサは、この発光部が発光した光の、被写体における反射光を受光するようにしてもよい。なお、この発光部が発光する光の波長は任意である。例えば、全波長を含む白色光であってもよいし、可視光であってもよいし、近赤外光であってもよいし、近紫外光であってもよいし、それら以外の波長の光であってもよい。また、光学センサが受光する反射光の波長が、発光部が発光した光の波長域の一部であってもよいし、発光部が発光した光の波長とは異なる波長であってもよい。

なお、センサ部１１２は、複数のセンサを有することができる。例えば、センサ部１１２が互いに異なる種類の複数のセンサを有するようにしてもよい。例えば、センサ部１１２が、可視光を受光し、撮像画像を生成するイメージセンサと、近赤外光を受光する赤外センサとを有するようにしてもよい。また、例えば、センサ部１１２が同種のセンサを複数有するようにしてもよい。例えば、センサ部１１２が、可視光を受光し、撮像画像を生成するイメージセンサを複数有するようにしてもよい。この場合、複数のイメージセンサは、それぞれにおいて生成される撮像画像の間に視差が生じるような互いに異なる位置に設けられるようにしてもよい。

以下においては、撮像装置１００がTOF方式により測距を行い、センサ部１１２が、被写体を撮像して撮像画像を生成する撮像部の一実施の形態であり、被写体からの可視光を受光し、光電変換してA/D変換等の信号処理を行って、撮像画像を生成するイメージセンサ、近赤外光を発光して撮像装置１００の撮像範囲となる空間に照射する発光部、並びに、その発光部から照射された近赤外光の被写体等による反射光を受光する赤外センサを有するものとして説明する。

つまり、センサ部１１２は、イメージセンサにより生成される撮像画像と、発光部が近赤外光を発光してから赤外センサが受光するまでの時間（以下、近赤外光の発光から受光までの時間とも称する）のマップとを、センシング結果として生成する。この近赤外光の発光から受光までの時間は、撮像画像の単数若しくは複数の画素毎に算出される。そしてその算出された複数の近赤外光の発光から受光までの時間を撮像画像の画素に対応させた分布（マップ）がセンシング結果として生成される。つまり、近赤外光の発光から受光までの時間のマップは、撮像画像に対応する。なお、各近赤外光の発光から受光までの時間に対応する撮像画素の画素数は、均一であってもよいし、均一でなくてもよい。また、撮像画像が動画像の場合は、各フレーム画像に対して近赤外光の発光から受光までの時間のマップが生成されるようにしてもよい。もちろん、撮像画像の複数のフレーム画像に対して近赤外光の発光から受光までの時間のマップが１つ生成されるようにしてもよい。さらに、各赤外光の発光から受光までの時間のマップに対応する撮像画像のフレーム数が均一であってもよいし、均一でなくてもよい。

センサ部１１２は、生成したセンシング結果をバス１１０を介して他の処理部に供給することができる。例えば、センサ部１１２が、センシング結果を画像処理部１１３に供給し、そのセンシング結果を用いた画像処理を行わせるようにしてもよい。また、例えば、センサ部１１２が、センシング結果を符号化復号部１１４に供給し、そのセンシング結果を符号化させるようにしてもよい。さらに、例えば、センサ部１１２が、センシング結果を制御部１１５に供給し、そのセンシング結果に基づく制御を行わせるようにしてもよい。また、例えば、センサ部１１２が、センシング結果を出力部１２２に供給し、そのセンシング結果を画像として表示させたり、音声として出力させたり、データとして外部に出力したりさせるようにしてもよい。さらに、例えば、センサ部１１２が、センシング結果を記憶部１２３に供給し、そのセンシング結果を記憶させるようにしてもよい。また、例えば、センサ部１１２が、センシング結果を通信部１２４に供給し、他の装置との通信によって、そのセンシング結果を他の装置に供給させるようにしてもよい。さらに、例えば、センサ部１１２が、センシング結果をドライブ１２５に供給し、そのセンシング結果をドライブ１２５に装着されたリムーバブルメディア１３１に記憶させるようにしてもよい。

画像処理部１１３は、画像処理に関する処理を行う。例えば、画像処理部１１３は、画像に対して任意の画像処理を行うことができる。例えば、画像処理部１１３が、画像の一部の領域に対して任意の画像処理を行うようにしてもよい。例えば、画像処理部１１３が、画像からその一部の領域を切り抜く処理を行うようにしてもよい。また、例えば、画像処理部１１３が、その切り抜いた画像を他の画像と合成するようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域を追尾対象や監視対象として注目（指定）するようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域の画像が何であるか（例えば人であるか、物であるか等）を認識するようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域に対して、輝度や色の調整、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、またはYC変換等の処理を行うようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域に対して、拡大、縮小、変形等を行うようにしてもよい。なお、画像処理部１１３が、複数種類の画像処理を行うようにしてもよい。また、画像処理部１１３が同じ画像処理を複数回繰り返すようにしてもよい。

画像処理部１１３は、画像処理を行う画像を他の処理部から取得することができる。例えば、画像処理部１１３が、センサ部１１２により生成された撮像画像を、そのセンサ部１１２から取得し、その撮像画像に対して画像処理を行うようにしてもよい。さらに、例えば、画像処理部１１３が、画像が符号化された符号化データが符号化復号部１１４により復号された復号画像を、その符号化復号部１１４から取得し、その復号画像に対して画像処理を行うようにしてもよい。また、例えば、画像処理部１１３が、制御部１１５により生成された画像を、その制御部１１５から取得し、その画像に対して画像処理を行うようにしてもよい。さらに、例えば、画像処理部１１３が、入力部１２１において撮像装置１００の外部から入力された画像を、その入力部１２１から取得し、その画像に対して画像処理を行うようにしてもよい。また、例えば、画像処理部１１３が、記憶部１２３に記憶されている画像を読み出して取得し、その画像に対して画像処理を行うようにしてもよい。さらに、例えば、画像処理部１１３が、通信部１２４が撮像装置１００以外の他の装置と通信を行うことにより、その他の装置から供給された画像を、その通信部１２４から取得し、その画像に対して画像処理を行うようにしてもよい。また、例えば、画像処理部１１３が、ドライブ１２５に装着されたリムーバブルメディア１３１に記憶されている画像をドライブ１２５に読み出させて取得し、その画像に対して画像処理を行うようにしてもよい。

なお、画像処理部１１３は、画像以外の任意の情報も他の処理部から取得することができる。例えば、画像処理部１１３は、センサ部１１２から供給されるセンシング結果を取得し、そのセンシング結果を用いて画像処理を行うことができる。このセンシング結果には上述したように画像情報以外の情報が含まれるようにしてもよい。

また、画像処理部１１３は、画像処理を施した画像等のデータを、画像処理結果として他の処理部に供給することができる。例えば、画像処理部１１３は、画像処理結果を符号化復号部１１４に供給し、符号化させるようにしてもよい。また、例えば、画像処理部１１３は、画像処理結果を制御部１１５に供給し、制御に利用させるようにしてもよい。さらに、例えば、画像処理部１１３は、画像処理結果を出力部１２２に供給し、画像として表示させたり、音声として出力させたり、データとして撮像装置１００の外部に出力させたりするようにしてもよい。また、例えば、画像処理部１１３は、画像処理結果を記憶部１２３に供給し、記憶させるようにしてもよい。さらに、例えば、画像処理部１１３は、画像処理結果を通信部１２４に供給し、他の装置に供給させるようにしてもよい。また、例えば、画像処理部１１３は、画像処理結果をドライブ１２５に供給し、リムーバブルメディア１３１に記憶させるようにしてもよい。

なお、この画像処理結果には、画像情報以外の任意の情報が含まれるようにしてもよい。

符号化復号部１１４は、情報（プログラムやデータ等）の符号化および復号に関する処理を行う。この符号化方式（復号方式）は任意である。例えば、符号化復号部１１４が、複数の方式で符号化を行うことができるようにしてもよい。例えば、符号化復号部１１４が、複数の符号化方式に対応し、それらのいずれの方式でも符号化することができるようにしてもよい。また、例えば、符号化復号部１１４が、複数の符号化方式を組み合わせて符号化を行うようにしてもよい。復号についても同様である。

また、符号化復号部１１４が、任意の処理部から取得した情報に対して符号化や復号を行うことができるようにしてもよい。例えば、符号化復号部１１４が、センサ部１１２、画像処理部１１３、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、若しくはドライブ１２５（リムーバブルメディア１３１）から符号化されていない情報を取得し、その情報に対して符号化を行うようにしてもよい。また、例えば、符号化復号部１１４が、センサ部１１２、画像処理部１１３、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、若しくはドライブ１２５（リムーバブルメディア１３１）から符号化された情報を取得し、その情報に対して復号を行うようにしてもよい。

さらに、符号化復号部１１４が、符号化結果若しくは復号結果のデータを、任意の処理部に供給するようにしてもよい。例えば、符号化復号部１１４が、符号化結果若しくは復号結果のデータを、センサ部１１２、画像処理部１１３、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、若しくはドライブ１２５（リムーバブルメディア１３１）に供給するようにしてもよい。

制御部１１５は、撮像装置１００の制御に関する処理を行う。例えば、制御部１１５は、光学部１１１乃至ドライブ１２５の各処理部を制御する。なお、制御部１１５は、必要に応じて他の処理部から情報（プログラムやデータ等）を取得したり、情報を他の処理部に供給したりすることができる。

入力部１２１は、情報（プログラムやデータ等）や指示等の入力に関する処理を行う。例えば、入力部１２１が、ジョグダイヤル（商標）、キー、ボタン、タッチパネル等の任意の入力デバイスを有し、ユーザ等によるその入力デバイスの操作入力を受け付け、その操作入力に対応する信号（ユーザ指示）を制御部１１５等の他の処理部に供給するようにしてもよい。また、例えば、入力部１２１が、外部入力端子を有し、撮像装置１００の外部（その外部入力端子を介して接続される他の装置等）から供給される情報を受け付け、その情報を制御部１１５等の他の処理部に供給するようにしてもよい。なお、入力部１２１が、カメラやマイクロホン等の入力デバイスを有するようにし、それらによってユーザのゼスチャや音声等をユーザ指示として受け付けるようにしてもよい。

出力部１２２は、情報（プログラムやデータ等）等の出力に関する処理を行う。例えば、出力部１２２が、画像を表示するモニタを有し、そのモニタに任意の画像を表示するようにしてもよい。例えば、出力部１２２が、センサ部１１２において生成された撮像画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、画像処理部１１３において画像処理された画像を取得し、それをモニタに表示するようにしてもよい。さらに、例えば、出力部１２２が、符号化復号部１１４において復号されて得られた復号画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、制御部１１５において生成された画像（例えばGUI（Graphical User Interface）画像等）を取得し、それをモニタに表示するようにしてもよい。さらに、例えば、出力部１２２が、入力部１２１において外部から入力された画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、記憶部１２３に記憶されている画像を読み出して取得し、それをモニタに表示するようにしてもよい。さらに、例えば、出力部１２２が、通信部１２４の通信により他の装置から供給された画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、リムーバブルメディア１３１に記憶されている画像を、ドライブ１２５を介して読み出して取得し、それをモニタに表示するようにしてもよい。

また、例えば、出力部１２２が、音声を出力するスピーカを有し、そのスピーカから任意の音声を出力するようにしてもよい。出力部１２２は、この出力する音声のデータを、例えば、センサ部１１２、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得するようにしてもよい。

また、例えば、出力部１２２が、外部出力端子を有し、任意の情報（プログラムやデータ等）を撮像装置１００の外部（その外部出力端子を介して接続される他の装置等）に供給するようにしてもよい。出力部１２２は、この出力する情報を、例えば、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得するようにしてもよい。

記憶部１２３は、情報の記憶に関する処理を行う。記憶部１２３は、例えばフラッシュメモリ、SSD（Solid State Drive）、ハードディスク等の任意の記憶媒体を有する。例えば、記憶部１２３は、任意の情報（プログラムやデータ等を）その記憶媒体に記憶する。

例えば、記憶部１２３が、撮像画像や画像処理された画像等の画像情報、後述する奥行き情報マップ、信頼性情報マップ、輝度マップ等の付加情報、若しくは制御情報等のその他の情報、またはそれらの符号化データ等をその記憶媒体に記憶するようにしてもよい。例えば、記憶部１２３が、その任意の情報を、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得し、それを記憶媒体に記憶するようにしてもよい。また、記憶部１２３が、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部からの要求に応じて、若しくは必要に応じて、記憶媒体に記憶している情報を読み出し、任意の処理部に供給するようにしてもよい。

通信部１２４は、通信に関する処理を行う。通信部１２４は、例えば、有線LAN（Local Area Network）、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）、赤外線通信、HDMI（登録商標）（High-Definition Multimedia Interface）、若しくはUSB（Universal Serial Bus）等の任意の規格の通信インタフェースを有する。例えば、通信部１２４は、その通信に他フェースを介して他の装置と通信を行い、任意の情報を授受することができる。

例えば、通信部１２４が、他の装置との通信によって、撮像画像や画像処理された画像等の画像情報、後述する奥行き情報マップ、信頼性情報マップ、輝度マップ等の付加情報、若しくは制御情報等のその他の情報、またはそれらの符号化データ等を他の装置に供給したり、他の装置から取得したりするようにしてもよい。例えば、通信部１２４が、その任意の情報を、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得し、それを他の装置に供給するようにしてもよい。また、通信部１２４が、他の装置から任意の情報を取得し、それを、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部に供給するようにしてもよい。つまり、通信部１２４は、画像処理部１１３により画像処理が行われた画像を他の装置に送信する送信部の一実施の形態である。

ドライブ１２５は、自身に装着されたリムーバブルメディア１３１に関する処理を行う。このリムーバブルメディア１３１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体よりなる、ドライブ１２５に着脱可能なメディアである。例えば、ドライブ１２５は、自身に装着されたリムーバブルメディア１３１を必要に応じて駆動し、リムーバブルメディア１３１に書き込まれている任意の情報（プログラムやデータ等）を読み出したり、任意の情報をリムーバブルメディア１３１書き込んだりする。

例えば、ドライブ１２５が、撮像画像や画像処理された画像等の画像情報、後述する奥行き情報マップ、信頼性情報マップ、輝度マップ等の付加情報、若しくは制御情報等のその他の情報、またはそれらの符号化データ等をリムーバブルメディア１３１に書き込むようにしてもよい。また、例えば、ドライブ１２５が、その任意の情報を、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４等、任意の処理部から取得し、それをリムーバブルメディア１３１に書き込むようにしてもよい。また、ドライブ１２５が、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４等、任意の処理部からの要求に応じて、若しくは必要に応じて、リムーバブルメディア１３１に書き込まれている情報を読み出し、任意の処理部に供給するようにしてもよい。

＜画像処理部＞
図２は、画像処理部１１３の主な構成例を示すブロック図である。図２に示されるように画像処理部１１３は、デジタル信号処理部１４１、測距部１４２、領域分割部１４３、判定部１４４、および画像加工部１４５を有する。

デジタル信号処理部１４１は、デジタル信号処理に関する処理を行う。例えば、デジタル信号処理部１４１は、センサ部１１２等からセンシング結果として供給される撮像画像のデジタル信号を処理し、撮像画像のデータとして保持する。撮像画像が動画像の場合、デジタル信号処理部１４１は、その動画像の各フレームの画像について上述した処理を行う。デジタル信号処理部１４１は、任意のタイミングにおいて保持している撮像画像を領域分割部１４３および画像加工部１４５に供給する。

測距部１４２は、測距に関する処理を行う。例えば、測距部１４２には、デジタル信号処理部１４１に保持される撮像画像に対応する近赤外光の発光から受光までの時間のマップがセンシング結果として供給される。測距部１４２は、その近赤外光の発光から受光までの時間を用いて、TOF方式による測距を行い、デジタル信号処理部１４１に供給される撮像画像に対応する奥行き情報マップ（撮像画像の奥行きを示す奥行き情報を撮像画像の画素に対応させた分布）を生成する。さらに、測距部１４２は、生成した奥行き情報マップに対応する信頼性マップ（奥行き情報マップの各奥行き情報の信頼性を示す信頼性情報を撮像画像の画素に対応させた分布）を生成する。この奥行き情報の信頼性の算出方法は任意である。つまり、測距部１４２は、画像の奥行き情報およびその信頼性情報を生成する生成部の一実施の形態である。測距部１４２は、生成した奥行き情報マップおよび信頼性マップを判定部１４４に供給する。

領域分割部１４３は、撮像画像の領域の分割に関する処理を行う。領域の分割方法は任意であるが、例えば、領域分割部１４３は、デジタル信号処理部１４１から供給される撮像画像を、その各画素の輝度値に基づいて領域分割を行い、複数の領域に分割する。例えば、領域分割部１４３は、撮像画像の各画素の輝度値を所定の閾値と比較し、その大小関係に応じて領域を分割する。例えば、領域分割部１４３は、この閾値を１つとし、撮像画像の各画素を、その輝度値が閾値より大きい領域（若しくは閾値以上の領域）と、輝度値が閾値以下の領域（若しくは閾値未満の領域）との２つの領域のいずれかに仕分ける。つまり、この場合、撮像画像は最大２つの領域に分割することができる。この領域の分割数は任意である。つまり、閾値の数は任意であり、複数であってもよい。例えば、閾値を２つとし、撮像画像が最大３つの領域に分割されるようにしてもよい。また、閾値を３つ以上とし、撮像画像が最大４つ以上の領域に分割されるようにしてもよい。

領域分割部１４３は、以上のような分割結果として、このように輝度値に基づいて分割された（撮像画像の各画素が仕分けされた）各領域を撮像画像の画素に対応させた分布である輝度マップを生成する。領域分割部１４３は、生成した輝度マップを判定部１４４に供給する。

判定部１４４は、所定の画像処理の対象領域の判定に関する処理を行う。例えば、判定部１４４は、奥行き情報マップ、信頼性マップ、および輝度マップに基づいて、撮像画像の、所定の画像処理として画像の切り抜きを行う対象となる領域（切り抜き対象領域）であるか否かの判定を行う。判定部１４４は、その判定結果に基づいて、切り抜き対象領域の分布を示す切り抜き対象マップを生成する。

判定部１４４は、生成した切り抜き対象マップを画像加工部１４５に供給する。判定部１４４の処理の詳細については後述する。

画像加工部１４５は、撮像画像に対する画像処理に関する処理を行う。例えば、画像加工部１４５が、判定部１４４から供給された切り抜き対象マップに基づいて、デジタル信号処理部１４１から供給される撮像画像における切り抜き対象領域を切り抜くようにしてもよい。また、例えば、画像加工部１４５が、その切り抜かれた画像を、画像処理部１１３の外部から供給される他の画像（合成用画像）と合成し、合成結果画像を生成するようにしてもよい。さらに、例えば、画像加工部１４５が、その生成した合成結果画像を画像処理部１１３の外部（例えば他の処理部）に供給するようにしてもよい。つまり、画像加工部１４５は、判定部１４４の判定結果である切り抜き対象マップに基づいて、画像処理として、画像から画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部の一実施の形態である。

＜判定部＞
図３は、判定部１４４の主な構成例を示すブロック図である。図３に示されるように、判定部１４４は、例えば、信頼性判定部１６１、奥行き判定部１６２、領域判定部１６３、再判定部１６４、および切り抜き対象マップ生成部１６５を有する。また、再判定部１６４は、輝度マップ判定部１７１および周辺領域判定部１７２を有する。

信頼性判定部１６１は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定する。例えば、信頼性判定部１６１は、デジタル信号処理部１４１に保持される撮像画像に対応する信頼性マップに基づいて、切り抜き対象領域であるか否かの判定をその撮像画像に対応する奥行き情報マップに基づいて行うか否かを判定する。

なお、この信頼性マップに基づく、切り抜き対象領域であるか否かの判定を奥行き情報マップに基づいて行うか否かの判定の方法は、任意である。例えば、信頼性判定部１６１が、奥行き情報の信頼性が所定の閾値より高い（若しくは閾値以上である）領域について、奥行き情報に基づいて切り抜き対象領域であるか否かを判定するようにしてもよい。換言するに、信頼性判定部１６１が、信頼性が所定の閾値以下である（若しくは閾値より低い）奥行き情報を、切り抜き対象領域であるか否かの判定に用いないようにしてもよい。このようにすることにより、判定部１４４は、信頼性が十分に高い奥行き情報のみを、画像処理の対象領域であるか否かの判定に用いるようにすることができる。したがって、画像内の画像処理対象の領域特定をより正確に行うことができる。

また、信頼性判定部１６１は、このような、切り抜き対象領域であるか否かの判定を奥行き情報に基づいて行うか否かの判定を、信頼性マップの全範囲（すなわち、撮像画像の全ての画素）について行う。その際、信頼性判定部１６１が、このような判定を、撮像画像の単数若しくは複数の画素毎に行うようにしてもよい。つまり、この撮像画像で換算した場合の処理単位（単数若しくは複数の画素）に対応する信頼性マップの範囲（単数若しくは複数の信頼性情報）を処理単位として、この判定が行われるようにしてもよい。信頼性判定部１６１は、任意の処理単位毎にこのような判定を行うことができる。なお、各回の判定の処理単位の大きさ（例えば画素数）や形状が均一であってもよいし、均一でなくてもよい。

そして、信頼性判定部１６１は、奥行き情報の信頼性が高い（例えば所定の閾値より高い若しくはその閾値以上である）と判定された領域（例えば画素）については、奥行き情報を用いて切り抜き対象領域に属するか否かの判定を行うように決定し、処理を奥行き判定部１６２に渡す。なお、信頼性判定部１６１は、奥行き情報マップを奥行き判定部１６２に供給する。また、信頼性判定部１６１は、奥行き情報の信頼性が低い（例えば所定の閾値より低い若しくはその閾値以下である）と判定された領域（例えば画素）については、切り抜き対象領域に属するか否かの判定を保留するように決定し、処理を再判定部１６４に渡す。

奥行き判定部１６２は、処理を渡された領域の全範囲について、奥行き情報マップを用いて奥行きの判定を行う。その際、奥行き判定部１６２が、この奥行きの判定を撮像画像の単数若しくは複数の画素毎に行うようにしてもよい。奥行き判定部１６２は、その判定結果を領域判定部１６３に供給する。領域判定部１６３は、奥行き判定部１６２の判定結果に基づいて、切り抜き対象領域に属するか否かの判定を行う。その際、例えば、領域判定部１６３が、奥行き判定部１６２の判定と同一の処理単位で（例えば、撮像画像の単数若しくは複数の画素毎に）上述した判定を行うようにしてもよい。

なお、奥行き判定部１６２および領域判定部１６３による、切り抜き対象領域に属するか否かの判定の方法は任意である。例えば、奥行きが所定の閾値より近いと判定された領域が、画像処理の対象領域であると判定されるようにしてもよい。この場合、奥行き判定部１６２によりこの閾値よりも近くに位置すると判定された領域（例えば画素）が、領域判定部１６３により切り抜き対象領域に属すると判定される。つまり、閾値よりも近くに位置する被写体が画像処理の対象と判定される。例えば、撮像画像において被写体が一番手前に位置するような場合（被写体に対して背景のみが存在する場合）、判定部１４４は、このような判定を行うことにより、その被写体の部分を切り抜き対象領域に属すると判定することができる。

なお、この閾値の数は任意であり例えば複数であってもよい。例えば、撮像画像において被写体のさらに手前に注目しない物体等（前景）が存在するような場合、奥行き判定部１６２が、２つの閾値を用いて奥行きの判定を行うようにしてもよい。例えば、奥行き判定部１６２がその２つの閾値の間に位置すると判定した被写体（奥行き方向の所定の距離範囲内（必ずしも一番手前とは限らない）に位置する被写体）を、領域判定部１６３が切り抜き対象領域に属すると判定するようにしてもよい。このようにすることにより、奥行き方向の一番手前でない被写体（被写体に対して前景と背景とが存在する場合）も、その被写体の部分を画像処理の対象領域と判定することができる。

なお、奥行き判定部１６２および領域判定部１６３が、閾値を用いずに、注目の被写体の部分が切り抜き対象領域に属するか否かの判定を行うようにしてもよい。例えば、奥行き方向の所定の位置（奥行き）に位置する（若しくはその位置の近傍に位置する）被写体が画像処理の対象とされるようにしてもよい。

領域判定部１６３は、各領域（例えば画素）の判定結果を示す情報を、切り抜き対象マップ生成部１６５および再判定部１６４（周辺領域判定部１７２）に供給する。

再判定部１６４は、処理を渡された領域の全範囲について切り抜き対象領域に属するか否かの判定（再判定）を行う。その際、例えば、再判定部１６４が、信頼性判定部１６１において奥行き情報の信頼性が低い（高くない）と判定された領域について、奥行き情報と異なる他の情報を用いて（奥行き情報を用いずに）、切り抜き対象領域に属するか否かの再判定を行うようにしてもよい。また、例えば、再判定部１６４が、他の情報として輝度マップを用いて切り抜き対象領域に属するか否かの再判定を行うようにしてもよい。

この再判定部１６４による切り抜き対象領域の判定方法は任意である。例えば、一般的に、近赤外光の輝度が低い部分の反射率は、その他の部分における反射率に比べて低減する傾向がある。そこで、この傾向を利用して、再判定部１６４が、その輝度マップに基づいて、輝度値が所定の閾値よりも低い（若しくは閾値以下である）領域（例えば画素等）を切り抜き対象領域に属すると判定するようにしてもよい。また、一般的に、再判定部１６４において切り抜き対象領域としたい領域は、被写体の部分の、奥行き情報の信頼性が低い部分である場合が多い。つまり、周囲（近傍）に切り抜き対象領域と判定された領域が存在する可能性が高い。そこで、再判定部１６４が、輝度値が所定の閾値よりも低く（若しくは閾値以下であり）、かつ、切り抜き対象領域と判定された周囲の他の領域に接する領域を切り抜き対象領域に属すると判定するようにしてもよい。

輝度マップ判定部１７１は、処理を渡された領域について、輝度マップを用いて輝度値の判定を行う。例えば、輝度マップ判定部１７１が、処理を渡された領域の全範囲について、輝度マップを用いて輝度値の判定を行うようにしてもよい。また、例えば、輝度マップ判定部１７１が、この輝度値の判定を撮像画像の単数若しくは複数の画素毎に行うようにしてもよい。輝度マップ判定部１７１は、その判定結果を周辺領域判定部１７２に供給する。

周辺領域判定部１７２は、輝度マップ判定部１７１において輝度値が閾値より低い（若しくは閾値以下である）と判定された領域について、周辺の切り抜き対象領域に接するか否かに応じて、切り抜き対象領域に属するか否かの判定を行う。例えば、周辺領域判定部１７２が、輝度マップ判定部１７１の判定と同一の処理単位で（例えば、撮像画像の単数若しくは複数の画素毎に）上述した判定を行うようにしてもよい。周辺領域判定部１７２は、各領域（例えば画素）の判定結果を示す情報を、切り抜き対象マップ生成部１６５に供給する。

切り抜き対象マップ生成部１６５は、領域判定部１６３から供給される判定結果を示す情報や周辺領域判定部１７２から供給される判定結果に基づいて、切り抜き対象領域の分布を示す切り抜き対象マップを生成する。切り抜き対象マップ生成部１６５は、生成した切り抜き対象マップを画像加工部１４５に供給する。

以上のように判定部１４４の各処理部がそれぞれの処理を実行することにより、判定部１４４が、信頼性の高い奥行き情報とその他の情報とに基づいて、画像処理の対象領域を求めることができる。したがって、判定部１４４は、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜各種データ＞
次に、撮像装置１００において生成され、処理される各種データについて、図４乃至図１０を参照して説明する。なお、説明の便宜上、これらの図で示される各種データは線図として示されているが、実際には、画素単位の情報の集合（分布）として構成される。

図４は、センサ部１１２のイメージセンサ等により生成される撮像画像の例を示している。この場合撮像画像２１０は、被写体２１１の部分とその背景画像２１２の部分とにより構成されている。被写体２１１は人物であり、撮像画像２１０においては、主に、その人物の髪の部分である髪領域２１１Ａ、人物の顔の部分である顔領域２１１Ｂ、および人物の胴体の部分である胴体領域２１１Ｃにより構成されている。また、背景画像２１２は、被写体２１１の後方（奥行き方向に被写体２１１より遠方）の景色であり、例えば、池２１２Ａ、樹木２１２Ｂ、山脈２１２Ｃ等が含まれる。

図５は、測距部１４２により生成される奥行き情報マップの例を示している。この奥行き情報マップ２２０は、図４の撮像画像２１０に対応しており、撮像画像２１０の各画素の奥行き情報が撮像画像２１０の画素配置と同様に配置されている。つまり、奥行き情報マップ２２０の各位置の奥行き情報は、撮像画像２１０の同じ位置の画素の奥行きを示す。例えば、領域２２１Ａの奥行き情報は、撮像画像２１０の髪領域２１１Ａの奥行きを示している。また、領域２２１Ｂの奥行き情報は、顔領域２１１Ｂの奥行きを示している。さらに、領域２２１Ｃは、胴体領域２１１Ｃの奥行きを示している。

図５において横線模様で示されるこれらの領域の奥行き情報は、奥行き情報マップ２２０内において最も手前に位置するように示されている。つまり、これらの領域の奥行き情報の値は、奥行き情報マップ２２０の他の領域（背景画像２１２に対応する領域）よりも小さい値となる。換言するに、奥行き情報マップ２２０において、撮像画像２１０の池２１２Ａ、樹木２１２Ｂ、山脈２１２Ｃ等に対応する領域の奥行き情報は、それぞれの位置（奥行き）に応じた値となるが、いずれも、領域２２１Ａ乃至領域２２１Ｃの奥行き情報よりも大きな値をとる。

なお、一般的に頭髪は黒く、形状が複雑であるので、髪領域２１１Ａにおいては、顔領域２１１Ｂ等と比べて近赤外光が反射し難い。したがって、奥行き情報マップ２２０の領域２２１Ａは髪領域２１１Ａの一部（図中略右半分）にのみ対応してる。つまり、髪領域２１１Ａの一部のみが顔領域２１１Ｂ等と略同距離として測距されており（奥行き情報が小さな値をとり）、髪領域２１１Ａの残りの部分（図中略左半分）は、計測不能若しくは背景画像２１２と同様の距離として測距されている（奥行き情報が大きな値をとる）。

図６は、測距部１４２により生成される信頼性マップの例を示している。この信頼性マップ２３０は、図５の奥行き情報マップ２２０（すなわち、図４の撮像画像２１０）に対応しており、撮像画像２１０の各画素の奥行き情報の信頼性情報が撮像画像２１０の画素配置と同様に配置されている。つまり、信頼性マップ２３０の各位置の信頼性情報は、奥行き情報マップ２２０の同じ位置の奥行き情報の信頼性を示す。この信頼性マップ２３０において領域２３１Ｂは、奥行き情報マップ２２０の領域２２１Ｂ（撮像画像２１０の顔領域２１１Ｂ）の奥行き情報の信頼性を示している。また、領域２３１Ｃは、奥行き情報マップ２２０の領域２２１Ｃ（撮像画像２１０の胴体領域２１１Ｃ）の奥行き情報の信頼性を示している。

上述したように被写体２１１は奥行き方向の近い位置（手前側）に位置するため、顔領域２１１Ｂに対応する領域２２１Ｂの奥行き情報の信頼性は高い。同様に、胴体領域２１１Ｃに対応する領域２２１Ｃの奥行き情報の信頼性も高い。つまり、信頼性マップ２３０において斜線模様で示される領域２３１Ｂと領域２３１Ｃは、大きな値をとる。

これに対して、髪領域２１１Ａは、上述したように近赤外光の反射率が低減しやすいため、髪領域２１１Ａに対応する領域２２１Ａの奥行き情報の信頼性は低い。また、背景画像２１２に相当する領域も奥行き方向に遠方に位置するため、近赤外光は略反射しない。したがって、その領域の奥行き情報の信頼性は低い。つまり、信頼性マップ２３０において領域２３１Ｂおよび領域２３１Ｃ以外の領域は、領域２３１Ｂおよび領域２３１Ｃに比べて小さな値をとる。

図７は、領域分割部１４３により生成される輝度マップの例を示している。この輝度マップ２４０は、図４の撮像画像２１０に対応しており、撮像画像２１０の全領域について各画素を、１つの閾値を用いて、その輝度値の大きさによって２つの領域のいずれかに分類したものである。つまり、この場合、領域分割部１４３は、１つの閾値を用いて撮像画像２１０の全領域を２つの領域に分割している。図７において、輝度マップ２４０の黒色で示される領域は、輝度値が閾値よりも小さい（若しくは閾値以下である）画素（すなわち、閾値よりも暗い画素）で構成される領域を示している。また、輝度マップ２４０の白色で示される領域は、輝度値が閾値以上である（若しくは閾値よりも大きい）画素（すなわち、閾値よりも明るい画素）で構成される領域を示している。

図７に示されるように、手前側に位置する被写体２１１の画素の輝度値は基本的に小さい。したがって、これらの画素は、領域２４１のように、輝度値が閾値よりも小さい領域（図７において黒色で示される領域）に分類される。ただし、被写体２１１の画素であっても、例えば光が当たっている部分等の一部の領域は、その輝度値が閾値よりも大きくなる場合がある。その場合、その画素は、輝度値が閾値以上である領域（図７において白色で示される領域）に分類される。

また、背景画像２１２のような、奥行き方向の遠方に位置する画素の輝度値は基本的に大きい。したがって、これらの画素は、その輝度値が閾値以上である領域（図７において白色で示される領域）に分類される。なお、背景画像２１２の部分であっても、暗い部分やノイズ成分がのった部分の画素は、その輝度値が閾値よりも小さくなる場合がある。例えば、図７の領域２４２乃至領域２４５は、そのような領域であり、輝度値が閾値よりも小さい領域（図７において黒色で示される領域）に分類されている。

信頼性判定部１６１乃至領域判定部１６３の判定処理により、信頼性マップ２３０において奥行き情報の信頼性が所定の閾値よりも大きいと判定された部分と、奥行き情報マップ２２０において奥行き情報の値が所定の閾値よりも小さいと判定された部分との両方に対応する撮像画像２１０の画素が、切り抜き対象領域に属する（切り抜き対象領域内に位置する）画素に分類される（つまり、その画素が切り抜き対象とされる）。

信頼性情報の閾値を、信頼性マップ２３０の領域２３１Ｂおよび領域２３１Ｃの値とそれ以外の部分の領域の値との間の値とすると、領域２３１Ｂおよび領域２３１Ｃの奥行き情報の信頼性がその閾値よりも高くなる（閾値以上の値をとる）。

また、奥行き情報の閾値を、奥行き情報マップ２２０の領域２２１Ａ乃至領域２２１Ｃの値とそれ以外の部分の領域の値との間の値とすると、領域２２１Ａ乃至領域２２１Ｃの奥行き情報の値がその閾値よりも小さくなる（閾値よりも小さな値をとる）。

つまり、奥行き情報の領域２２１Ａ乃至領域２２１Ｃのいずれかと、信頼性情報の領域２３１Ｂおよび領域２３１Ｃのいずれかとの両方に対応する撮像画像２１０の画素が切り抜き対象とされる。

図８は、切り抜き対象マップのこのような判定処理により生成される部分の例を示す図である。図８において、切り抜き対象マップ２５０の領域２５１Ｂおよび領域２５１は、奥行き情報の領域２２１Ａ乃至領域２２１Ｃと、信頼性情報の領域２３１Ｂおよび領域２３１Ｃとの両方に対応する領域である。撮像画像２１０における、この領域２５１Ｂおよび領域２５１に対応する領域（すなわち顔領域２１１Ｂおよび胴体領域２１１Ｃ）に属する画素が切り抜き対象とされる。

また、信頼性判定部１６１および再判定部１６４（輝度マップ判定部１７１および周辺領域判定部１７２）の判定処理により、信頼性マップ２３０において奥行き情報の信頼性が所定の閾値以下であると判定された部分と、輝度マップ２４０において輝度値が所定の閾値よりも低いと判定された部分であって、かつ、周辺の切り抜き対象領域に接する部分との両方に対応する撮像画像２１０の画素が、切り抜き対象領域に属する画素に分類される（つまり、その画素が切り抜き対象とされる）。

例えば、髪領域２１１Ａに属する画素は、信頼性判定部１６１乃至領域判定部１６３の判定処理によって切り抜き対象には分類されない。ただし、この髪領域２１１Ａに属する画素は、輝度マップ判定部１７１により、輝度マップ２４０において領域２４１（輝度値が閾値よりも小さい領域（図７において黒色で示される領域））に分類される。そして、この画素が属する髪領域２１１Ａは、信頼性判定部１６１乃至領域判定部１６３の判定処理によって切り抜き対象に分類される顔領域２１１Ｂに接している。したがって、周辺領域判定部１７２は、この画素（髪領域２１１Ａに属する画素）を切り抜き対象に分類する。

図９は、切り抜き対象マップのこのような判定処理により生成される部分の例を示す図である。図９において、切り抜き対象マップ２６０の領域２６１Ａは、髪領域２１１Ａに対応する領域である。この領域２６１Ａに対応する撮像画像２１０の画素（つまり、髪領域２１１Ａに属する画素）は、上述したように切り抜き対象に分類される。

切り抜き対象マップ生成部１６５は、切り抜き対象マップ２５０と切り抜き対象マップ２６０とを合成したような切り抜き対象マップを生成する。

画像加工部１４５は、その切り抜き対象マップ（すなわち、切り抜き対象マップ２５０および切り抜き対象マップ２６０）において切り抜き対象領域として指定される領域を撮像画像２１０から切り抜く。つまり、撮像画像２１０の、領域２６１Ａ、領域２５１Ｂ、および領域２５１Ｃに対応する領域、すなわち、被写体２１１の部分が切り抜かれ、背景画像２１２の部分が削除される。画像加工部１４５は、さらに、切り抜いた被写体２１１の画像を合成用画像と合成し、合成結果画像を生成する。

図１０は、画像加工部１４５により生成される合成結果画像の例を示す図である。図１０に示される合成結果画像２７０は、被写体２７１の画像に、合成用画像２７２が被写体２７１の背景として合成されている。この合成用画像の内容（絵柄やサイズ、アスペクト比等）は任意である。

以上のように、画像処理部１１３は、奥行き情報の信頼性の低い髪領域２１１Ａも切り抜き対象とすることができる。つまり、画像処理部１１３は、奥行き情報の信頼性の低い部分についてはその他の情報を用いることにより、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜処理の流れ＞
次に、撮像装置１００において実行される処理の流れの例について説明する。最初に、撮像装置１００が実行する撮像送信処理の流れの例を、図１１のフローチャートを参照して説明する。この撮像送信処理は、撮像装置１００が、被写体を撮像し、撮像画像を加工して被写体の画像を他の合成用画像と合成し、その合成結果画像を符号化して他の装置に送信する処理である。

撮像送信処理が開始されると、ステップＳ１０１において、制御部１１５は、例えば入力部１２１のシャッタボタンを押下する等の、ユーザ等からの指示に応じてセンサ部１１２を制御し、被写体を撮像させる。センサ部１１２は、イメージセンサにより被写体を撮像して撮像画像を生成するとともに、発光部や赤外センサ等を用いて、近赤外光の発光から受光までの時間を計測する。

ステップＳ１０２において、画像処理部１１３は、ステップＳ１０１において得られたセンシング結果を用いて、撮像画像より被写体の画像を抽出し（切り抜き）、合成用画像と合成し、合成結果画像を生成する等の画像処理を行う。

ステップＳ１０３において、符号化復号部１１４は、ステップＳ１０２において生成された合成結果画像を任意の符号化方式で符号化し、符号化データを生成する。

ステップＳ１０４において、通信部１２４は、他の装置と通信を行い、ステップＳ１０３において生成された符号化データを、その通信相手の他の装置に送信する。

ステップＳ１０４の処理が終了すると、撮像送信処理が終了する。

次に、図１２のフローチャートを参照して、図１１のステップＳ１０２において実行される画像処理の流れの例を説明する。

画像処理が開始されると、画像処理部１１３のデジタル信号処理部１４１は、ステップＳ１２１において、ステップＳ１０１において得られた撮像画像に対して所定の画像処理を行う。

ステップＳ１２２において、測距部１４２は、ステップＳ１０１において得られたセンシング結果である近赤外光の発光から受光までの時間等に基づいて、奥行き情報マップと信頼性マップとを生成する。

ステップＳ１２３において、領域分割部１４３は、ステップＳ１０１において得られた撮像画像から輝度マップを生成する。

ステップＳ１２４において、判定部１４４は、ステップＳ１２２において生成された奥行き情報マップ、信頼性マップ、ステップＳ１２３において生成された輝度マップ、並びに撮像画像等を用いて切り抜き対象マップ生成処理を行い、撮像画像に対応する切り抜き対象マップを生成する。

ステップＳ１２５において、画像加工部１４５は、ステップＳ１２４において生成された切り抜き対象マップに基づいて、撮像画像の切り抜き対象領域を切り抜き、合成用画像と合成して、合成結果画像を生成する。

ステップＳ１２５の処理が終了すると、画像処理が終了し、処理は図１１に戻る。

次に、図１３のフローチャートを参照して、図１２のステップＳ１２４において実行される切り抜き対象マップ生成処理の流れの例を説明する。

切り抜き対象マップ生成処理が開始されると、ステップＳ１４１において、信頼性判定部１６１は、処理対象とする撮像画像の画素（処理対象画素とも称する）を選択する。

ステップＳ１４２において、信頼性判定部１６１は、信頼性マップに基づいて、その処理対象画素の奥行き情報の信頼性が所定の閾値より高いか否かを判定する。奥行き情報の信頼性がその閾値より高いと判定された場合、処理はステップＳ１４３に進む。

ステップＳ１４３において、奥行き判定部１６２は、奥行き情報マップに基づいて、その処理対象画素の奥行き情報が所定の閾値より低いか否かを判定する。処理対象画素の画像の物体（被写体等）が、その閾値に相当する奥行きよりも手前側に位置する場合、奥行き情報はその閾値よりも低い値（小さい値）となる。処理対象画素の奥行き情報が所定の閾値より低い（つまり閾値に相当する奥行きよりも手前側に位置する）と判定された場合、処理はステップＳ１４４に進む。

ステップＳ１４４において、領域判定部１６３は、処理対象画素が切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ１４４の処理が終了すると、処理はステップＳ１４７に進む。

また、ステップＳ１４３において、処理対象画素の奥行き情報が所定の閾値より低くない（閾値以上である（つまり閾値に相当する奥行きよりも奥側に位置する））と判定された場合、処理はステップＳ１４５に進む。

ステップＳ１４５において、領域判定部１６３は、処理対象画素が切り抜き対象でない（非切り抜き対象である（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ１４５の処理が終了すると、処理はステップＳ１４７に進む。

また、ステップＳ１４２において、奥行き情報の信頼性がその閾値よりも高くない（閾値以下である）と判定された場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、信頼性判定部１６１は、処理対象画素が切り抜き対象であるか否かの判定を保留する。

ステップＳ１４７において、信頼性判定部１６１は、撮像画像の全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理が繰り返される。つまり、各画素についてステップＳ１４１からステップＳ１４７までのフローが実行される。そして、ステップＳ１４７において、撮像画像の全ての画素が処理されたと判定された場合、処理はステップＳ１４８に進む。

ステップＳ１４８において、再判定部１６４は、ステップＳ１４６の処理により判定を保留した画素について、再判定処理を行い、切り抜き対象であるか否かの再判定を行う。この再判定は、奥行き情報以外の情報を用いて行われる。ステップＳ１４８の処理が終了すると、処理はステップＳ１４９に進む。

ステップＳ１４９において、切り抜き対象マップ生成部１６５は、以上のようにして求められた各画素の判定結果に基づいて、切り抜き対象マップを生成する。切り抜き対象マップが生成されると、切り抜き対象マップ生成処理が終了し、処理は図１２に戻る。

次に、図１４のフローチャートを参照して、図１３のステップＳ１４８において実行される再判定処理の流れの例を説明する。

再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ１６１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。

ステップＳ１６２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ１６３に進む。

ステップＳ１６３において、周辺領域判定部１７２は、輝度マップにおいて、処理対象画素が属する領域が切り抜き対象領域に接するか否かを判定する。接すると判定された場合、処理はステップＳ１６４に進む。

ステップＳ１６４において、周辺領域判定部１７２は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ１６４の処理が終了すると、処理はステップＳ１６６に進む。

また、ステップＳ１６２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ１６５に進む。また、ステップＳ１６３において、処理対象画素が属する領域が切り抜き対象領域に接しないと判定された場合、処理はステップＳ１６５に進む。

ステップＳ１６５において、周辺領域判定部１７２は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ１６５の処理が終了すると、処理はステップＳ１６６に進む。

ステップＳ１６６において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ１６１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ１６１からステップＳ１６６までのフローが実行される。そして、ステップＳ１６６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜２．第２の実施の形態＞
＜閾値設定＞
なお、上述した信頼性情報の閾値、奥行き情報の閾値、および輝度値の閾値等、各種の閾値は、予め定められた所定の値（固定値）であってもよいし、ユーザ等により値を設定することができる（可変値）ようにしてもよい。

例えば、撮像装置１００（制御部１１５）が、ユーザ等による閾値の設定入力を受け付けるGUI（Graphical User Interface）を出力部１２２のモニタに表示させ、そのGUIに基づいて入力されるユーザ指示を入力部１２１を介して受け付け、各種閾値を、そのユーザ指示により指定される値に設定するようにしてもよい。

例えば、制御部１１５が、そのGUIを生成し、出力部１２２に供給してモニタに表示させる。また、制御部１１５は、入力部１２１を制御して、そのGUIに基づくユーザ指示の入力を受け付けさせる。そして、制御部１１５は、入力部１２１を介して受け付けたユーザ指示に応じて各種閾値を設定する。つまり、制御部１１５が、閾値を設定する設定部の一実施の形態であるようにしてもよい。

図１５はそのGUIの表示例を示す。図１５に示される閾値入力画面３００は、ユーザ等による閾値の設定に関する入力を受け付けるGUIである。図１５に示されるように、閾値入力画面３００は、画像表示部３０１、画像表示部３０２、スライドバー３０３、スライドバー３０４、スライドバー３０５、並びに、決定ボタン３０６を有する。

画像表示部３０１は、現在の閾値設定に基づいて撮像画像から切り抜かれた画像（切り抜き画像）を表示する領域である。画像表示部３０２は、スライドバー３０３乃至スライドバー３０５による閾値設定の変更を反映した切り抜き画像を表示する領域である。

スライドバー３０３乃至スライドバー３０５は、各閾値設定を制御するためのGUIである。各閾値設定の制御をこのようなスライドバーにより受けつけるようにすることにより、ユーザは容易に（ポインタを左右に移動させるだけで）各閾値設定を制御することができる。

例えばスライドバー３０３は、奥行き情報の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３０３のポインタ３０３Ａをスライドバー３０３に沿って図中左右方向に移動させると、そのポインタ３０３Ａの位置に応じて奥行き情報の閾値設定が変更される。

例えば、ユーザが、ポインタ３０３Ａを図中左方向に移動させると、閾値に相当する奥行き方向の位置（その位置までの距離）が近くなり、ポインタ３０３Ａを図中右方向に移動させると、閾値に相当する奥行き方向の位置（その位置までの距離）が遠くなる。つまり、ユーザは、このポインタ３０３Ａの位置を制御することにより、切り抜き対象とする被写体の奥行きの範囲（奥行きがどこからどこまでの範囲に位置する被写体を切り抜き対象とするか）を容易に制御することができる。

例えば、奥行き情報の閾値が１つであり、閾値の手前側の被写体が切り抜き対象の候補とされる場合、この閾値に相当する奥行き方向の位置を奥側に移動させると、切り抜き対象となる奥行き方向の幅が広がるので、より多くの被写体が切り抜き対象となり得る。逆に、この閾値に相当する奥行き方向の位置を手前側に移動させると、切り抜き対象となる奥行き方向の幅が狭くなり、切り抜き対象となる被写体が絞られる。

例えば、切り抜き画像に所望の被写体が含まれない場合、ユーザがポインタ３０３Ａを図中右側に操作することにより、所望の被写体が切り抜き画像に含まれるようにすることができる。また、例えば、切り抜き画像に所望の被写体より奥側に位置する不要な被写体が含まれている場合、ユーザがポインタ３０３Ａを図中左側に操作することにより、切り抜き画像に含まれる不要な被写体を低減させることができる。

また、例えばスライドバー３０４は、信頼性情報の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３０４のポインタ３０４Ａをスライドバー３０４に沿って図中左右方向に移動させると、そのポインタ３０４Ａの位置に応じて信頼性情報の閾値設定が変更される。

例えば、ユーザが、ポインタ３０４Ａを図中左方向に移動させると、閾値に相当する奥行き情報の信頼性が高くなり、ポインタ３０４Ａを図中右方向に移動させると、閾値に相当する奥行き情報の信頼性が低くなる。つまり、ユーザは、このポインタ３０４Ａの位置を制御することにより、切り抜き対象とする奥行き情報の信頼性の範囲を容易に制御することができる。

一般的に、信頼性情報の閾値が高くなると、その閾値より値が大きな奥行き情報の数は低減する。つまり、奥行き情報に基づいて切り抜き対象と判定される領域が狭くなる。逆に、信頼性情報の閾値が低くなると、その閾値より値が大きな奥行き情報の数は増大する。つまり、奥行き情報に基づいて切り抜き対象と判定される領域が広くなる。

したがって、例えば、切り抜き画像において所望の被写体の一部が削れている（所望の被写体の一部が切り抜き画像に含まれない）ような場合、ユーザがポインタ３０４Ａを図中右側に操作することにより、切り抜き対象領域が広がり、所望の被写体のより多くの部分が切り抜き画像に含まれる（被写体の画像の削られる部分が少なくなる）ようにすることができる。また、例えば、切り抜き画像において所望の被写体以外の部分が含まれているような場合、ユーザがポインタ３０４Ａを図中左側に操作することにより、切り抜き対象領域が狭くなり、切り抜き画像に含まれる所望の被写体以外の不要な部分を低減させるすることができる。

また、例えばスライドバー３０５は、輝度値の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３０５のポインタ３０５Ａをスライドバー３０５に沿って図中左右方向に移動させると、そのポインタ３０５Ａの位置に応じて輝度値の閾値設定が変更される。

例えば、ユーザが、ポインタ３０５Ａを図中左方向に移動させると、閾値に相当する輝度値が大きくなり、ポインタ３０５Ａを図中右方向に移動させると、閾値に相当する輝度値が小さくなる。つまり、ユーザは、このポインタ３０５Ａの位置を制御することにより、切り抜き対象とする輝度値（明度）の範囲を容易に制御することができる。

例えば、輝度値の閾値が１つであり、閾値よりも小さな輝度値（暗部）の画素が切り抜き対象とされる場合、この閾値に相当する輝度値を大きくする（明側に移動させる）と、切り抜き対象となる輝度の幅が広がるので、より広範な領域が切り抜き対象となり得る。逆に、この閾値に相当する輝度値を小さくする（暗側に移動させる）と、切り抜き対象となる輝度の幅が狭くなり、切り抜き対象となり得る領域が低減する（より暗い領域に絞られる）。

例えば、被写体の髪が明る過ぎることにより、その髪の部分が切り抜き対象に含まれない（削られてしまう）ような場合、ユーザがポインタ３０５Ａを図中右側に操作することにより、その髪の部分が削られない（切り抜き対象に含まれる）ようにすることができる可能性がある。また、例えば、被写体の周囲が暗過ぎることにより、その周囲の部分も切り抜き対象に含まれてしまうような場合、ユーザがポインタ３０５Ａを図中左側に操作することにより、その被写体の周囲の部分が削られる（切り抜き対象に含まれない）ようにすることができる可能性がある。

なお、以上のようなポインタ３０３Ａ乃至ポインタ３０５Ａの移動が反映された閾値設定の切り抜き画像が画像表示部３０２に表示される。また、このとき画像表示部３０１には、閾値設定が変更前の切り抜き画像が表示されたままである。したがって、ユーザは、画像表示部３０１に表示されている画像と、画像表示部３０２に表示されている画像とを参照することにより、ポインタ３０３Ａ乃至ポインタ３０５Ａの移動による切り抜き対象への影響（つまり、ポインタ３０３Ａ乃至ポインタ３０５Ａを動かすことにより切り抜き画像がどのように変化するか）を容易に把握することができる。

また、図１５の例の場合、閾値入力画面３００には各スライドバーに対する説明も表示されている。このような表示を行うことにより、ユーザ等がより容易に各スライドバーの機能を把握することができる。また、この例では、スライドバー３０３に対して「奥行き情報の閾値」ではなく「距離」と表示され、スライドバー３０４に対して「信頼性情報の閾値」ではなく「範囲」と表示され、スライドバー３０５に対して「輝度値の閾値」ではなく「色」と表示されている。このように各スライドバーの説明を間接的な表現とすることにより、各スライドバーの操作がどのような影響を及ぼすかをユーザ等がより直感的に理解することができる。

決定ボタン３０６は、スライドバー操作による閾値の制御を決定するためのGUIボタンである。ユーザ等がこの決定ボタン３０６を押下することにより、その時点の各ポインタの位置に応じた閾値設定が登録される。つまり、制御部１１５が各ポインタの位置により示されるユーザ指示に応じて各種閾値を設定する。制御部１１５は、その閾値設定を画像処理部１１３に供給する。画像処理部１１３は、その閾値設定を用いて画像処理の対象領域であるか否かの判定を行い、その閾値設定を反映した切り抜き画像を生成することができる。

なお、決定ボタン３０６が操作されると、さらに閾値の受け付けが終了し、閾値入力画面３００が閉じるようにしてもよい。

このようにすることにより、撮像装置１００は、より多様な画像に対して、画像処理の対象領域の判定をより適切に行うことができる。

なお、図１５の例の場合、閾値入力画面３００には各閾値に対してスライドバーが設けられている。このようにすることにより、ユーザ等が各閾値を独立に制御することができる。なお、１つのスライドバーによって複数の閾値を制御することができるようにしてもよい。また、複数のスライドバーのそれぞれが制御する閾値が重複するようにしてもよい。例えば、あるスライドバーによって閾値Ａと閾値Ｂとが制御され、他のスライドバーによって閾値Ｂと閾値Ｃとが制御されるようにしてもよい。

また、図１５の例においては、閾値の制御の為にスライドバーが設けられるように説明したが、閾値制御の為のGUIは任意であり、スライドバーに限定されない。例えばツマミ、ダイヤル、ボタン等であってもよい。

また、閾値入力画面のレイアウトは任意であり、図１５の例に限定されない。

＜処理の流れ＞
この場合、制御部１１５は、閾値設定処理を実行する。この閾値設定処理の流れの例を、図１６のフローチャートを参照して説明する。例えば、ユーザが所定の操作を行って、閾値の設定を指示すると、閾値設定処理が開示される。

閾値設定処理が開始されると、制御部１１５は、ステップＳ１８１において、GUIである閾値入力画面を生成し、出力部１２２のモニタにそれを表示させる。

ステップＳ１８２において、制御部１１５は、入力部１２１を制御して閾値入力画面に基づく閾値設定に関する入力（ユーザ指示）を受け付ける。

ステップＳ１８３において、制御部１１５は、ステップＳ１８２において受け付けたユーザ指示に基づいて各種閾値を設定する。制御部１１５は、更新した閾値を画像処理部１１３に供給する。画像処理部１１３は、その更新後の閾値を用いて画像処理を行う。

ステップＳ１８３の処理が終了すると閾値設定処理が終了する。

このように閾値設定処理を行うことにより、制御部１１５は、各閾値を更新することができる。したがって、撮像装置１００は、より多様な画像に対して、画像処理の対象領域の判定をより適切に行うことができる。

以上においては、ユーザ指示を受け付け、閾値の更新をそのユーザ指示に基づいて行うように説明したが、閾値の更新方法は任意であり、この例に限定されない。例えば、撮像画像等のような画像処理の対象となる画像に応じて閾値が自動制御されるようにしてもよい。

＜３．第３の実施の形態＞
＜色マップに基づく再判定＞
以上においては、輝度マップ（輝度値）を、奥行き情報と異なる他の情報として用いて画像処理の対象領域であるか否かの再判定を行うように説明したが、この他の情報は任意であり、この例に限定されない。例えば、色マップ（色情報）が他の情報として用いられるようにしてもよい。

そしてその場合、再判定において、周辺の画像処理の対象領域との色の違いが所定の閾値より小さい領域を画像処理の対象領域であると判定するようにしてもよい。

＜判定部＞
図１７は、その場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図１７の場合、再判定部１６４が、切り抜き対象色情報参照部３２１と色判定部３２２とを有する。また、領域判定部１６３は、判定結果を切り抜き対象色情報参照部３２１に供給する。

なお、この場合、画像処理部１１３の領域分割部１４３（図２）は、輝度マップの代わりに色マップを生成する。色マップは、撮像画像の、色情報に基づいて分割された（撮像画像の各画素が仕分けされた）各領域を撮像画像の画素に対応させた分布である。この色情報のフォーマット（カラースケール）は任意である。ＲＧＢであってもよいし、ＹＵＶであってもよいし、その他であってもよい。

例えば、領域分割部１４３は、撮像画像の近い色の画素同士をまとめることにより領域化し、撮像画像を複数の領域に分割する。図１８は、色マップの例を示す図である。図１８に示される色マップ３３０においては、撮像画像が７つの領域に分割されている。換言するに、領域分割部１４３は、撮像画像の色数を低減させることにより撮像画像を複数の領域に分割することができる。なお、図１８においては、説明の便宜上、色マップを線図として表しているが、実際には、画素単位の情報の集合（分布）として構成される。

領域分割部１４３は、このようにして生成した色マップを再判定部１６４の切り抜き対象色情報参照部３２１に供給する。

切り抜き対象色情報参照部３２１は、見本色を設定する。この見本色は任意であるが、例えば、処理対象の周辺の切り抜き対象領域の色情報であってもよい。例えば、処理対象の周辺の切り抜き対象領域に属する、処理対象に最も近い画素の色情報を見本色とするようにしてもよい。切り抜き対象色情報参照部３２１は、その見本色の情報と色マップとを色判定部３２２に供給する。

色判定部３２２は、色マップにおいて処理対象が属する領域の色情報の各色成分（若しくは色差成分）と、見本色の各色成分（若しくは色差成分）とを比較し、その類似度に基づいて処理対象が切り抜き対象であるか否かを判定する。

例えば、色判定部３２２は、処理対象の領域（画素）の色情報と見本色とを色成分（若しくは色差成分）毎に比較し、それらの違い（誤差）を閾値と比較する。この閾値は、任意である。例えば、閾値を絶対値とし、色判定部３２２が誤差の絶対値を閾値と比較するようにしてもよい。また、例えば、誤差の正方向と負方向のそれぞれについて閾値を設定し、色判定部３２２が誤差を、その誤差の方向（正方向の誤差であるか負方向の誤差であるか）に応じた方向の閾値（正方向の閾値若しくは負方向の閾値）と比較するようにしてもよい。また、閾値は、全色成分（若しくは全色差成分）で共通としてもよいし、色成分（若しくは色差成分）毎に独立した値とするようにしてもよい。

誤差が閾値よりも小さい（若しくは閾値以下である）場合、色判定部３２２は、その処理対象を切り抜き対象であると判定する。また、誤差が閾値以上である（若しくは閾値よりも大きい）場合、色判定部３２２は、その処理対象を非切り抜き対象であると判定する。

なお、色判定部３２２は、全ての色成分（若しくは色差成分）について、誤差が閾値よりも小さい（若しくは閾値以下である）場合、その処理対象を切り抜き対象であると判定するようにしてもよいし、一部の色成分（若しくは色差成分）においてのみ、誤差が閾値よりも小さい（若しくは閾値以下である）場合も、その処理対象を切り抜き対象であると判定するようにしてもよい。

たとえば、見本色がＲＧＢ表記で（２５５,１６０,１２２）であるとする。また、処理対象の画素の色情報がＲＧＢ表記で（２５０,１２８,１１４）であるとする。この場合処理対象の画素の色情報と見本色との誤差は、（−５,−３２,−８）である。ここで閾値が例えばＲＧＢ毎に（＋−）６０であるとすると、ＲＧＢ全てにおいて誤差が閾値よりも小さいことになる。このような場合、色判定部３２２は、処理対象の画素を切り抜き対象であると判定する。

また、閾値が例えばＲＧＢ毎に（＋−）２０であるとすると、Ｒ，Ｂについては誤差が閾値よりも小さいが、Ｇについては誤差が閾値よりも大きい。このような場合に、色判定部３２２が、処理対象の画素を非切り抜き対象であると判定するようにしてもよいし、切り抜き対象であると判定するようにしてもよい。

色判定部３２２は、各領域（例えば画素）の判定結果を示す情報を、切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。

第１の実施の形態のように輝度マップに基づいて再判定処理を行う場合と、本実施の形態のように色マップに基づいて再判定処理を行う場合とで、切り抜き対象と判定される領域が異なる場合がある。例えば、輝度マップを用いる場合、輝度の低い（暗い）領域が切り抜き対象と判定されるが、色マップを用いる場合、見本色に近い色の領域が切り抜き対象と判定される。したがって、互いに異なる特徴を持つ領域が切り抜き対象領域と判定される可能性がある。

つまり、以上のように輝度マップの代わりに色マップに基づいて再判定処理を行うことにより、第１の実施の形態の場合と同様に、画像内の画像処理対象の領域特定をより正確に行うことができるだけでなく、第１の実施の形態の場合と異なる特徴を持つ領域を画像処理の対象領域として求めることができる。

＜再判定処理＞
この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。ただし、画像処理のステップＳ１２３（図１２）においては、輝度マップの代わりに色マップが生成される。

この場合の再判定処理の流れの例を図１９のフローチャートを参照して説明する。

再判定処理が開始されると、切り抜き対象色情報参照部３２１は、ステップＳ２０１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。

ステップＳ２０２において、切り抜き対象色情報参照部３２１は、ステップＳ２０１において選択された処理対象の画素の近傍（周辺）の切り抜き対象領域に属する最も処理対象画素に近い画素の色情報を見本色とする。

ステップＳ２０３において、色判定部３２２は、処理対象画素の色情報と見本色との違い（誤差）が閾値より小さい（若しくは閾値以下である）か否かを判定する。この誤差が閾値より小さい（若しくは閾値以下である）と判定された場合、処理はステップＳ２０４に進む。

ステップＳ２０４において、色判定部３２２は、処理対象画素を切り抜き対象と判定する。ステップＳ２０４の処理が終了すると、処理はステップＳ２０６に進む。

また、ステップＳ２０３において、誤差が閾値以上である（若しくは閾値より大きい）と判定された場合、処理はステップＳ２０５に進む。

ステップＳ２０５において、色判定部３２２は、処理対象画素を非切り抜き対象と判定する。ステップＳ２０５の処理が終了すると、処理はステップＳ２０６に進む。

ステップＳ２０６において、切り抜き対象色情報参照部３２１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２０１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２０１からステップＳ２０６までのフローが実行される。そして、ステップＳ２０６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜閾値制御＞
なお、色情報の閾値も、輝度値の閾値等と同様に、予め定められた所定の値（固定値）であってもよいし、ユーザ等により値を設定することができる（可変値）ようにしてもよい。例えば、色情報の閾値も、輝度値の閾値等と同様に、ユーザがGUI（閾値入力画面）に基づいて制御することができるようにしてもよい。つまり、本実施の形態の場合も、例えば撮像装置１００（制御部１１５）が、ユーザ等による閾値の設定入力を受け付けるGUIを出力部１２２のモニタに表示させ、そのGUIに基づいて入力されるユーザ指示を、入力部１２１を介して受け付け、各種閾値を、そのユーザ指示により指定される値に設定するようにしてもよい。

図２０は色情報の閾値を設定のために表示されるGUIである閾値入力画面の例を示す図である。図２０において閾値入力画面３４０は、画像表示部３４１、画像表示部３４２、スライドバー３４３、スライドバー３４４、スライドバー３４５、並びに、決定ボタン３４６を有する。

画像表示部３４１は、閾値入力画面３００の画像表示部３０１と同様の表示部であり、この閾値入力画面３４０の操作に基づく閾値設定制御を反映していない状態の撮像画像が表示される。

これに対して画像表示部３４２は、閾値入力画面３００の画像表示部３０２と同様の表示部であり、この閾値入力画面３４０の操作に基づく閾値設定制御を反映した状態の撮像画像が表示される。

スライドバー３４３は、閾値入力画面３００のスライドバー３０３と同様に、奥行き情報の閾値設定を制御するためのものである。ポインタ３４３Ａは、閾値入力画面３００のポインタ３０３Ａに対応する。

スライドバー３４４は、閾値入力画面３００のスライドバー３０４と同様に、信頼性情報の閾値設定を制御するためのものである。ポインタ３４４Ａは、閾値入力画面３００のポインタ３０４Ａに対応する。

スライドバー３４５は、色情報の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３４５のポインタ３４５Ａをスライドバー３４５に沿って図中左右方向に移動させると、そのポインタ３４５Ａの位置に応じて色情報の閾値設定が変更される。

例えば、ユーザが、ポインタ３４５Ａを図中左方向に移動させると、閾値が小さくなり、ポインタ３４５Ａを図中右方向に移動させると、閾値が大きくなる。つまり、ユーザは、このポインタ３４５Ａの位置を制御することにより、切り抜き対象とする色情報の範囲を容易に制御することができる。

例えば、色情報の閾値が１つであり、見本色との誤差が閾値よりも小さな画素が切り抜き対象とされる場合、この閾値を大きくする（「異」側に移動させる）と、切り抜き対象となる色の範囲が広がるので、より広範な領域が切り抜き対象となり得る。逆に、この閾値を小さくする（「同」側に移動させる）と、切り抜き対象となる色の範囲が狭くなり、切り抜き対象となり得る領域が低減する可能性がある。

例えば、色情報を用いた再判定処理を行うと、近赤外光を反射し難い色（例えば黒色等）の部分を切り抜き対象領域とすることができる。例えば、被写体の境界（被写体の部分とそれ以外の部分との境界）付近は、影が生じる等して黒色が増えて奥行き情報の信頼性が低減し、非切り抜き対象と判定されてしまう場合がある。色情報を用いた再判定処理を行うことによりこのような被写体の境界付近を切り抜き対象にすることが可能になる。

しかしながら、例えばその影が濃すぎるような場合、その影の部分と周囲の切り抜き対象領域との色の誤差が閾値を越えてしまい、非切り抜き対象とされてしまう可能性がある。このような場合に、ユーザがポインタ３４５Ａを図中右側に操作して閾値を大きくすることにより、影の部分と周囲の切り抜き対象領域との色の誤差が閾値より小さくなるようにすることができ、その影の部分を切り抜き対象とすることができる可能性がある。

また、例えば、被写体の部分とその周辺の被写体で無い部分との色が近似しているような場合、色情報を用いた再判定処理により、被写体で無い部分も切り抜き対象とされてしまう可能性がある。このような場合に、ユーザがポインタ３４５Ａを図中左側に操作することにより、被写体の部分とその周辺の被写体で無い部分との色の誤差が閾値より大きくなるようにすることができ、被写体で無い部分を非切り抜き対象とすることができる可能性がある。

つまり、閾値入力画面には、値が可変の閾値に対応するスライドバーが設けられるようにすればよい。なお、全ての閾値が可変であってもよいし、一部の閾値が可変であってもよい。また、値が可変の閾値の内の一部についてのみスライドバーが設けられるようにしてもよい。

決定ボタン３４６は、閾値入力画面３００の決定ボタン３０６と同様のGUIボタンである。この決定ボタン３４６を押下することにより、スライドバー操作による閾値の制御が決定される。

以上のように、各種閾値を可変とし、閾値入力画面３４０を表示して閾値の設定に関する指示を受け付けることにより、撮像装置１００は、より多様な画像に対して、画像処理の対象領域の判定をより適切に行うことができる。

＜４．第４の実施の形態＞
＜髪型モデルに基づく再判定＞
例えば、再判定処理に用いる他の情報として髪型モデルを用いるようにし、その髪型モデルを表す髪型モデルデータに基づいて、髪型モデルにおける髪領域に属する領域を画像処理の対象領域であると判定するようにしてもよい。

例えば、図２１に示されるような髪型のモデル（髪型モデルとも称する）を予め複数用意し、その中から被写体の実際の髪型に近い髪型モデルをユーザに選択させ、その髪型モデルを撮像画像の被写体に当てはめ（撮像画像に髪型モデルを重畳し、撮像画像の被写体の顔の部分と髪型モデルとが違和感なく重畳するように髪型モデルの位置合わせを行い）、撮像画像の、その髪型モデルにおいて髪である部分（髪領域とも称する）に相当する領域を切り抜き対象とするようにする。

図２１に示される髪型モデルデータ３５０は、５０種類の髪型モデルの画像を含むデータである。髪型モデルのデータは、画像データであってもよいし、形状、範囲、色等を示す（画像化することができる）情報であってもよい。また、髪型に関するその他の情報が髪型モデルデータ３５０に含まれるようにしてもよい。

この髪型モデルデータ３５０は、例えば、記憶部１２３やリムーバブルメディア１３１等に予め記憶されている。制御部１１５は、これらから髪型モデルデータ３５０を読み出して取得する。なお、髪型モデルデータ３５０は、入力部１２１や通信部１２４を介して外部から供給されるようにしてもよい。

制御部１１５は、この髪型モデルデータ３５０に含まれる髪型モデルの一覧（文字や画像等）を含むGUIを出力部１２２のモニタに表示し、ユーザに髪型を選択させる。制御部１１５は、入力部１２１を制御してそのGUIに対するユーザ入力、すなわち、髪型の選択を受け付け、選択された髪型モデルのデータを画像処理部１１３に供給する。画像処理部１１３の判定部１４４は、供給された髪型モデルのデータを用いて再判定処理を行う。

一般的に、撮像画像において頭髪の部分は、複雑な形状をしているため、光の加減などにより多様な絵柄となり得る不安定な領域である。そのため、撮像画像の画像情報（輝度や色等）に基づいて切り抜き対象であるかを判定すると、安定して正確に頭髪の部分を切り抜き対象とすることができない可能性がある（画像に依存する可能性がある）。これに対して上述したように髪型モデルを用いて切り抜き対象であるかを判定することにより、物理的な形状（物理的な範囲）で切り抜き対象を指定することができるので、画像によらずに安定した領域を切り抜き対象とすることができる。

なお、撮像画像（被写体の顔の部分）に対する髪型モデルの位置合わせの方法は任意である。例えば、撮像装置１００が、顔検出等を行って撮像画像の被写体の顔の部分を特定し、その顔の部分に髪型モデルを位置合わせするようにしてもよいし、撮像画像と髪型モデルをGUIとしてモニタに表示してユーザに位置合わせさせるようにしてもよい。

また、用意される（髪型モデルデータ３５０に含まれる）髪型モデルは任意であり、図２１の例に限定されない。また用意される髪型モデルの数も任意であり、図２１の例に限定されない。さらに、ユーザが髪型モデルを加工する（髪型を変える）ことができるようにしてもよい。また、ユーザが髪型モデルを生成することができるようにしてもよい。例えば、ユーザが髪型モデルをGUI等を使って手書き入力することができるようにしてもよいし、ユーザが他の撮像画像等を入力することによりその撮像画像に含まれる被写体の髪型をモデルとして登録することができるようにしてもよい。

なお、この髪型モデルを用いる方法と他の方法とを組み合わせるようにしてもよい。例えば、輝度値を用いる方法と、この髪型モデルを用いる方法とを組み合わせるようにしてもよい。つまり、輝度が所定の閾値より低く、かつ、髪型モデルにおける髪領域に属する領域を画像処理の対象領域であると判定するようにしてもよい。このようにすることにより、より正確に被写体の髪の部分を画像処理の対象領域であると判定することができる。

＜判定部＞
図２２は、この場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図２２の場合、再判定部１６４が、周辺領域判定部１７２の代わりに髪型判定部３６１を有する。また、領域判定部１６３は、判定結果を再判定部１６４に供給しない。なお、この場合、ユーザ等に選択された髪型モデルデータ等が、例えば制御部１１５等から髪型判定部３６１に供給される。

輝度マップ判定部１７１は、図３の場合と同様に輝度値に基づいて切り抜き対象領域であるか否かを判定し、その判定結果を髪型判定部３６１に供給する。

髪型判定部３６１は、輝度マップ判定部１７１により輝度値が所定の閾値よりも低い（若しくは閾値以下である）と判定された領域（例えば画素）の位置と、位置合わせされた髪型モデルの位置とを比較し、その領域が髪型モデルにおける髪領域内に位置するか否か（その領域が髪型モデルにおける髪領域に属するか否か）を判定する。そして、その領域が髪型モデルにおける髪領域内に位置する場合、その領域を切り抜き対象と判定する。また、その領域が髪型モデルにおける髪領域内に位置しない場合、その領域を非切り抜き対象と判定する。

髪型判定部３６１は、その判定結果を切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。

このようにすることにより、より安定的に、被写体の髪の部分を画像処理の対象領域とすることができる。

＜再判定処理＞
この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の再判定処理の流れの例を図２３のフローチャートを参照して説明する。

再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ２２１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。

ステップＳ２２２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ２２３に進む。

ステップＳ２２３において、髪型判定部３６１は、処理対象画素が、採用された髪型モデル（例えばユーザ等により選択された髪型モデル）における髪領域に属するか否かを判定する。処理対象画素がその髪領域に属すると判定された場合、処理はステップＳ２２４に進む。

ステップＳ２２４において、髪型判定部３６１は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ２２４の処理が終了すると、処理はステップＳ２２６に進む。

また、ステップＳ２２２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ２２５に進む。また、ステップＳ２２３において、処理対象画素が髪型モデルの髪領域に属していないと判定された場合、処理はステップＳ２２５に進む。

ステップＳ２２５において、髪型判定部３６１は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ２２５の処理が終了すると、処理はステップＳ２２６に進む。

ステップＳ２２６において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２２１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２２１からステップＳ２２６までのフローが実行される。そして、ステップＳ２２６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜５．第５の実施の形態＞
＜テクスチャモデルに基づく再判定＞
例えば、再判定処理に用いる他の情報として髪のテクスチャモデルを用いるようにし、そのテクスチャモデルを表すテクスチャモデルデータに基づいて、そのテクスチャモデルに類似するテクスチャを有する領域を画像処理の対象領域であると判定するようにしてもよい。

例えば、図２４に示されるような髪のテクスチャのモデル（テクスチャモデルとも称する）を予め複数用意し、その中から被写体の実際の頭髪（色や髪質等）に近いテクスチャモデルをユーザ等に選択させ、撮像画像の、その選択されたテクスチャモデルに近いテクスチャの領域を切り抜き対象とするようにする。

図２４に示されるテクスチャモデルデータ３７０は、３種類のテクスチャモデルの画像を含むデータである。テクスチャモデルのデータは、画像データであってもよいし、絵柄や色等を示す（画像化することができる）情報であってもよい。また、テクスチャに関するその他の情報がテクスチャモデルデータ３７０に含まれるようにしてもよい。

このテクスチャモデルデータ３７０は、例えば、記憶部１２３やリムーバブルメディア１３１等に予め記憶されている。制御部１１５は、これらからテクスチャモデルデータ３７０を読み出して取得する。なお、テクスチャモデルデータ３７０は、入力部１２１や通信部１２４を介して外部から供給されるようにしてもよい。

制御部１１５は、このテクスチャモデルデータ３７０に含まれるテクスチャモデルの一覧（文字や画像等）を含むGUIを出力部１２２のモニタに表示し、ユーザにテクスチャを選択させる。制御部１１５は、入力部１２１を制御してそのGUIに対するユーザ入力、すなわち、テクスチャの選択を受け付け、選択されたテクスチャモデルのデータを画像処理部１１３に供給する。画像処理部１１３の判定部１４４は、供給されたテクスチャモデルのデータを用いて再判定処理を行う。

つまり、テクスチャを用いて、その領域がどのような領域（例えば頭髪の部分であるか否か等）の識別が行われる。そのため、このようにテクスチャに基づいて画像処理の対象領域を判定することにより、より正確な判定を行うことができる。

なお、用意される（テクスチャモデルデータ３７０に含まれる）テクスチャモデルは任意であり、図２４の例に限定されない。また用意されるテクスチャモデルの数も任意であり、図２４の例に限定されない。またテクスチャは髪以外のテクスチャ（例えば衣服、肌、壁紙等）であってもよい。さらに、ユーザがテクスチャモデルを加工したり、生成（若しくは新規登録）したりすることができるようにしてもよい。例えば、ユーザが新たなテクスチャをGUI等を使って手書き入力することができるようにしてもよいし、ユーザが他の画像等を入力することによりその画像に含まれるテクスチャをモデルとして登録することができるようにしてもよい。

また、テクスチャモデルに近いテクスチャの領域を非切り抜き対象とするようにしてもよい。例えば、壁紙、家具、自然等のテクスチャモデルを用意し、それらとは異なるテクスチャの領域を被写体である（切り抜き対象である）と判定するようにしてもよい。

なお、このテクスチャモデルを用いる方法と他の方法とを組み合わせるようにしてもよい。例えば、輝度値を用いる方法と、このテクスチャモデルを用いる方法とを組み合わせるようにしてもよい。つまり、輝度が所定の閾値より低く、かつ、テクスチャモデルに近いテクスチャを有する領域を画像処理の対象領域であると判定するようにしてもよい。このようにすることにより、より正確な判定を行うことができる。

＜判定部＞
図２５は、この場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図２５の場合、再判定部１６４が、周辺領域判定部１７２の代わりにテクスチャ判定部３８１を有する。また、領域判定部１６３は、判定結果を再判定部１６４に供給しない。なお、この場合、ユーザ等に選択されたテクスチャモデルデータ等が、例えば制御部１１５等からテクスチャ判定部３８１に供給される。

輝度マップ判定部１７１は、図３の場合と同様に輝度値に基づいて切り抜き対象領域であるか否かを判定し、その判定結果をテクスチャ判定部３８１に供給する。

テクスチャ判定部３８１は、輝度マップ判定部１７１により輝度値が所定の閾値よりも低い（若しくは閾値以下である）と判定された領域（例えば画素）が属する所定の領域のテクスチャが、テクスチャモデルデータのテクスチャに類似するか否か（例えば、それらの違いが所定の閾値以下であるか否か）を判定する。そして、テクスチャ判定部３８１は、テクスチャが類似する場合、その領域を切り抜き対象と判定する。また、テクスチャ判定部３８１は、テクスチャが類似しない場合、その領域を非切り抜き対象と判定する。

テクスチャ判定部３８１は、その判定結果を切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。

このようにすることにより、より正確に画像処理の対象領域を判定することができる。

＜再判定処理＞
この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の再判定処理の流れの例を図２６のフローチャートを参照して説明する。

再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ２４１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。

ステップＳ２４２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ２４３に進む。

ステップＳ２４３において、テクスチャ判定部３８１は、処理対象画素が属する領域のテクスチャが、採用されたテクスチャモデル（例えばユーザ等により選択されたテクスチャモデル）のテクスチャに類似するか否かを判定する。それらのテクスチャが類似すると判定された場合、処理はステップＳ２４４に進む。

ステップＳ２４４において、テクスチャ判定部３８１は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ２４４の処理が終了すると、処理はステップＳ２４６に進む。

また、ステップＳ２４２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ２４５に進む。また、ステップＳ２４３において、テクスチャが類似していないと判定された場合、処理はステップＳ２４５に進む。

ステップＳ２４５において、テクスチャ判定部３８１は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ２４５の処理が終了すると、処理はステップＳ２４６に進む。

ステップＳ２４６において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２４１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２４１からステップＳ２４６までのフローが実行される。そして、ステップＳ２４６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜６．第６の実施の形態＞
＜形状認識に基づく再判定＞
例えば、撮像画像において被写体の形状を認識し、その形状認識結果を再判定処理において他の情報として用いるようにしてもよい。例えば、その形状認識結果から画像処理の対象であると推定可能な領域を画像処理の対象領域であると判定するようにしてもよい。

例えば、奥行き情報に基づいて切り抜き対象と判定された領域から、その領域に属する被写体の形状を認識し、その被写体の形状に基づいてさらにその周辺の領域を再判定するようにする。この再判定において、既に切り抜き対象と判定された領域の周辺の、認識された被写体の形状から被写体の一部であると推定可能な領域を、切り抜き対象に追加するようにする。つまり、切り抜き対象領域に基づいて被写体の形状を認識し、その被写体の形状に基づいて、被写体の一部であるものの、切り抜き対象とされなかった領域を推定する。

例えば、図２７Ａに示されるように、被写体３９１のすぐ後方にソファ３９２が設置されているような構図の撮像画像において、被写体３９１の服の色とソファ３９２の色が類似する場合（例えばどちらも黒色である場合）、被写体３９１の服とソファ３９２との境界を検出することが困難になり、被写体３９１だけでなくソファ３９２も切り抜き対象と判定されてしまう可能性がある。

そこで、例えば奥行き情報に基づいて切り抜き対象領域とされた被写体３９１の顔、手、足等の部分から被写体の形状を認識し、その認識結果に基づいて、被写体３９１の胴体部分（つまり服の部分）も被写体３９１の一部であると推定するようにする。このような推定結果に基づいて切り抜き対象領域を判定することにより、図２７Ｂのように、被写体３９１の服の部分を切り抜き対象領域と判定し、ソファ３９２の部分を非切り抜き対象領域と判定することができる。

つまり、より正確に被写体の部分を画像処理の対象と判定することができる。

なお、被写体形状の認識方法は任意である。また、この被写体形状認識を用いる方法と他の方法とを組み合わせるようにしてもよい。例えば、輝度値を用いる方法と、この被写体形状認識を用いる方法とを組み合わせるようにしてもよい。つまり、輝度が所定の閾値より低く、かつ、被写体の形状に基づいて画像処理の対象領域であると推定可能な領域を画像処理の対象領域であると判定するようにしてもよい。このようにすることにより、より正確な判定を行うことができる。

＜判定部＞
図２８は、この場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図２８の場合、再判定部１６４が、周辺領域判定部１７２の代わりに形状認識部４０１を有する。また、領域判定部１６３は、判定結果を形状認識部４０１に供給する。

輝度マップ判定部１７１は、図３の場合と同様に輝度値に基づいて切り抜き対象領域であるか否かを判定し、その判定結果を形状認識部４０１に供給する。

形状認識部４０１は、領域判定部１６３の判定結果に基づいて、切り抜き対象領域に属する被写体の形状を認識する。また、形状認識部４０１は、その認識した被写体の形状に基づいて切り抜き対象として推定可能である領域を切り抜き対象と判定し、推定不可能な領域を非切り抜き対象と判定する。

形状認識部４０１は、その判定結果を切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。

このようにすることにより、より正確に画像処理の対象領域を判定することができる。

＜再判定処理＞
この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の再判定処理の流れの例を図２９のフローチャートを参照して説明する。

再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ２６１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。

ステップＳ２６２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ２６３に進む。

ステップＳ２６３において、形状認識部４０１は、ステップＳ１４４の処理により切り抜き対象と判定された領域（切り抜き対象領域）の画像に基づいて、その切り抜き対象領域に含まれる被写体の全体の形状を認識する。

ステップＳ２６４において、形状認識部４０１は、ステップＳ２６３において認識した被写体の形状に基づいて、処理対象画素を切り抜き対象と推定可能であるか否かを判定する。処理対象画素がステップＳ２６３において被写体として認識された領域内に位置しており、処理対象画素を切り抜き対象と推定可能であると判定された場合、処理はステップＳ２６５に進む。

ステップＳ２６５において、形状認識部４０１は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ２６５の処理が終了すると、処理はステップＳ２６７に進む。

また、ステップＳ２６２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ２６６に進む。また、ステップＳ２６４において、処理対象画素がステップＳ２６３において被写体として認識された領域内に位置しておらず、処理対象画素を切り抜き対象と推定不可能であると判定された場合、処理はステップＳ２６６に進む。

ステップＳ２６６において、形状認識部４０１は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ２６６の処理が終了すると、処理はステップＳ２６７に進む。

ステップＳ２６７において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２６１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２６１からステップＳ２６７までのフローが実行される。そして、ステップＳ２６７において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。

以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。

＜７．第７の実施の形態＞
＜測距方式＞
以上においては、測距の方法としてTOF方式を例に説明したが、測距の方法は任意である。例えば、赤外線等による所定の投射パタンを被写体に投射し、その変形を分析することにより奥行き検出を行うストラクチャードライト方式を用いるようにしてもよい。

また、撮像画像の視差を利用して奥行き検出を行うステレオマッチング方式を測距の方法として用いるようにしてもよい。また、互いに異なる角度から撮像された複数の撮像画像を用いて特徴点の位置合わせ等、画像間の関係を計算し、最適化を行うことで、奥行き検出を行うSfM方式を測距の方法として用いるようにしてもよい。

ステレオマッチング方式やSfM方式の場合、センサ部１１２が複数のイメージセンサを有するようにしてもよい。その場合、測距部１４２は、複数のイメージセンサにおいて得られた撮像画像（すなわち複数の撮像画像）を用いて測距を行い、奥行き情報や信頼性情報を生成する。

なお、複数の撮像画像を用いて測距を行う場合（特にステレオマッチング方式の場合）、赤外線を利用しないので、TOF等のように赤外線の反射仕方による奥行き情報の信頼性の低減は生じにくい。したがってこの場合、奥行き情報の信頼性は、赤外線を利用する測距方式の場合に比べて材質等による影響は受け難い。しかしながら、オクルージョンが発生しやすいので、オクルージョンが発生するような部分において奥行き情報の信頼性が低減しやすい。このように、測距方式の特徴に応じて、奥行き情報やその信頼性情報の分布が変化する可能性がある。

しかしながら、本技術の切り抜き対象領域の検出においては、奥行き情報の、信頼性が高い部分のみを採用し、信頼性が低い部分はその他の情報を採用するため、測距方式に関わらず、より正確に画像の所望の部分を切り抜くことができる（測距方式による奥行き情報やその信頼性情報の分布の変化の影響を受け難い）。

ただし、再判定処理の方法は、測距方式の特徴に応じた（より適した）方法を採用するようにしてもよい。例えば、一般的にオクルージョンは、切り抜き対象となる被写体の境界部分（被写体部分と背景部分との境界近傍）において発生し易く、暗部でない部分においても発生し易い。つまり、この場合奥行き情報の信頼性は、輝度に関わらず低減する可能性がある。したがって、ステレオマッチング方式等のように複数の撮像画像を用いて測距を行う場合、再判定処理を、輝度情報に基づいて行わずに、図１７乃至図２０を参照して説明した例のように色情報に基づいて行うようにしてもよい。

また、複数種類の測距方式を組み合わせて用いるようにしてももちろん良い。その場合、測距部１４２が各測距方法の特徴を考慮して互いの弱点を補い合うように処理を行い、最適な（より正確な）奥行き情報および信頼性情報を生成するようにしてもよい。

＜画像処理＞
本技術を適用した画像処理は任意の画像に対して実行することができる。例えばコンピュータグラフィック画像のように人工的に生成された画像のような、撮像画像以外の画像を、本技術を適用した画像処理の対象とすることができる。

また、切り抜きの対象とする画像は任意であり、例えば物品等、人物以外の画像を切り抜きの対象としてもよい。また、切り抜きの対象とする画像は、撮像画像内に１つであってもよいし、複数であってもよい。

また、本技術を適用した画像処理の対象となる画像は、静止画像であってもよいし動画像であってもよい。動画像を対象とする場合、その動画像の各フレーム画像に対して本技術を適用した画像処理を行うようにすればよい。本技術を適用した画像処理は、マップの生成や判定処理等の簡易な処理により実現することができ、複雑な演算等のように負荷や処理時間の大きな処理を必要としない。したがって、本技術を適用した画像処理は、処理対象が動画像の場合であっても、破綻する（動画像のフレーム速度に対して画像処理が遅延して、最終的に処理が不可能となる）こと無く即時的に（リアルタイムに）各フレームを処理することができる。

また、その場合、再判定部１６４による再判定処理が、処理対象のフレーム画像以外のフレーム画像（例えば、処理対象のフレームよりも過去のフレームの画像）に関する情報（例えば輝度や色等）に基づいて行われるようにしてもよい。

また、第１の実施の形態乃至第６の実施の形態において、再判定に用いられる他の情報の例を説明したが、この他の情報は、奥行き情報以外の情報であればどのような情報であってもよい。第１の実施の形態乃至第６の実施の形態において説明した例以外の情報であってももちろんよい。

また、再判定の方法（およびその再判定に用いられる他の情報）は、複数の方法（および複数の情報）を組み合わせるようにしてもよい。その組み合わせ方は任意である。

例えば、第４の実施の形態において説明した髪型モデルに基づいて再判定を行う方法を、輝度マップに基づいて再判定を行う方法の代わりに、色マップに基づいて再判定を行う方法と組み合わせて用いるようにしてもよい。同様に、第５の実施の形態において説明したテクスチャモデルに基づいて再判定を行う方法を、色マップに基づいて再判定を行う方法と組み合わせて用いるようにしてもよい。同様に、第６の実施の形態において説明した形状認識に基づいて再判定を行う方法を、色マップに基づいて再判定を行う方法と組み合わせて用いるようにしてもよい。

また、第１の実施の形態乃至第６の実施の形態において説明した各方法を３つ以上組み合わせて用いるようにしてもよい。さらに、第１の実施の形態乃至第６の実施の形態において説明した方法を、それら以外の方法と組み合わせて用いるようにしてもよい。

さらに、再判定部１６４が複数の方法の中から任意の方法を選択することができるようにしてもよい。例えば、処理対象の領域によって、再判定の方法を変えることができるようにしてもよい。上述した各方法は、互いに異なる特徴を有する。つまり、画像によって向き不向きがある場合がある。例えば、被写体の部分とそれ以外の部分とで輝度が大きく異なるような領域であれば、輝度マップに基づく方法が適している（より正確に切り抜き対象領域を判定することができる）可能性が高い。また、被写体の部分とそれ以外の部分とで色が大きく異なるような領域であれば、色マップに基づく方法が適している（より正確に切り抜き対象領域を判定することができる）可能性が高い。したがって、再判定部１６４が、処理対象の領域の画像の特徴に応じて、より適切な（より正確に切り抜き対象領域を判定することができる）方法を選択することができるようにすることにより、より正確に切り抜き対象領域を判定することができる。

なお、以上においては、画像処理として、画像から所定の被写体の部分の画像を切り抜く処理（並びに、その切り抜いた画像を他の画像と合成する処理）を説明したが、本技術を適用した画像処理は、信頼性の高い奥行き情報に基づいて対象領域として判定された領域に対して行われる処理であればどのような処理であってもよく、この例に限定されない。例えば、処理対象領域内の画像（被写体）を追尾対象や監視対象等として検出する処理であってもよいし、その被写体が何であるか（例えば人であるか動物であるか物体であるか等）を解析する処理であってもよい。

この画像処理がどのような処理であっても、本技術を適用することにより、画像内の画像処理対象の領域特定をより正確に行うことができるので、その画像処理をより適切な範囲に行うことができる。例えば、上述した追尾対象や監視対象の特定を行う場合、より正確に追尾対象を検出することができる。また、上述した被写体解析を行う場合、その被写体が何であるかをより正確に解析することができる。

以上においては、本技術を撮像装置１００に適用する場合について説明したが、これに限らず、本技術は、任意の装置に適用することができる。つまり、本技術を適用した画像処理は、任意の装置において実行するようにすることができる。

例えば、本技術を適用した画像処理が、撮像装置１００のような撮像機能を有さない装置において実行されるようにしてもよい。また、例えば、本技術を適用した画像処理が、撮像装置１００が有する機能以外の機能を有する装置において実行されるようにしてもよい。例えば、本技術を適用した画像処理が、画像処理を行う画像処理装置、AV機器や生活家電等の電子機器、サーバやパーソナルコンピュータ等の情報処理装置、タブレット端末やスマートフォン等の携帯型情報処理端末、携帯電話機やLANデバイスや無線通信機器等の通信装置等により実行されるようにしてもよい。もちろん、これら以外の装置において実行されるようにしてもよい。

＜システム＞
また、本技術を適用した画像処理が、複数の装置において行われるようにしてもよい。例えば、本技術を適用した画像処理の一部の処理を第１の装置で行い、本技術を適用した画像処理のその他の処理を第２の装置で行うようにしてもよい。すなわち、本技術は、装置だけでなく、複数の装置からなるシステムにも適用することができる。

図３０は、本技術を適用した画像処理システムの主な構成例を示すブロック図である。図３０に示される画像処理システム５００は、画像を処理するシステムであり、サーバ５０１、端末装置５０３−１、および端末装置５０３−２を有する。これらの装置は、有線通信若しくは無線通信、またはその両方によりネットワーク５０２に接続されている。

ネットワーク５０２は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク５０２が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０２に含まれるようにしてもよい。

サーバ５０１、端末装置５０３−１、および端末装置５０３−２は、このネットワーク５０２を介して互いに通信可能に接続されており、画像データを互いに授受する。サーバ５０１は、端末装置５０３−１や端末装置５０３−２に対して画像処理に関するサービスを提供する。端末装置５０３−１や端末装置５０３−２は、クライアントとして動作し、サーバ５０１から画像処理に関するサービスを受ける。端末装置５０３−１と端末装置５０３−２を互いに区別して説明する必要が無い場合、端末装置５０３と称する。図３０においては、画像処理システム５００が２つの端末装置５０３を有するように示されているが、画像処理システム５００が有する端末装置５０３の数は任意である。

このような画像処理システム５００において、例えば、端末装置５０３として撮像装置１００を適用し、上述したように画像処理されて生成された合成画像を端末装置５０３からサーバ５０１に送信するようにしてもよい。また、上述した画像処理の一部を端末装置５０３において行い、残りの処理をサーバ５０１において行うようにしてもよい。

例えば、端末装置５０３において、デジタル信号処理部１４１乃至領域分割部１４３の処理を行い、処理対象の画像（撮像画像）、奥行き情報マップ、信頼性マップ、輝度マップ等をサーバ５０１に伝送し、サーバ５０１において、判定部１４４および画像加工部１４５の処理を行うようにしてもよい。また、例えば、デジタル信号処理部１４１乃至判定部１４４の処理を端末装置５０３において行い、画像加工部１４５の処理をサーバ５０１において行うようにしてもよい。もちろん、いずれの処理を端末装置５０３で行うかサーバ５０１で行うかは任意であり、上述した例に限定されない。

また、判定部１４４の処理を複数の装置で行うようにしてもよい。例えば、信頼性判定部１６１乃至領域判定部１６３の処理を端末装置５０３において行い、再判定部１６４や切り抜き対象マップ生成部１６５の処理をサーバ５０１において行うようにしてもよい。もちろん、いずれの処理を端末装置５０３で行うかサーバ５０１で行うかは任意であり、上述した例に限定されない。

また、端末装置５０３が処理対象の画像（撮像画像）をサーバ５０１に転送し、これらの全ての画像処理（デジタル信号処理部１４１乃至画像加工部１４５の処理全て）をサーバ５０１において行うようにしてもよい。

なお、端末装置５０３が、サーバ５０１を介さずに、他の端末装置５０３に画像等を転送するようにしてもよい。その転送先となる他の端末装置５０３は、１つであってもよいし、複数であってもよい。そして、上述したサーバ５０１の場合と同様に、上述した画像処理の一部を転送元の端末装置５０３（例えば端末装置５０３−１）において行い、残りの処理を転送先の他の端末装置５０３（例えば端末装置５０３−２）において行うようにしてもよい。いずれの処理をどの端末装置５０３で行うかは、サーバ５０１の場合と同様任意である。

＜ユースケース＞
本技術の画像処理は、任意の処理に適用することができる。

例えば、生放送サイトへの中継時に、人物以外の背景部分に別の動画像を表示させる画像処理に本技術を適用することができる。例えば、自分の部屋から中継しているが、背景に南の島の映像を流すことで、南の島から中継しているように演出する画像処理に本技術を適用することができる。

生放送サイトのサービスを図３０の画像処理システム５００を例に説明すると、例えば、サーバ５０１が端末装置５０３から供給される動画像を配信する生放送サイトを提供し、端末装置５０３−１が被写体（人物）を撮像してその動画像をサーバ５０１に転送（アップロード）し、端末装置５０３−２がサーバ５０１により配信される動画像を取得して再生（表示）する。

このようなシステムにおいて、例えば、端末装置５０３−１は、人物を撮像した撮像画像の各フレームからその人物の画像を切り抜き、背景として南の島の映像を合成した動画像をサーバ５０１にアップロードする。サーバ５０１は、アップロードされた動画像を配信する。端末装置５０３−２は、その動画像を受信して表示する。つまり、端末装置５０３−２では、人物の切り抜き画像に南の島の映像が背景として合成された動画像が表示される。このような画像処理により、南の島から中継しているように演出することができる。もちろん、この背景として任意の画像を合成することができるので、所望の演出を行うことができる。

その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出し、背景の画像と合成することができるようになる。したがって、合成結果がより自然な映像を配信させることができる。つまり、現実感のより強い映像を配信することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このような生放送サイトへの中継においても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３−１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。

また、例えば、生放送サイトへの中継時に、人物以外の背景部分をぼかす画像処理に本技術を適用することができる。例えば、自分の部屋から中継しているが、背景部分をぼかす（輪郭や色の濃淡の境目をぼんやりさせる）ことでより人物だけを印象的に際立たせる画像処理に本技術を適用することができる。

例えば、端末装置５０３−１は、撮像画像の各フレームから人物の画像を切り抜き、背景部分の画像のみをぼかし、切り抜いた人物の画像とぼかした背景部分の画像とを合成した動画像をサーバ５０１にアップロードする。サーバ５０１は、アップロードされた動画像を配信する。端末装置５０３−２は、その動画像を受信して表示する。つまり、端末装置５０３−２では、背景部分のみをぼかした動画像が表示される。このような画像処理により、人物だけを印象的に際立たせることができる。

その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出すことができるようになる。つまり、ぼかす領域をより正確にする（より正確に人物以外の部分をぼかす）ことができる。したがって、より正確に人物だけを印象的に際立たせる映像を配信させることができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このような生放送サイトへの中継においても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３−１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。

また、例えば、生放送サイトでの２人以上のコラボ放送、もしくは少人数でのリアルタイム動画コミュニケーションサービスにおいて、各ユーザの撮像画像から人物だけを切り抜いたものを同じ画面上に合成する画像処理に本技術を適用することができる。例えば、遠隔地にいる３ユーザをそれぞれ人物だけ切り抜いたものを、会議室の画像上に合成すれば、あたかも同じ会議室で話しているように演出することができる。

リアルタイム動画コミュニケーションサービスは、例えば、所謂チャットサービスやテレビジョン会議システム等のネットワーク５０２を介した通信によるコミュニケーションサービスにおいて提供されるサービスである。リアルタイム動画コミュニケーションサービスを図３０の画像処理システム５００を例に説明すると、例えば、サーバ５０１が端末装置５０３−１および端末装置５０３−２に対してチャットサービスやリアルタイム動画コミュニケーションサービス等のコミュニケーションサービスを提供する。端末装置５０３−１および端末装置５０３−２は、ユーザを撮像した撮像画像をサーバ５０１にアップロードすると、サーバ５０１がそれらの画像を合成し、その合成画像を端末装置５０３−１および端末装置５０３−２に供給し、端末装置５０３−１および端末装置５０３−２は、それぞれ、その合成画像を取得して表示する。

このようなシステムにおいて、例えば、サーバ５０１は、端末装置５０３−１および端末装置５０３−２から供給された各画像の各フレームからそのユーザの画像を切り抜き、それらを背景の映像に合成する。サーバ５０１は、このようにして生成した合成画像の動画像を、端末装置５０３−１および端末装置５０３−２に供給する。端末装置５０３−１および端末装置５０３−２においては、その合成画像が表示される。したがって、端末装置５０３−１および端末装置５０３−２のユーザは、互いが同一の場所で出会っているかのように、コミュニケーションを図ることができる。

その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出し、背景の画像と合成することができるようになる。したがって、合成結果がより自然な映像を配信させることができる。つまり、現実感のより強い映像を配信することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このようなリアルタイム動画コミュニケーションサービスにおいても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、サーバ５０１において行われるようにしてもよいし、サーバ５０１と端末装置５０３との両方において行われるようにしてもよい。例えば、ユーザの画像の切り抜きは、各端末装置５０３において行われるようにし、サーバ５０１においては、切り抜かれたユーザの画像と背景画像との合成が行われるようにしてもよい。

また、例えば、カラオケルームでユーザの歌う姿の撮像画像をサーバにアップロードして配信する動画像配信サービスにおいて、その撮像画像からユーザの部分だけを切り抜いたものを所定の背景画像に合成する画像処理に本技術を適用することができる。例えば、ユーザの部分だけを切り抜いたものを、その曲のアーティストのライブ映像に合成すれば、あたかも、ボーカルのすぐ横でユーザがそのバンドの一員として歌っているような演出を行うことができる。

このような動画像配信サービスを図３０の画像処理システム５００を例に説明すると、例えば、カラオケルームに設置された端末装置５０３−１が、歌唱中のユーザを撮像した撮像画像（動画像）をサーバ５０１にアップロードする。サーバ５０１は、その動画像の配信若しくはダウンロードサービスを提供する。例えば、端末装置５０３−２は、サーバ５０１からその動画像（歌唱中のユーザの動画像）を取得し、表示する。

このようなシステムにおいて、例えば、端末装置５０３−１は、歌唱中のユーザを撮像した撮像画像（動画像）の各フレームからそのユーザの部分を切り抜き、アーティストのライブ映像に合成する。そして端末装置５０３−１は、その合成画像（動画像）をサーバ５０１にアップロードする。サーバ５０１は、その合成画像の配信若しくはダウンロードサービスを提供する。例えば、端末装置５０３−２は、サーバ５０１からその動画像（歌唱中のユーザの動画像がアーティストのライブ映像に合成された合成画像）を取得し、表示する。したがって、端末装置５０３−２のユーザは、カラオケルームで歌っているユーザがあたかもボーカルのすぐ横でユーザがそのバンドの一員として歌っているように演出された画像を視聴することができる。

その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出し、背景の画像と合成することができるようになる。したがって、合成結果がより自然な映像を配信させることができる。つまり、現実感のより強い映像を配信することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このような動画像配信サービスにおいても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３−１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。

また、例えば、テレビゲームやコンピュータゲーム等を実現するゲームシステム（若しくはゲーム機器）において、ユーザの撮像画像からユーザの部分だけを切り抜いたものを所定の背景画像に合成する画像処理に本技術を適用することができる。例えば、ユーザの部分だけを切り抜いたものを、ゲームの画像に合成すれば、あたかも、ユーザがゲームの世界に入り込んだような演出を行うことができ、ユーザの埋没感を向上させることができる。なお、このゲームの画像は、コンピュータグラフィック画像のような人工的に生成された画像であってもよいし、実写画像であってもよい。

このようなゲームシステムにおいては、ユーザの撮像やユーザの操作の受け付け、受け付けられたユーザの操作に対応するゲームに関する処理、撮像画像からユーザの部分の切り出しやゲームに関する処理に応じたゲームの画像の生成やゲームに関する処理に応じたユーザの画像とゲームの画像との合成等の画像処理、並びに、合成画像の表示等の各処理が行われる。

このようなゲームシステムを図３０の画像処理システム５００を例に説明すると、例えば端末装置５０３−１をコンピュータやゲーム機器等として、端末装置５０３−１単体で上述したゲームシステムを実現するようにしてもよい。その場合、端末装置５０３−１が上述した全ての処理を実行する。

その際、端末装置５０３−１は、撮像画像からユーザの部分の切り出しにおいて、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、例えばユーザの画像をより正確に切り出し、ゲームの画像と合成することができるようになる。したがって、合成結果がより自然な映像をゲームの画像として表示することができる。つまり、現実感のより強い映像を表示することができる。これにより、ユーザの埋没感をさらに向上させることができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このようなゲームシステムにおいても破綻すること無く実行することができる。

また、例えば、サーバ５０１が端末装置５０３−１に対してゲームを提供し、端末装置５０３−１のユーザが端末装置５０３−１を操作して、そのゲームをプレイするようなゲームシステムを実現するようにしてもよい。この場合も、撮像画像からユーザの部分の切り出しにおいて本技術を適用した画像処理を行うようにすることにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、現実感のより強い映像を表示することができ、ユーザの埋没感をさらに向上させることができる。もちろん、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、この場合も破綻すること無く実行することができる。なお、この場合の画像処理は、端末装置５０３−１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。

さらに、例えば、端末装置５０３−１および端末装置５０３−２がサーバ５０１を介さずに互いに通信を行うことにより、端末装置５０３−１および端末装置５０３−２のユーザが同一のゲームをプレイするようにしてもよい。この場合も、撮像画像からユーザの部分の切り出しにおいて本技術を適用した画像処理を行うようにすることにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、現実感のより強い映像を表示することができ、ユーザの埋没感をさらに向上させることができる。なお、この場合、複数のユーザの画像をゲームの同一の画像に合成するようにしてもよいし、互いに異なる画像に合成するようにしてもよい。もちろん、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、この場合も破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３−１において行われるようにしてもよいし、端末装置５０３−２において行われるようにしてもよいし、その両方において行われるようにしてもよい。

また、例えば、端末装置５０３−１および端末装置５０３−２がサーバ５０１を介して互いに通信を行うことにより、端末装置５０３−１および端末装置５０３−２のユーザが同一のゲームをプレイするようにしてもよい。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３−１において行われるようにしてもよいし、端末装置５０３−２において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、それらの内の複数の装置において行われるようにしてもよいし、それらの全てにおいて行われるようにしてもよい。

また、ダンス動画を見ながら練習する際、ダンス動画のお手本ダンサーのすぐ横に自分を配置合成することで、自分とお手本ダンサーを比較しながら踊ることができるようにしてもよい。

図３０の画像処理システム５００を例に説明すると、例えば端末装置５０３−１がお手本となるダンスの動画像を表示する。この動画像のデータは、端末装置５０３−１（若しくは端末装置５０３−１にセットされたリムーバブルメディア）に記憶されているようにしてもよいし、サーバ５０１や端末装置５０３−２等の他の装置から伝送されるようにしてもよい。端末装置５０３−１のユーザは、そのお手本の動画像のダンサーの踊りを真似して踊る。端末装置５０３−１は、その踊るユーザを撮像する。

このようなユーザの撮像画像に対して、その撮像画像からそのユーザの部分が切り抜かれたり、その切り抜かれたユーザの画像とお手本の動画像とが、例えばユーザがお手本のダンサーの横に位置するように合成されたりする等の画像処理が行われる。

端末装置５０３−１は、このように画像処理されたユーザの画像とお手本の画像との合成画像を表示する。

このような画像処理において、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、例えばユーザの画像をより正確に切り出し、お手本の画像と合成することができるようになる。したがって、合成結果がより自然な映像を表示することができる。つまり、現実感のより強い映像を表示することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このようなゲームシステムにおいても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、それらの両方において行われるようにしてもよい。

また、オークションサイトへ自分の持ち物を売る際、そのアイテムの写真を撮るときにアイテムだけを切り抜いて効果的に見せるようにしてもよい。例えば、ワンピースを撮る場合、背景を気にせずに撮像し、後からおしゃれな壁紙やクローゼット写真と合成して、より魅力的な宣材写真を作ることができる。

図３０の画像処理システム５００を例に説明すると、例えばサーバ５０１がオークションサイトを実現する。オークションサイトは、端末装置５０３のユーザが提供する物品等を、競売（オークション）にかけるサービスを提供する。その際、端末装置５０３は、その物品の画像（宣材写真）等、物品に関する情報をサーバ５０１に提供する。その物品のオークションに参加する他の端末装置５０３のユーザは、オークションサイトにおいてその競売にかけられた物品に関する情報（宣材写真等）を参照し、入札金額を決定して入札する。サーバ５０１は、入札したいずれかのユーザ（例えば最も高額で入札したユーザ）にその物品の購入権を与える。

自身の物品を競売にかける端末装置５０３のユーザは、一般的に、より高額に入札されるように、その物品が良質（高価なもの）に感じられるように演出することを望む。例えば、物品が良質なものに見えるように演出された宣材写真が望まれる。そこで、その宣材写真の登録の際に、際に競売対象の物品の撮像画像からその物品の部分を切り出し、所望の画像に合成する画像処理が行われるようにしてもよい。このようにすることにより、宣材写真の背景画像を実際の画像から、その物品がより良質に見えるような画像に変更することができる。

このような画像処理において、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、例えば物品の画像をより正確に切り出し、所望の画像と合成することができるようになる。したがって、合成結果がより自然な画像を生成することができる。つまり、宣材写真において、物品がより良質（高価なもの）に感じられるように演出することができる。なお、この例に示されるように、切り抜き対象とする画像は任意であり、例えば物品等のように、人物の画像に限定されない。

この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、それらの両方において行われるようにしてもよい。

もちろん、本技術を適用することができる画像処理は、上述した例に限定されない。

＜ソフトウェア＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行する場合、例えば撮像装置１００、サーバ５０１、または端末装置５０３が、そのソフトウェアを実行することができるコンピュータとしての構成を有するようにすればよい。このコンピュータには、例えば、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、任意の機能を実行することが可能な汎用のコンピュータ等が含まれる。

例えば、サーバ５０１および端末装置５０３が、図３１に示されるような構成を有するようにすればよい。図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

図３１に示されるサーバ５０１（若しくは端末装置５０３）において、CPU（Central Processing Unit）６０１、ROM（Read Only Memory）６０２、RAM（Random Access Memory）６０３は、バス６０４を介して相互に接続されている。

バス６０４にはまた、入出力インタフェース６１０も接続されている。入出力インタフェース６１０には、入力部６１１、出力部６１２、記憶部６１３、通信部６１４、およびドライブ６１５が接続されている。

入力部６１１は、例えば、キーボード、マウス、タッチパネル、イメージセンサ、マイクロホン、スイッチ、入力端子等の任意の入力デバイスを有する。出力部６１２は、例えば、ディスプレイ、スピーカ、出力端子等の任意の出力デバイスを有する。記憶部６１３は、例えば、ハードディスク、RAMディスク、SSD（Solid State Drive）やUSB（Universal Serial Bus）メモリ等のような不揮発性のメモリ等、任意の記憶媒体を有する。通信部６１４は、例えば、イーサネット（登録商標）、Bluetooth（登録商標）、USB、HDMI（登録商標）（High-Definition Multimedia Interface）、IrDA等の、有線若しくは無線、または両方の、任意の通信規格の通信インタフェースを有する。ドライブ６１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体を有するリムーバブルメディア６２１を駆動する。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６１３に記憶されているプログラムを、入出力インタフェース６１０およびバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体に記録されて提供される。

例えば図１の撮像装置１００の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１３１により構成される。その場合、例えば、リムーバブルメディア１３１をドライブ１２５に装着することにより、そのリムーバブルメディア１３１に記憶されているこのプログラムを読み出させ、記憶部１２３にインストールさせることができる。

また例えば図３１のサーバ５０１や端末装置５０３の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６２１により構成される。その場合、例えば、リムーバブルメディア６２１をドライブ６１５に装着することにより、そのリムーバブルメディア６２１に記憶されているこのプログラムを読み出させ、記憶部６１３にインストールさせることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１の撮像装置１００の場合、プログラムは、通信部１２４で受信し、記憶部１２３にインストールすることができる。また例えば図３１のサーバ５０１や端末装置５０３の場合、プログラムは、通信部６１４で受信し、記憶部６１３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図１の撮像装置１００の場合、プログラムは、記憶部１２３や、画像処理部１１３や制御部１１５に内蔵されるROM等に予めインストールしておくこともできる。また、例えば図３１のサーバ５０１や端末装置５０３の場合、プログラムは、記憶部６１３やROM６０２等に予めインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

＜その他＞
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜使用例＞
図３２に示される例のように、本技術は、様々な分野の装置やシステムに使用することができる。

・ディジタルカメラやそのディジタルカメラを用いたシステム、カメラ機能付きの携帯機器やその携帯機器を用いたシステム等の、鑑賞の用に供される画像を撮像する装置やシステム
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用電子機器やその電子機器を用いたシステム、走行車両や道路を監視する監視カメラやその監視カメラを用いた監視システム、車両間等の測距を行う測距装置やその測距装置を用いたシステム等の、交通の用に供される装置やシステム
・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置やシステム
・内視鏡やその内視鏡を用いたシステム、赤外光の受光による血管の撮像を行う装置やその装置を用いたシステム等の、医療やヘルスケアの用に供される装置やシステム
・防犯用途の監視カメラやその監視カメラを用いたシステム、人物認証用途のカメラやそのカメラを用いたシステム等の、セキュリティの用に供される装置やシステム
・肌を撮像する肌測定器やその肌測定器を用いたシステム、頭皮を撮像するマイクロスコープやそのマイクロスコープを用いたシステム等の、美容の用に供される装置やシステム
・スポーツ用途等向けのアクションカメラやそのアクションカメラを用いたシステム、ウェアラブルカメラやそのウェアラブルカメラを用いたシステム等の、スポーツの用に供される装置やシステム
・畑や作物の状態を監視するためのカメラやそのカメラを用いたシステム等の、農業の用に供される装置やシステム

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した判定部１４４を搭載する装置やシステム、または、それらの製造装置や製造方法に限らず、上述した判定部１４４を搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等、または、それらの構成を製造する製造装置や製造方法として実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する判定部
を備える画像処理装置。
（２） 前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高い領域について、前記奥行き情報に基づいて前記画像処理の対象領域であるか否かを判定する
（１）に記載の画像処理装置。
（３） 前記判定部は、前記奥行きが所定の閾値より近い領域を前記画像処理の対象領域であると判定する
（２）に記載の画像処理装置。
（４） 前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高くない領域について、前記奥行き情報と異なる他の情報に基づいて前記画像処理の対象領域であるか否かを判定する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記判定部は、前記他の情報として前記画像の輝度を示す輝度情報に基づいて前記画像処理の対象領域であるか否かを判定する
（４）に記載の画像処理装置。
（６） 前記判定部は、前記輝度が所定の閾値より低い領域を前記画像処理の対象領域であると判定する
（５）に記載の画像処理装置。
（７） 前記判定部は、前記輝度が所定の閾値より低く、かつ、他の前記画像処理の対象領域に接する領域を前記画像処理の対象領域であると判定する
（６）に記載の画像処理装置。
（８） 前記判定部は、前記他の情報として前記画像の色を示す色情報に基づいて前記画像処理の対象領域であるか否かを判定する
（４）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記判定部は、周辺の前記画像処理の対象領域との前記色の違いが所定の閾値より小さい領域を前記画像処理の対象領域であると判定する
（８）に記載の画像処理装置。
（１０） 前記判定部は、前記他の情報として髪型モデルを表す髪型モデルデータに基づいて、前記髪型モデルにおける髪領域に属する領域を前記画像処理の対象領域であると判定する
（４）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記判定部は、前記他の情報としてテクスチャモデルを表すテクスチャモデルデータに基づいて、テクスチャが前記テクスチャモデルに類似する領域を前記画像処理の対象領域であると判定する
（４）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記判定部は、前記切り抜き対象領域に属する被写体の形状を認識し、前記他の情報として認識された前記被写体の形状に基づいて、前記画像処理の対象と推定可能な領域を前記画像処理の対象領域であると判定する
（４）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記判定部は、単数若しくは複数の画素毎に、前記画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記判定部は、前記画像処理の対象領域であるか否かの判定結果の分布を示す画像処理対象マップを生成する
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記閾値を設定する設定部をさらに備える
（２）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 被写体を撮像し、前記画像を生成する撮像部をさらに備える
（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記奥行き情報および前記信頼性情報を生成する生成部をさらに備える
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記判定部の判定結果に基づいて、前記画像処理として、前記画像から前記画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部をさらに備える
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記加工部により生成された前記合成画像を他の装置に送信する送信部をさらに備える
（１８）に記載の画像処理装置。
（２０） 画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
画像処理方法。

１００ 撮像装置， １１０ バス， １１１ 光学部， １１２ センサ部， １１３ 画像処理部， １１４ 符号化復号部， １１５ 制御部， １２１ 入力部， １２２ 出力部， １２３ 記憶部， １２４ 通信部， １２５ ドライブ， １３１ リムーバブルメディア， １４１ デジタル信号処理部， １４２ 測距部， １４３ 領域分割部， １４４ 判定部， １４５ 画像加工部， １６１ 信頼性判定部， １６２ 奥行き判定部， １６３ 領域判定部， １６４ 再判定部， １６５ 切り抜き対象マップ生成部， １７１ 輝度マップ判定部， １７２ 周辺領域判定部， ３２１ 切り抜き対象色情報参照部， ３２２ 色判定部， ３６１ 髪型判定部， ３８１ テクスチャ判定部， ４０１ 形状認識部， ５００ 画像処理システム， ５０１ サーバ， ５０２ ネットワーク， ５０３ 端末装置

Claims (20)

1. 画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する判定部
   を備える画像処理装置。
2. 前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高い領域について、前記奥行き情報に基づいて前記画像処理の対象領域であるか否かを判定する
   請求項１に記載の画像処理装置。
3. 前記判定部は、前記奥行きが所定の閾値より近い領域を前記画像処理の対象領域であると判定する
   請求項２に記載の画像処理装置。
4. 前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高くない領域について、前記奥行き情報と異なる他の情報に基づいて前記画像処理の対象領域であるか否かを判定する
   請求項１乃至請求項３のいずれかに記載の画像処理装置。
5. 前記判定部は、前記他の情報として前記画像の輝度を示す輝度情報に基づいて前記画像処理の対象領域であるか否かを判定する
   請求項４に記載の画像処理装置。
6. 前記判定部は、前記輝度が所定の閾値より低い領域を前記画像処理の対象領域であると判定する
   請求項５に記載の画像処理装置。
7. 前記判定部は、前記輝度が所定の閾値より低く、かつ、他の前記画像処理の対象領域に接する領域を前記画像処理の対象領域であると判定する
   請求項６に記載の画像処理装置。
8. 前記判定部は、前記他の情報として前記画像の色を示す色情報に基づいて前記画像処理の対象領域であるか否かを判定する
   請求項４乃至請求項７のいずれかに記載の画像処理装置。
9. 前記判定部は、周辺の前記画像処理の対象領域との前記色の違いが所定の閾値より小さい領域を前記画像処理の対象領域であると判定する
   請求項８に記載の画像処理装置。
10. 前記判定部は、前記他の情報として髪型モデルを表す髪型モデルデータに基づいて、前記髪型モデルにおける髪領域に属する領域を前記画像処理の対象領域であると判定する
    請求項４乃至請求項９のいずれかに記載の画像処理装置。
11. 前記判定部は、前記他の情報としてテクスチャモデルを表すテクスチャモデルデータに基づいて、テクスチャが前記テクスチャモデルに類似する領域を前記画像処理の対象領域であると判定する
    請求項４乃至請求項１０のいずれかに記載の画像処理装置。
12. 前記判定部は、前記切り抜き対象領域に属する被写体の形状を認識し、前記他の情報として認識された前記被写体の形状に基づいて、前記画像処理の対象と推定可能な領域を前記画像処理の対象領域であると判定する
    請求項４乃至請求項１１のいずれかに記載の画像処理装置。
13. 前記判定部は、単数若しくは複数の画素毎に、前記画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
    請求項１乃至請求項１２のいずれかに記載の画像処理装置。
14. 前記判定部は、前記画像処理の対象領域であるか否かの判定結果の分布を示す画像処理対象マップを生成する
    請求項１乃至請求項１３のいずれかに記載の画像処理装置。
15. 前記閾値を設定する設定部をさらに備える
    請求項２乃至請求項１４のいずれかに記載の画像処理装置。
16. 被写体を撮像し、前記画像を生成する撮像部をさらに備える
    請求項１乃至請求項１５のいずれかに記載の画像処理装置。
17. 前記奥行き情報および前記信頼性情報を生成する生成部をさらに備える
    請求項１乃至請求項１６のいずれかに記載の画像処理装置。
18. 前記判定部の判定結果に基づいて、前記画像処理として、前記画像から前記画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部をさらに備える
    請求項１乃至請求項１７のいずれかに記載の画像処理装置。
19. 前記加工部により生成された前記合成画像を他の装置に送信する送信部をさらに備える
    請求項１８に記載の画像処理装置。
20. 画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
    画像処理方法。

Images