JP2020027409A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】より円滑な遠隔コミュニケーションを行う。【解決手段】補正部は、コミュニケーションを行うユーザが写された領域を前景とし、その前景に対する背景として合成される背景画像との画質差に従って、前景および背景画像の少なくとも一方の画質を適応的に補正し、合成部は、補正後の前景および背景画像を合成して合成画像を生成する。本技術は、例えば、遠隔コミュニケーションシステムに適用できる。【選択図】図５

Description

本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、より円滑な遠隔コミュニケーションを行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、遠隔地に居るユーザどうしが、お互いに顔を合わせているかのようにコミュニケーションを図ることができる遠隔コミュニケーションシステムの開発が進められている。このような遠隔コミュニケーションシステムでは、より良好なユーザ体験が得られるように、互いに送受信される画像に対して様々な画像処理を施すことが検討される。

例えば、輝度差の大きい画像に輝度差の小さい画像が埋もれないように画像を合成する画像処理（特許文献１参照）や、被写体の特徴を補足する属性情報を含むコンテキスト情報に基づいた画像処理（特許文献２参照）などがある。

特開２０１５−２２７３８号公報 国際公開第２０１３／１３６７９２

ところで、上述したような遠隔コミュニケーションシステムにおいて、ユーザが写された領域を前景とし、そのユーザの実際の背景とは異なる背景画像を背景として合成した合成画像が利用されることがある。このような合成画像を利用する場合には、前景と背景画像との画質差を低減し、より違和感のないような合成画像を生成することによって、遠隔コミュニケーションが円滑に行われると考えられる。

本開示は、このような状況に鑑みてなされたものであり、より円滑な遠隔コミュニケーションを行うことができるようにするものである。

本開示の一側面の画像処理装置は、コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正する補正部と、補正後の前記前景および前記背景画像を合成して合成画像を生成する合成部とを備える。

本開示の一側面の画像処理方法またはプログラムは、コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、補正後の前記前景および前記背景画像を合成して合成画像を生成することとを含む。

本開示の一側面においては、コミュニケーションを行うユーザが写された領域を前景とし、その前景に対する背景として合成される背景画像との画質差に従って、前景および背景画像の少なくとも一方の画質が適応的に補正され、補正後の前景および背景画像を合成して合成画像が生成される。

本開示の一側面によれば、より円滑な遠隔コミュニケーションを行うことができるようにすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した遠隔コミュニケーションシステムの一実施の形態の構成例を示すブロック図である。 前景が明るい場合の画像処理について説明する図である。 前景が暗い場合の画像処理について説明する図である。 コミュニケーション処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 メモリ部に記憶されるデータベースの一例を示す図である。 輝度調整処理部の構成例を示すブロック図である。 輝度調整処理を説明するフローチャートである。 ライティング調整処理の第１の処理例を説明するフローチャートである。 ライティング調整処理の第２の処理例を説明するフローチャートである。 パース補正処理の第１の処理例を説明するフローチャートである。 パース補正処理の第２の処理例を説明するフローチャートである。 ノイズリダクション処理を説明するフローチャートである。 解像度調整処理の第１の処理例を説明するフローチャートである。 解像度調整処理の第２の処理例を説明するフローチャートである。 色温度調整処理を説明するフローチャートである。 前景境界調整処理を説明するフローチャートである。 選択処理の第１の処理例を説明するフローチャートである。 選択処理の第２の処理例を説明するフローチャートである。 全体的な画像処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

＜遠隔コミュニケーションシステムの構成例＞
図１は、本技術を適用した遠隔コミュニケーションシステムの一実施の形態の構成例を示すブロック図である。

図１に示すように、遠隔コミュニケーションシステム１１は、インターネットなどのネットワーク１２を介して、遠隔地にあるコミュニケーション端末１３Ａおよび１３Ｂが接続されて構成される。

例えば、遠隔コミュニケーションシステム１１では、コミュニケーション端末１３Ａおよび１３Ｂがネットワーク１２を通して遠隔通信することで、映像および音声をリアルタイムに相互に送受信することができる。これにより、コミュニケーション端末１３Ａ側に居るユーザＡと、コミュニケーション端末１３Ｂ側に居るユーザＢとは、互いに対面しているかのように会話をすることができ、よりリアルなコミュニケーションを図ることができる。

なお、コミュニケーション端末１３Ａおよび１３Ｂは、同様に構成されており、それらを区別する必要がない場合、単にコミュニケーション端末１３と称し、コミュニケーション端末１３Ａおよび１３Ｂを構成する各部についても同様に称する。また、コミュニケーション端末１３側のユーザ（例えば、コミュニケーション端末１３Ａに対するユーザＡ、コミュニケーション端末１３Ｂに対するユーザＢ）を、自身側のユーザと称する。一方、そのユーザのコミュニケーションの相手となるユーザ（例えば、コミュニケーション端末１３Ａに対するユーザＢ、コミュニケーション端末１３Ｂに対するユーザＡ）を、相手側のユーザと称する。

コミュニケーション端末１３は、センサ部２１、提示部２２、およびコミュニケーション処理部２３を備えて構成される。

センサ部２１は、例えば、提示部２２の前方に居るユーザを撮像する撮像素子、および、そのユーザが発した音声を入力するマイクロフォンなどの音声入力素子を有して構成される。その他、センサ部２１は、デプスを検出するデプスセンサや、周辺環境の明るさを検出する照度センサなどを有していてもよい。そして、センサ部２１は、自身側のユーザを撮像して得られる画像信号や、自身側のユーザの音声から得られる音声信号などをコミュニケーション処理部２３に供給し、ネットワーク１２を介して、相手側のコミュニケーション端末１３に送信させる。

提示部２２は、例えば、相手側のユーザが写されている画像を表示するディスプレイ、および、相手側のユーザが発話した音声を出力するスピーカなどの音声出力素子を有して構成される。例えば、提示部２２には、相手側のコミュニケーション端末１３からネットワーク１２を介して送信されてくる画像信号や音声信号などが、コミュニケーション処理部２３から供給される。

コミュニケーション処理部２３は、ネットワーク１２を介して通信を行うための通信処理や、互いのユーザどうしが良好なコミュニケーションを図ることができるようにするための画像処理など、遠隔コミュニケーションに必要な各種の処理を行う。

例えば、コミュニケーション処理部２３は、ユーザが写された領域を前景とし、そのユーザの実際の背景とは異なる背景画像を背景として合成した合成画像を生成し、遠隔コミュニケーションを行わせることができる。例えば、ユーザのプライバシーを配慮するときや、遠隔コミュニケーションにおいて相手側に提示される提示情報（例えば、バーチャルな黒板や映像資料など）を用いる際などに合成画像が利用される。

そして、コミュニケーション処理部２３は、合成画像を生成する際に、前景と背景画像との画質差に従って、前景または背景画像の画質を適応的に補正するような画像処理を施すことができる。これにより、コミュニケーション処理部２３は、より違和感の低減された合成画像を生成することができる。

例えば、図２に示すように、背景画像に対して前景が明るい場合に、背景画像に前景をそのまま合成すると、暗い背景画像から前景が浮いているように見える合成画像が生成されてしまう。そこで、それらの輝度差が低減されるように、前景の輝度を下げた後に、背景画像に前景を合成する画像処理が施される。

また、図３に示すように、背景画像に対して前景が暗い場合に、背景画像に前景をそのまま合成すると、明るい背景画像から前景が沈んでいるように見える合成画像が生成されてしまう。そこで、それらの輝度差が低減されるように、前景の輝度を上げた後に、背景画像に前景を合成する画像処理が施される。

このように構成されるコミュニケーション端末１３は、ユーザが写されている前景を、ユーザの実際の背景とは異なる背景画像に対して、画質差が低減するように合成した合成画像を利用することで、よりリアリティのある遠隔コミュニケーションが行われるようにすることができる。これにより、ユーザどうしで、より円滑な遠隔コミュニケーションが行われる。

ここで、遠隔コミュニケーションシステム１１では、コミュニケーション端末１３どうしの間で、音声、映像、およびメタ情報（コマンド、ユーザ情報、視聴環境情報、機器設定値など）が送受信される。なお、以下では、コミュニケーション端末１３で行われるコミュニケーション処理のうち、映像に関する処理についてのみ説明を行い、音声に関する処理についての説明は省略する。

＜コミュニケーション処理部の構成例＞
図４は、図１のコミュニケーション処理部２３の構成例を示すブロック図である。

図４に示すように、コミュニケーション処理部２３は、送信情報処理部３１、符号化部３２、送信部３３、受信部３４、復号部３５、受信情報処理部３６、およびメモリ部３７を備えて構成される。

送信情報処理部３１には、センサ部２１により撮像された画像の画像信号が供給される。そして、送信情報処理部３１は、画像信号を送信するにあたって必要となる各種の情報処理を行って、その画像信号を符号化部３２に供給する。

符号化部３２は、例えば、H.320/H.323などの通信プロトコルに対応するブロックであり、送信情報処理部３１を介してセンサ部２１から供給される画像信号に対する符号化を行って、送信部３３に供給する。

送信部３３は、符号化部３２により符号化された画像信号を、図１のネットワーク１２を介して相手側のコミュニケーション端末１３に送信する。

受信部３４は、図１のネットワーク１２を介して相手側のコミュニケーション端末１３から送信されてくる画像信号を受信して、復号部３５に供給する。

復号部３５は、符号化部３２と同様の通信プロトコルに対応するブロックであり、受信部３４から供給される画像信号（相手側のコミュニケーション端末１３の符号化部３２で符号化されている画像信号）を復号して、受信情報処理部３６に供給する。

受信情報処理部３６は、復号部３５から供給される画像信号に対して、受信した画像信号の画像を提示部２２のディスプレイに表示するにあたって必要となる情報処理を行って、その画像を提示部２２のディスプレイに表示させる。

メモリ部３７には、受信情報処理部３６が情報処理を行う際に参照する各種の情報が記憶されており、適宜、受信情報処理部３６に情報を供給する。なお、図示しないが、メモリ部３７は、送信情報処理部３１にも情報を供給するように構成することができる。

このようにコミュニケーション処理部２３は構成されており、送信情報処理部３１および受信情報処理部３６において、上述したような、前景と背景画像とを合成して合成画像を生成する画像処理を行うことができる。なお、この画像処理は、遠隔コミュニケーションの用途によって、送信情報処理部３１および受信情報処理部３６のどちらか一方で行われる構成とすればよい。

＜画像処理部の構成例＞
図５は、上述したような合成画像を生成する画像処理を実行する画像処理部の構成例を示すブロック図である。

図５に示すように、画像処理部４１は、前景背景分離部４２、前景背景補正部４３、および前景背景合成部４４を備えて構成され、メモリ部３７に記憶されている背景画像を用いて画像処理を行うことができる。

ここで、図４の送信情報処理部３１において画像処理が行われる構成では、画像処理部４１には、自身側のセンサ部２１により撮像された画像が入力される。一方、図４の受信情報処理部３６において画像処理が行われる構成では、画像処理部４１には、相手側のセンサ部２１により撮像されて送信されてきた画像が入力される。なお、以下適宜、画像処理部４１に入力される画像を入力画像と称する。

前景背景分離部４２は、入力画像から、ユーザが写されている領域を前景として抽出し、それ以外の背景となる領域から分離する。そして、前景背景分離部４２は、例えば、前景の画素値を１とし、背景の画素値を０とした前景マスク画像を生成し、前景背景補正部４３に供給する。

前景背景補正部４３は、前景背景分離部４２から供給される前景マスク画像を利用し、前景と背景画像との画質差に従って、適応的に、入力画像または背景画像に対する補正処理を行う。そして、前景背景補正部４３は、入力画像または背景画像に対して補正処理を施すことにより得られる補正画像を前景背景合成部４４に供給する。また、前景背景補正部４３は、前景と背景との境界に対する補正を行った場合には、その補正を前景マスク画像に対して適用した補正マスクを生成し、前景背景合成部４４に供給する。なお、前景と背景との境界に対する補正が行われなかった場合には、前景マスク画像がそのまま、補正マスクとして前景背景合成部４４に供給される。

なお、前景背景補正部４３において入力画像に対して補正処理が施された場合には、その入力画像を補正した補正画像が前景背景合成部４４に供給され、背景画像はメモリ部３７から前景背景合成部４４へ供給される。また、前景背景補正部４３において背景画像に対して補正処理が施された場合には、その背景画像を補正した補正画像が前景背景合成部４４に供給されるとともに、入力画像がそのまま前景背景合成部４４へ供給される。

前景背景合成部４４は、前景背景補正部４３から供給される補正画像および補正マスクを利用して、背景画像に対して前景を合成した合成画像を生成して出力する。例えば、前景背景合成部４４は、入力画像が補正されている場合、補正画像（補正された入力画像）に対して補正マスクを適用した前景を、背景画像に対して合成する。また、前景背景合成部４４は、背景画像が補正されている場合、入力画像に対して補正マスクを適用した前景を、補正画像（補正された背景画像）に対して合成する。

また、図示するように、前景背景補正部４３は、画質差低減部５１および処理選択部５２を有している。

画質差低減部５１は、前景背景分離部４２から供給される前景マスク画像を入力画像に対して適用した前景に対し、メモリ部３７から供給される背景画像との画質差が低減されるように、複数の画像処理のうち、処理選択部５２による選択に従った画像処理を実行する。

例えば、画質差低減部５１は、輝度調整処理部６１、ライティング調整処理部６２、パース補正処理部６３、ノイズリダクション処理部６４、解像度調整処理部６５、色温度調整処理部６６、および前景境界調整処理部６７を有し、それぞれ対応する画像処理を行う。

輝度調整処理部６１は、例えば、図２および図３を参照して説明したように、前景および背景画像の輝度差が縮小するように、前景の輝度を調整する画像処理を行う。なお、輝度調整処理部６１の詳細な構成については、図７を参照して後述する。

ライティング調整処理部６２は、前景および背景画像のライティングの位置または強度の違いが低減するように、例えば、背景画像のライティングの位置または強度に合わせて、前景のライティングを調整する画像処理を行う。ここで、ライティング調整処理部６２は、鏡面反射成分を抽出するのに、二色性反射モデルに基づくリアルタイム鏡面反射成分除去という手法を用いることができる。

また、ライティング調整処理部６２は、例えば、入力画像の前景の鏡面反射成分I_in_fg、入力画像の前景の鏡面反射成分の最大値I_in_fg_max、および背景画像の鏡面反射成分の最大値I_in_bg_maxを用いて、次の式（１）に従って、補正画像の前景の鏡面反射成分I_out_fgを算出することで、前景と背景画像との鏡面反射成分の強度を合わせることができる。

パース補正処理部６３は、前景および背景画像のパースの違いが低減するように、例えば、背景画像の消失点に合わせるように前景の消失点の位置を調整して、前景のパースを補正（幾何補正）する画像処理を行う。また、パース補正処理部６３は、スケーリングなどの補正や、背景画像に対して前景を合成する合成位置の補正なども行うことができ、例えば、前景のユーザの足元が見える場合に、その足元が見えないように前景のスケールや合成位置などを調整する画像処理を行う。

ノイズリダクション処理部６４は、前景および背景画像のノイズ強度の違いが低減するように、例えば、前景および背景画像のうちの、ノイズが多い一方に対してノイズリダクションを施し、ノイズが少ない他方に合わせる画像処理を行う。

解像度調整処理部６５は、前景および背景画像の解像度の違いが低減するように、例えば、前景および背景画像のうちの、低解像度である一方に対して高解像度化処理を施し、高解像度である他方に合わせる画像処理を行う。また、解像度調整処理部６５は、センサ部２１において検出されるデプスを利用し、前景のデプスと背景画像のデプスとが異なる場合には、それらのデプス差に合わせて解像度の差を強調するように、前景に対して高解像度化処理を施す一方で、背景画像に対して低解像度化処理を施すことができる。

色温度調整処理部６６は、前景および背景画像の色温度の違いが低減するように、例えば、前景および背景画像のうちの、一方の色温度を他方の色温度に合わせるように調整する画像処理を行う。

前景境界調整処理部６７は、例えば、入力画像から前景を分離する分離精度が低くてアーティファクトが目立つ場合、前景と背景画像との境界が緩やかに変化するように、前景マスク画像に対して空間ローパスフィルタを適用する画像処理を行う。これにより、前景境界調整処理部６７は、前景と背景画像との境界部での混合率が調整された補正マスクを生成することができる。

処理選択部５２は、画質差低減部５１における各画像処理の計算量や、それぞれの画像処理による効果、遠隔コミュニケーションのコンテキストなどの目的に応じて、適応的に、画質差低減部５１で実行される画像処理を選択する。

例えば、解像度調整処理部６５および色温度調整処理部６６は、画素単位の積和演算を行うだけであるため、計算量は比較的に少ない方である。また、パース補正処理部６３は、ブロック単位の積和演算を行うため、解像度調整処理部６５および色温度調整処理部６６よりも、計算量は多くなる。また、ノイズリダクション処理部６４は、フレームメモリを使用するため、計算量（コスト）が最も多くなる。

このように、画質差低減部５１における画像処理ごとの計算量は異なっている。そして、図６のＡに示すように、制御対象となる画像処理それぞれに対する計算量（例えば、輝度調整に対して計算量Ｃ０や、ライティング調整に対して計算量Ｃ１など）が登録されたデータベースが、メモリ部３７に記憶されている。

そこで、処理選択部５２は、メモリ部３７に記憶されているデータベースを参照し、複数の画像処理それぞれで必要となる計算量に応じて、画質差低減部５１において適用させる画像処理を選択する。例えば、処理選択部５２は、計算量の削減が要求されている場合には、より計算量の少ない画像処理を選択する。また、処理選択部５２は、予め決められているシステム全体の限界計算量に応じて、その限界計算量を満たすような画像処理を選択する。さらに、処理選択部５２は、システムの動作温度を監視し、動作温度の上昇が検出されたときに、計算量の少ない画像処理に切り替えるように、適応的に、画像処理を選択することができる。

ところで、画質差低減部５１において実行される画像処理においては、ある画像処理による効果が他の画像処理に対して、合成感が目立つような悪影響を及ぼすことが想定される。

例えば、前景と背景画像との境界を調整する画像処理は、境界をぼかすことによって劣化が目立ってしまうことを抑制する効果がある一方で、解像度が低下することによって合成感が目立つようになってしまう。また、パースまたはスケーリングを補正する画像処理、および、ノイズリダクションを施す画像処理は、解像度の低下が伴うことによって合成感が目立つようになってしまう。また、色温度を補正する画像処理は、輝度の変化が伴うことによって合成感が目立つようになってしまう。

そこで、図６のＢに示すように、第１の制御対象となる画像処理による効果が悪影響を及ぼす第２の制御対象となる画像処理が対応付けられてデータベースに登録され、メモリ部３７に記憶されている。例えば、解像度を調整する画像処理は、境界部の混合率を調整する画像処理、パースを補正する画像処理、および、ノイズリダクションを施す画像処理に悪影響を及ぼす。また、輝度を調整する画像処理は、色温度を調整する画像処理、および、ライティングを調整する画像処理に悪影響を及ぼす。また、ノイズを調整する画像処理は、境界部の混合率を調整する画像処理に悪影響を及ぼす。

そこで、処理選択部５２は、優先する画質ファクタに応じて、それらの画像処理の中から、画質差低減部５１で実行される画像処理の組み合わせを調整する。例えば、画質ファクタの優先度は、予め決定して処理選択部５２に設定することができる。または、処理選択部５２は、遠隔コミュニケーションの状況に応じて、優先する画質ファクタを変更してもよい。また、処理選択部５２は、例えば、入力画像が高解像度である場合には、高解像度を維持することを優先するように、画像処理を選択することができる。

また、処理選択部５２は、画質劣化が目立つ場合には、その改善を目的とした画像処理を選択することができる。例えば、処理選択部５２は、部屋が暗い場合には撮像ノイズが大きいので、ノイズ低減を優先して行うが、解像度調整は行わないように画像処理を選択する。また、処理選択部５２は、前景と背景画像の照明位置が逆となっていて、ライティングの差が目立つ場合には、ライティングの調整を優先して行うが、画面全体の輝度補正は行わないように画像処理を選択する。

また、処理選択部５２は、保護したい画質ファクタに悪影響を及ぼさないように画像処理を選択することができる。例えば、処理選択部５２は、使用している撮像装置の解像度が高く、解像度を落とすような画像処理では画質劣化が目立つ場合には、色温度調整は行うがパース補正は行わないように画像処理を選択する。

また、処理選択部５２は、改善の必要が無い画質ファクタ以外から画像処理を選択することができる。例えば、処理選択部５２は、前景と背景画像とを高精度に分離することができている場合には、境界の混合率の調整以外から、ユーザの選択に応じた画像処理（例えば、パース補正）を行う。

さらに、処理選択部５２は、遠隔コミュニケーションのコンテキスト（目的や、インフラ、会話内容、対象者の属性など）に応じて、画質差低減部５１で実行される画像処理を使い分けることができる。

例えば、処理選択部５２は、遠隔コミュニケーションの目的ごとに、画質差低減部５１で実行される画像処理を使い分けることができ、遠隔教育の用途においては、教師と生徒の表情が読み取れるように、前景の高解像度を保つことを優先する。また、処理選択部５２は、遠隔コンサルティング用途においては、相談者の表情が読み取れるように、前景の高解像度を保つことを優先する。また、処理選択部５２は、遠隔医療の用途においては、患者の状態を確認できるように、前景の色再現性を保つことを優先し、個人の映像配信の用途においては、プライバシーを保護するために背景の完全な隠蔽（前景境界補正）を優先する。

また、処理選択部５２は、遠隔コミュニケーションのインフラごとに、画質差低減部５１で実行される画像処理を使い分けることができ、大画面ディスプレイに合成画像を表示する場合には、実物大に合わせたパース補正を優先する。

さらに、処理選択部５２は、遠隔コミュニケーションの会話内容ごとに、画質差低減部５１で実行される画像処理を使い分けることができ、目的のない雑談をしている場合には、高画質を要求せずに省電力を優先する。また、処理選択部５２は、祖父母が遠隔の孫と会話する場合には、孫の成長に合わせて実物大表示を優先する。

また、処理選択部５２は、遠隔コミュニケーションを行う対象者の属性ごとに、画質差低減部５１で実行される画像処理を使い分けることができ、年配者（例えば、視力の弱いユーザ）が使用する場合、解像度よりも明るさの差異を低減する画像処理を優先する。さらには、処理選択部５２は、遠隔コミュニケーションを行う個人別の事例データベースを用いて、ユーザの嗜好に応じて、優先する画像処理を切り替えるようにしてもよい。

図７は、輝度調整処理部の構成例を示すブロック図である。

図７に示すように、輝度調整処理部６１は、YUV変換部７１、デガンマ処理部７２、黒レベル補正部７３、白レベル補正部７４、ガンマ処理部７５、およびRGB変換部７６を備えて構成される。

YUV変換部７１は、RGB信号からなるカラーの入力画像をYUV信号に変換し、輝度情報（Y信号）を取得して、デガンマ処理部７２に供給する。また、YUV変換部７１は、U信号およびV信号をRGB変換部７６に供給する。

デガンマ処理部７２は、YUV変換部７１から供給される輝度情報に対してデガンマ処理を施し、線形色空間に置き換えて、黒レベル補正部７３に供給する。

黒レベル補正部７３は、入力画像に前景マスク画像を適用した前景の暗部を明るくして、背景画像の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する黒レベル補正を行う。即ち、黒レベル補正部７３は、図３に示したように、前景の輝度の最小値を背景画像の輝度の最小値に合わせるように入力画像の輝度を上昇させる補正を行う。

白レベル補正部７４は、入力画像に前景マスク画像を適用した前景の明部を暗くして、背景画像の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する白レベル補正を行う。即ち、白レベル補正部７４は、図２に示したように、前景の輝度の最大値を背景画像の輝度の最大値に合わせるように入力画像の輝度を低下させる補正を行う。

ここで、輝度調整処理部６１では、入力画像の１フレームごとに処理が行われ、黒レベル補正部７３が黒レベル補正を施した補正強度、および、白レベル補正部７４が白レベル補正を施した補正強度がフィードバックされ、次のフレームの処理で参照される。つまり、黒レベル補正部７３および白レベル補正部７４は、１フレーム前の補正強度を参照して、時間的に徐々にパラメータを変更することができ、前景の輝度が急激に変化するのを回避することができる。

ガンマ処理部７５は、黒レベル補正部７３による黒レベル補正および白レベル補正部７４による白レベル補正が施された入力画像の輝度情報に対してガンマ処理を施し、その処理後の輝度情報をRGB変換部７６に供給する。

RGB変換部７６は、ガンマ処理部７５から供給される輝度情報（Y信号）と、YUV変換部７１から供給されるU信号およびV信号とを、RGB信号に変換することによりカラーの画像を取得し、補正画像として出力する。

以上のように輝度調整処理部６１は構成されており、前景と背景画像との輝度差を縮小することで、より合成感の低減された合成画像を生成することができる。

図８は、輝度調整処理部６１が実行する画像処理を説明するフローチャートである。

ステップＳ１１において、YUV変換部７１は、RGB信号からなるカラーの入力画像をYUV信号に変換し、輝度情報（Y信号）を取得する。そして、YUV変換部７１は、Y信号をデガンマ処理部７２に供給するとともに、U信号およびV信号をRGB変換部７６に供給する。

ステップＳ１２において、デガンマ処理部７２は、ステップＳ１１でYUV変換部７１から供給される輝度情報に対してデガンマ処理を施した後、黒レベル補正部７３に供給する。

ステップＳ１３において、黒レベル補正部７３は、黒レベル補正を行って、入力画像に前景マスク画像を適用した前景の暗部の輝度と背景画像の暗部の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する。

ステップＳ１４において、白レベル補正部７４は、白レベル補正を行って、入力画像に前景マスク画像を適用した前景の明部の輝度と背景画像の明部の輝度との輝度差を縮小するように、入力画像の輝度情報を調整する。

ステップＳ１５において、ガンマ処理部７５は、ステップＳ１２の黒レベル補正およびステップＳ１３の白レベル補正が施された入力画像の輝度情報に対してガンマ処理を施した後、RGB変換部７６に供給する。

ステップＳ１６において、RGB変換部７６は、ステップＳ１５でガンマ処理部７５から供給される輝度情報（Y信号）と、ステップＳ１１でYUV変換部７１から供給されるU信号およびV信号とを変換し、カラーの画像（RGB信号）を取得する。そして、そのカラーの画像が補正画像として出力された後、輝度を調整する画像処理は終了される。

このように、前景と背景画像との輝度差を縮小するように輝度を調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図９は、ライティング調整処理部６２が実行する画像処理の第１の処理例を説明するフローチャートである。

ステップＳ２１において、ライティング調整処理部６２は、入力画像に前景マスク画像を適用した前景の鏡面反射成分と拡散反射成分とを分離するとともに、背景画像の鏡面反射成分と拡散反射成分とを分離する。

ステップＳ２２において、ライティング調整処理部６２は、前景および背景画像のうちの、一方の鏡面反射成分の強度を、他方の鏡面反射成分の強度に合わせて調整する。

ステップＳ２３において、ライティング調整処理部６２は、前景および背景画像のうちの、ステップＳ２２で鏡面反射成分の強度を調整した一方について、鏡面反射成分と拡散反射成分とを統合した後、ライティングを調整する画像処理は終了される。

このように、前景と背景画像とのライティングの強度を調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１０は、ライティング調整処理部６２が実行する画像処理の第２の処理例を説明するフローチャートである。

ステップＳ３１において、ライティング調整処理部６２は、背景画像において光源が配置されている光源位置を推定する。

ステップＳ３２において、ライティング調整処理部６２は、ステップＳ３１で推定した光源位置に合わせて、入力画像に前景マスク画像を適用した前景に写されているユーザの瞳における黒目に対して、キャッチライトを付加した後、ライティングを調整する画像処理は終了される。

このように、背景画像のライティングの位置に合わせて、前景のライティングの位置を調整してキャッチライトを付加する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１１は、パース補正処理部６３が実行する画像処理の第１の処理例を説明するフローチャートである。

ステップＳ４１において、パース補正処理部６３は、入力画像に前景マスク画像を適用した前景の消失点を検出するとともに、背景画像の消失点を検出する。

ステップＳ４２において、パース補正処理部６３は、ステップＳ４１で検出した背景画像の消失点に対して、前景の消失点を合わせるように、前景のパースを補正した後、パースを補正する画像処理は終了される。

このように、前景と背景画像とのパースを合わせるように調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１２は、パース補正処理部６３が実行する画像処理の第２の処理例を説明するフローチャートである。

ステップＳ５１において、パース補正処理部６３は、入力画像に前景マスク画像を適用し、入力画像から前景を抽出する。

ステップＳ５２において、パース補正処理部６３は、ステップＳ５１で抽出した前景として写されているユーザの足元が見えるか否かを判定する。

ステップＳ５２において、ユーザの足元が見えると判定された場合、処理はステップＳ５３に進み、パース補正処理部６３は、ユーザの足元が見えなくなるように、その足元の高さまで前景をクリッピングする。

一方、ステップＳ５２において、ユーザの足元が見えないと判定された場合、または、ステップＳ５３の処理後、パースを補正する画像処理は終了される。

このように、ユーザの足元が見えなくなるように前景をクリッピングする画像処理により、例えば、ユーザの足元が見える場合には強い合成感となってしまうのと比較して、合成画像における前景と背景画像との合成感を低減することができる。

図１３は、ノイズリダクション処理部６４が実行する画像処理を説明するフローチャートである。

ステップＳ６１において、ノイズリダクション処理部６４は、入力画像に前景マスク画像を適用した前景のノイズ強度を検出するとともに、背景画像のノイズ強度を検出する。例えば、ノイズ強度は、フレーム間差分の平均値を算出することにより求められる。

ステップＳ６２において、ノイズリダクション処理部６４は、ステップＳ６１で検出した前景および背景画像のノイズ強度のうちの、ノイズ強度が大きい一方に対してノイズリダクションを適用した後、ノイズリダクションを施す画像処理は終了される。例えば、ノイズリダクションとして、空間ローパスフィルタや時空間IIR（Infinite Impulse Response）フィルタなどが用いられる。

このように、前景と背景画像とのノイズ強度を合わせるようにノイズリダクションする画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１４は、解像度調整処理部６５が実行する画像処理の第１の処理例を説明するフローチャートである。

ステップＳ７１において、解像度調整処理部６５は、入力画像に前景マスク画像を適用した前景の解像度を検出するとともに、背景画像の解像度を検出し、それらの解像度差を求める。例えば、解像度調整処理部６５は、空間周波数特性を算出することにより解像度を検出することができる。

ステップＳ７２において、解像度調整処理部６５は、ステップＳ７１で検出した前景および背景画像の解像度のうちの、解像度が小さい一方に対して、解像度差を解消するような高解像度化処理を適用した後、解像度を調整する画像処理は終了される。

このように、前景と背景画像との解像度を合わせるように高解像度化する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１５は、解像度調整処理部６５が実行する画像処理の第２の処理例を説明するフローチャートである。

ステップＳ８１において、解像度調整処理部６５は、入力画像に前景マスク画像を適用した前景の解像度を検出するとともに、背景画像の解像度を検出する。さらに、解像度調整処理部６５は、センサ部２１において検出されるデプスを利用し、前景のデプスを検出する。また、背景画像にもデプスが設定されており、解像度調整処理部６５は、背景画像のデプスを取得する。

ステップＳ８２において、解像度調整処理部６５は、ステップＳ８１で検出した前景のデプスと背景画像のデプスとが異なるか否か、即ち、デプス差が大きいか否かを判定する。

ステップＳ８２において、前景のデプスと背景画像のデプスとが異なると判定された場合、即ち、デプス差が大きいと判定された場合、処理はステップＳ８３に進む。ステップＳ８３において、解像度調整処理部６５は、前景と背景とのデプス差に合わせて、解像度の差を強調するように、前景に対して高解像度化処理を適用する一方で、背景画像に対して低解像度化処理（例えば、空間ローパスフィルタなど）を適用する。

一方、ステップＳ８２において、前景のデプスと背景画像のデプスとが異ならないと判定された場合、即ち、デプス差が小さいと判定された場合、処理はステップＳ８４に進む。ステップＳ８３において、解像度調整処理部６５は、図１４のステップＳ７２と同様に、前景および背景画像の解像度のうちの、解像度が小さい一方に対して、解像度差を解消するような高解像度化処理を適用する。

ステップＳ８３またはＳ８４の処理後、解像度を調整する画像処理は終了される。

このように、例えば、前景に対して背景画像が遠い（デプス差が大きい）場合には、解像度の差を強調して、背景をぼかすような画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１６は、色温度調整処理部６６が実行する画像処理を説明するフローチャートである。

ステップＳ９１において、色温度調整処理部６６は、入力画像に前景マスク画像を適用した前景の色温度を検出するとともに、背景画像の色温度を検出し、それらの色温度差を求める。

ステップＳ９２において、色温度調整処理部６６は、ステップＳ９１で検出した前景および背景画像の色温度のうちの、いずれか一方に対して、色温度差を解消するように補正する処理を適用した後、色温度を調整する画像処理は終了される。なお、色温度を補正する処理には、例えば、本願出願人により出願済みの特願2017-160167に記載の技術を利用することができる。

このように、前景と背景画像との色温度を合わせるように調整する画像処理により、合成画像における前景と背景画像との合成感を低減することができる。

図１７は、前景境界調整処理部６７が実行する画像処理を説明するフローチャートである。

ステップＳ１０１において、前景境界調整処理部６７は、前景背景分離部４２による入力画像からの前景の分離精度を検出する。例えば、前景境界調整処理部６７は、前景マスク画像の境界での離接画素差分の平均と、その周囲での隣接画素差分の平均との差を求めることで、前景の分離精度を検出することができる。

ステップＳ１０２において、前景境界調整処理部６７は、ステップＳ１０１で検出した前景の分離精度は、予め設定されている閾値以下であるか否かを判定する。

ステップＳ１０２において、前景の分離精度が閾値以下であると判定された場合、処理はステップＳ１０３に進み、前景境界調整処理部６７は、前景マスク画像における前景と背景画像との境界に空間ローパスフィルタを適用する。これにより、前景境界調整処理部６７は、前景と背景画像との境界部での混合率が調整された補正マスクを生成する。

ステップＳ１０３の処理後、または、ステップＳ１０２において、前景の分離精度が閾値以下でない（即ち、閾値より大きい）と判定された場合、前景の境界における混合率を調整する画像処理は終了される。

このように、前景の境界における混合率を調整する画像処理により、入力画像から前景を分離する分離精度が低い場合に生じるアーティファクトが目立つのを抑制し、合成画像における前景と背景画像との合成感を低減することができる。

図１８は、処理選択部５２が実行する選択処理の第１の処理例を説明するフローチャートである。

ステップＳ１１１において、処理選択部５２は、例えば、システム全体の限界計算量や、システムの動作温度の変化に伴う計算量の低減などのような、削減されることが要求される計算量を取得する。

ステップＳ１１２において、処理選択部５２は、ステップＳ１１１で取得した要求される計算量に応じて、上述したように、画質差低減部５１において適用させる画像処理を選択し、画質差低減部５１に対して選択を指示した後、処理は終了される。

このように、処理選択部５２は、要求される計算量に従って適応的に、画質差低減部５１において適用させる画像処理を選択することができる。

図１９は、処理選択部５２が実行する選択処理の第２の処理例を説明するフローチャートである。

ステップＳ１２１において、処理選択部５２は、予め決定されている優先度や、遠隔コミュニケーションの状況、入力画像の画質（例えば、解像度）などに従って、優先する画質ファクタを設定する。

ステップＳ１２２において、処理選択部５２は、ステップＳ１２１で設定された画質ファクタに応じて、上述したように、画質差低減部５１で実行される画像処理の組み合わせを調整した後、処理は終了される。

このように、処理選択部５２は、優先する画質ファクタに従って適応的に、画質差低減部５１において適用させる画像処理を選択することができる。

図２０は、図５の画像処理部４１が実行する全体的な画像処理を説明するフローチャートである。

例えば、画像処理部４１に入力画像が供給されると処理が開始され、ステップＳ１３１において、前景背景分離部４２は、入力画像から、ユーザが写されている領域を前景として抽出し、それ以外の背景となる領域から分離する。そして、前景背景分離部４２は、例えば、前景の画素値を１とし、背景の画素値を０とした前景マスク画像を生成し、前景背景補正部４３に供給する。

ステップＳ１３２において、処理選択部５２は、図１８および図１９を参照して上述したように、画質差低減部５１において実行される画像処理を適応的に選択し、画質差低減部５１に対する指示を行う。

ステップＳ１３３において、画質差低減部５１は、ステップＳ１３１で前景背景分離部４２から供給される前景マスク画像を入力画像に対して適用した前景、または、背景画像に対し、ステップＳ１３２で処理選択部５２に指示された画像処理を施す。即ち、画質差低減部５１は、処理選択部５２による指示に従って、図８乃至図１７を参照して上述したいずれかの画像処理を実行し、画質差を低減するための画像処理を施した補正画像およびを補正マスク生成して前景背景合成部４４に供給する。

ステップＳ１３４において、前景背景合成部４４は、ステップＳ１３３で前景背景補正部４３から供給される補正画像および補正マスクを利用して、背景画像に対して前景を合成した合成画像を生成する。そして、前景背景合成部４４が合成画像を出力した後、画像処理は終了される。

＜コンピュータの構成例＞
次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正する補正部と、
補正後の前記前景および前記背景画像を合成して合成画像を生成する合成部と
を備える画像処理装置。
（２）
前記ユーザが写されている入力画像から、前記前景を抽出する前景マスク画像を生成する分離部
をさらに備える上記（１）に記載の画像処理装置。
（３）
前記補正部は、
前記前景と前記背景画像との画質差を低減させるための複数の画像処理を、前記前景および前記背景画像の少なくとも一方に対して適用する画質差低減部と、
前記複数の画像処理のうち、前記画質差低減部において適用させる画像処理を適応的に選択する処理選択部と
を有する
上記（１）または（２）に記載の画像処理装置。
（４）
前記画質差低減部は、前記前景と前記背景画像との輝度差を縮小するように輝度を調整する画像処理を行う輝度調整処理部を有する
上記（３）に記載の画像処理装置。
（５）
前記画質差低減部は、前記前景と前記背景画像とのライティングの位置または強度の違いが低減するようにライティングを調整する画像処理を行うライティング調整処理部を有する
上記（３）または（４）に記載の画像処理装置。
（６）
前記画質差低減部は、前記前景と前記背景画像とのパースの違いが低減するように幾何補正を施す画像処理を行う幾何補正処理部を有する
上記（３）から（５）までのいずれかに記載の画像処理装置。
（７）
前記画質差低減部は、前記前景と前記背景画像とのノイズ強度の違いが低減するようにノイズリダクションする画像処理を行うノイズリダクション処理部を有する
上記（３）から（６）までのいずれかに記載の画像処理装置。
（８）
前記画質差低減部は、前記前景と前記背景画像との解像度の違いが低減するように解像度を調整する画像処理を行う解像度調整処理部を有する
上記（３）から（７）までのいずれかに記載の画像処理装置。
（９）
前記画質差低減部は、前記前景と前記背景画像との色温度の違いが低減するように色温度を調整する画像処理を行う色温度調整処理部を有する
上記（３）から（８）までのいずれかに記載の画像処理装置。
（１０）
前記画質差低減部は、前記前景マスク画像において、前記前景と前記背景画像との境界部での混合率を調整する境界調整処理部を有する
上記（３）から（９）までのいずれかに記載の画像処理装置。
（１１）
前記処理選択部は、前記複数の画像処理それぞれで必要となる計算量に応じて、前記画質差低減部において適用させる画像処理を選択する
上記（３）から（１０）までのいずれかに記載の画像処理装置。
（１２）
前記処理選択部は、前記合成画像を利用したコミュニケーションにおけるコンテキストに応じて、前記画質差低減部において適用させる画像処理を選択する
上記（３）から（１１）までのいずれかに記載の画像処理装置。
（１３）
前記処理選択部は、前記複数の画像処理が画質に及ぼす効果に応じて、前記画質差低減部において適用させる画像処理の組み合わせを調整する
上記（３）から（１２）までのいずれかに記載の画像処理装置。
（１４）
画像処理を行う画像処理装置が、
コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
補正後の前記前景および前記背景画像を合成して合成画像を生成することと
を含む画像処理方法。
（１５）
画像処理を行う処理装置のコンピュータに、
コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
補正後の前記前景および前記背景画像を合成して合成画像を生成することと
を含む画像処理を実行させるためのプログラム。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１ 遠隔コミュニケーションシステム， １２ ネットワーク， １３ コミュニケーション端末， ２１ センサ部， ２２ 提示部， ２３ コミュニケーション処理部， ３１ 送信情報処理部， ３２ 符号化部， ３３ 送信部， ３４ 受信部， ３５ 復号部， ３６ 受信情報処理部， ３７ メモリ部， ４１ 画像処理部， ４２ 前景背景分離部， ４３ 前景背景補正部， ４４ 前景背景合成部， ５１ 画質差低減部， ５２ 処理選択部， ６１ 輝度調整処理部， ６２ ライティング調整処理部， ６３ パース補正処理部， ６４ ノイズリダクション処理部， ６５ 解像度調整処理部， ６６ 色温度調整処理部， ６７ 前景境界調整処理部， ７１ YUV変換部， ７２ デガンマ処理部， ７３ 黒レベル補正部， ７４ 白レベル補正部， ７５ ガンマ処理部， ７６ RGB変換部

Claims (15)

1. コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正する補正部と、
   補正後の前記前景および前記背景画像を合成して合成画像を生成する合成部と
   を備える画像処理装置。
2. 前記ユーザが写されている入力画像から、前記前景を抽出する前景マスク画像を生成する分離部
   をさらに備える請求項１に記載の画像処理装置。
3. 前記補正部は、
   前記前景と前記背景画像との画質差を低減させるための複数の画像処理を、前記前景および前記背景画像の少なくとも一方に対して適用する画質差低減部と、
   前記複数の画像処理のうち、前記画質差低減部において適用させる画像処理を適応的に選択する処理選択部と
   を有する
   請求項２に記載の画像処理装置。
4. 前記画質差低減部は、前記前景と前記背景画像との輝度差を縮小するように輝度を調整する画像処理を行う輝度調整処理部を有する
   請求項３に記載の画像処理装置。
5. 前記画質差低減部は、前記前景と前記背景画像とのライティングの位置または強度の違いが低減するようにライティングを調整する画像処理を行うライティング調整処理部を有する
   請求項３に記載の画像処理装置。
6. 前記画質差低減部は、前記前景と前記背景画像とのパースの違いが低減するように幾何補正を施す画像処理を行う幾何補正処理部を有する
   請求項３に記載の画像処理装置。
7. 前記画質差低減部は、前記前景と前記背景画像とのノイズ強度の違いが低減するようにノイズリダクションする画像処理を行うノイズリダクション処理部を有する
   請求項３に記載の画像処理装置。
8. 前記画質差低減部は、前記前景と前記背景画像との解像度の違いが低減するように解像度を調整する画像処理を行う解像度調整処理部を有する
   請求項３に記載の画像処理装置。
9. 前記画質差低減部は、前記前景と前記背景画像との色温度の違いが低減するように色温度を調整する画像処理を行う色温度調整処理部を有する
   請求項３に記載の画像処理装置。
10. 前記画質差低減部は、前記前景マスク画像において、前記前景と前記背景画像との境界部での混合率を調整する境界調整処理部を有する
    請求項３に記載の画像処理装置。
11. 前記処理選択部は、前記複数の画像処理それぞれで必要となる計算量に応じて、前記画質差低減部において適用させる画像処理を選択する
    請求項３に記載の画像処理装置。
12. 前記処理選択部は、前記合成画像を利用したコミュニケーションにおけるコンテキストに応じて、前記画質差低減部において適用させる画像処理を選択する
    請求項３に記載の画像処理装置。
13. 前記処理選択部は、前記複数の画像処理が画質に及ぼす効果に応じて、前記画質差低減部において適用させる画像処理の組み合わせを調整する
    請求項３に記載の画像処理装置。
14. 画像処理を行う画像処理装置が、
    コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
    補正後の前記前景および前記背景画像を合成して合成画像を生成することと
    を含む画像処理方法。
15. 画像処理を行う処理装置のコンピュータに、
    コミュニケーションを行うユーザが写された領域を前景とし、前記前景に対する背景として合成される背景画像との画質差に従って、前記前景および前記背景画像の少なくとも一方の画質を適応的に補正することと、
    補正後の前記前景および前記背景画像を合成して合成画像を生成することと
    を含む画像処理を実行させるためのプログラム。

Images