JP2021117981A - Image processing apparatus, image processing method, video transmission and reception system, and program - Google Patents
Image processing apparatus, image processing method, video transmission and reception system, and program Download PDFInfo
- Publication number
- JP2021117981A JP2021117981A JP2020199133A JP2020199133A JP2021117981A JP 2021117981 A JP2021117981 A JP 2021117981A JP 2020199133 A JP2020199133 A JP 2020199133A JP 2020199133 A JP2020199133 A JP 2020199133A JP 2021117981 A JP2021117981 A JP 2021117981A
- Authority
- JP
- Japan
- Prior art keywords
- area
- unit
- dynamic range
- contrast
- important
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 108
- 230000005540 biological transmission Effects 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000006243 chemical reaction Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000006835 compression Effects 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、映像送受信システム、およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, a video transmission / reception system, and a program.
下記特許文献１には、画像信号のダイナミックレンジを画素毎に圧縮した後に、当該画像信号を符号化する技術が開示されている。この技術によれば、画像信号の符号化に必要なビット数を一段と低下させることができる。
しかしながら、上記した特許文献１に開示されている技術は、画像の全ての画素に対してダイナミックレンジを圧縮するため、画像において重要視される領域（すなわち、高画質とすることが好ましい領域）に対して、不適切に画質を劣化させてしまう虞がある。
However, since the technique disclosed in
本発明は、上述した従来技術の課題を解決するため、画像信号が表す映像の内容に応じて、画像信号に対してより好適な画質調整を行うことができるようにすることを目的とする。 An object of the present invention is to solve the above-mentioned problems of the prior art so that more suitable image quality adjustment can be performed on the image signal according to the content of the image represented by the image signal.
上述した課題を解決するために、本発明の画像処理装置は、映像におけるフレーム画像から、複数の領域を判定する領域判定部と、領域単位で輝度値分布を生成する輝度値分布生成部と、領域単位で生成された輝度値分布に応じた圧縮方法を用いて、複数の領域のうちの特定の領域のダイナミックレンジを圧縮することにより、当該特定の領域のコントラスト変換を行うコントラスト変換部とを備える。 In order to solve the above-mentioned problems, the image processing apparatus of the present invention includes a region determination unit that determines a plurality of regions from a frame image in a video, a luminance value distribution generation unit that generates a luminance value distribution for each region, and a luminance value distribution generation unit. A contrast conversion unit that performs contrast conversion of a specific region by compressing the dynamic range of a specific region among a plurality of regions by using a compression method according to the luminance value distribution generated for each region. Be prepared.
本発明によれば、画像信号が表す映像の内容に応じて、画像信号に対してより好適な画質調整を行うことができる。 According to the present invention, more suitable image quality adjustment can be performed on the image signal according to the content of the image represented by the image signal.
〔一実施形態〕
以下、図面を参照して、本発明の一実施形態について説明する。
[One Embodiment]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
（ビデオ会議システム１のシステム構成）
図１は、一実施形態に係るビデオ会議システム１のシステム構成を示す図である。図１に示すように、ビデオ会議システム１は、「映像送受信システム」の一例であり、複数の端末装置２００（端末装置２００Ａおよび端末装置２００Ｂ）と、サーバ３００とを備える。端末装置２００Ａは、第１の拠点に設けられている。端末装置２００Ｂは、第２の拠点に設けられている。端末装置２００Ａ、端末装置２００Ｂ、およびサーバ３００は、インターネット、イントラネット等のネットワーク４００に接続されている。図１は、端末装置２００Ａの構成を詳細に示しているが、端末装置２００Ｂも、端末装置２００Ａと同様の構成を有する。これにより、端末装置２００Ａおよび端末装置２００Ｂは、ネットワーク４００を介して、相互に映像を送受信することで、ビデオ会議を行うことが可能である。以下、端末装置２００Ａおよび端末装置２００Ｂを区別しない場合（すなわち、端末装置２００Ａおよび端末装置２００Ｂの双方に該当する説明を行う場合）には、"端末装置２００"と示す。なお、端末装置２００Ａおよび端末装置２００Ｂは、「画像処理装置」の一例である。
(System configuration of video conferencing system 1)
FIG. 1 is a diagram showing a system configuration of the
図１に示すように、端末装置２００は、カメラモジュール１０、映像処理部２０、映像ＣＯＤＥＣ部３０、映像出力処理部４０、マイクアレイ５０、音声出力部６０、音声処理部７０、ネットワーク処理部８０、全体処理部９０、操作部１００、ＲＡＭ１１０、録画装置１２０、映像特性解析部１３０、およびＲＡＭ１４０を備える。
As shown in FIG. 1, the terminal device 200 includes a
カメラモジュール１０は、「撮像装置」の一例である。カメラモジュール１０は、会議シーンの映像を撮像する。カメラモジュール１０は、レンズ１１、撮像部１２（イメージセンサ）、およびＤＳＰ１３を有する。撮像部１２は、レンズ１１を介して集光された映像を電気信号に変換することにより、映像データ（ＲＡＷデータ）を生成する。ＤＳＰ１３は、撮像部１２から出力された映像データ（ＲＡＷデータ）に対して、ベイヤー変換、３Ａ制御、等の公知のカメラ映像処理を行うことにより、映像データ（ＹＵＶデータ）を生成する。
The
映像処理部２０は、カメラモジュール１０から出力された映像データ（ＹＵＶデータ）に対し、ダイナミックレンジの圧縮処理を含む各種映像処理を行う。なお、映像処理部２０の機能の詳細については、図２を用いて後述する。なお、映像処理部２０は、各種映像処理を行う際に、ＲＡＭ１１０をバッファとして使用する。
The
映像ＣＯＤＥＣ部３０は、「符号化部」の一例である。映像ＣＯＤＥＣ部３０は、他の端末装置２００との間で送受信される映像データ（映像ストリームデータ）の符号化および復号化を行う。例えば、映像ＣＯＤＥＣ部３０は、動画Ｅｎｄｏｃｅｒによって、映像処理部２０から出力された映像データを符号化し、符号化された映像データを、ネットワーク処理部８０を介して、他の端末装置２００へ送信する。また、例えば、映像ＣＯＤＥＣ部３０は、他の端末装置２００から送信された映像データ（他の端末装置２００で符号化された映像データ）を、ネットワーク処理部８０を介して取得し、動画Ｄｅｄｏｃｅｒによって、当該映像データを復号化する。そして、映像ＣＯＤＥＣ部３０は、復号された映像データを、映像出力処理部４０へ出力する。映像ＣＯＤＥＣ部３０は、例えば、Ｈ.２６４／２６５等の圧縮規格を用いた、ＣＯＤＥＣ回路またはソフトウェアによって構成される。
The
映像出力処理部４０は、映像データに基づく映像を、タッチパネル部４１Ａが備えるディスプレイに表示させる。例えば、映像出力処理部４０は、映像ＣＯＤＥＣ部３０で復号化された映像データに基づく映像（すなわち、他拠点の映像）を、タッチパネル部４１Ａが備えるディスプレイに表示させる。また、例えば、映像出力処理部４０は、カメラモジュール１０から出力された映像データに基づく映像（すなわち、自拠点の映像）を、タッチパネル部４１Ａが備えるディスプレイに表示させる。また、映像出力処理部４０は、映像ＣＯＤＥＣ部３０で復号化された映像データに対する、コントラスト変換処理（他の端末装置２００でコントラスト変換がなされた映像データのコントラストを元に戻す処理）を行う。
The video
マイクアレイ５０は、マイクロフォンアレイ５１およびＡ／Ｄコンバータ５２を有する。マイクロフォンアレイ５１は、ビデオ会議の参加者の音声を集音し、音声信号（アナログ信号）を出力する。Ａ／Ｄコンバータ５２は、マイクロフォンアレイ５１から出力された音声の音声信号（アナログ信号）をデジタル信号に変換して、変換後の音声信号（デジタル信号）を音声処理部７０へ出力する。
The
音声出力部６０は、Ｄ／Ａコンバータ６２およびスピーカ６１を有する。Ｄ／Ａコンバータ６２は、他の端末装置２００から送信された音声信号（デジタル信号）をアナログ信号に変換する。スピーカ６１は、Ｄ／Ａコンバータ６２による変換後の音声信号（アナログ信号）が供給されることにより、他拠点において集音されたビデオ会議の参加者の音声を出力する。
The
音声処理部７０は、他の端末装置２００から受信された映像データを構成する音声データに対して、所定の音声処理（例えば、コーデック処理、ノイズキャンセル（ＮＣ）等）を行う。そして、音声処理部７０は、音声処理後の音声データを、音声出力部６０へ出力する。同時に、音声処理部７０は、音声出力部６０に出力する音声データを把握しながら、マイクアレイ５０に回り込んで入力される音声データに対するエコーキャンセル（ＥＣ）処理を行う。また、音声処理部７０は、他の端末装置２００へ送信される映像データを構成する音声データに対して、所定の音声処理（例えば、コーデック処理、ノイズキャンセル（ＮＣ）等）を行う。そして、音声処理部７０は、音声処理後の音声データを、ネットワーク処理部８０へ出力する。
The
ネットワーク処理部８０は、映像ＣＯＤＥＣ部（エンコーダ）３０から出力された符号化済みの映像データを、ネットワーク４００を介して、送信先の他の端末装置２００へ送信する。また、ネットワーク処理部８０は、他の端末装置２００から送信された符号化済みの映像データを、ネットワーク４００を介して受信する。そして、ネットワーク処理部８０は、当該映像データを、映像ＣＯＤＥＣ部（エンコーダ）３０へ出力する。また、ネットワーク処理部８０は、符号化パラメータ（QP値、等）を決めるための、ネットワークの帯域をモニタする機能（ネットワーク状態検知部）を有する。また、ネットワーク処理部８０は、符号化パラメータ（QP値、等）や送信モードの設定を最適化するための、相手局の機能や性能に関する情報を取得する機能（相手局機能判別部）を有する。
The
全体処理部９０は、端末装置２００の全体の制御を行う。全体処理部９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＳＳＤ等を備えて構成されている。例えば、全体処理部９０は、オペレータの指示に従って、各モジュールおよび各ブロックのモード設定、ステータス管理等を行う。また、全体処理部９０は、システムメモリ（ＲＡＭ）の使用権およびシステムバスのアクセス権限の調停機能等を有する。
The
また、全体処理部９０は、カメラモジュール１０の撮影モードの設定を行う。カメラモジュール１０の撮影モードの設定は、環境に応じて自動的に設定される自動設定項目（例えば、測光条件等）と、オペレータの操作入力により手動的に設定される手動設定項目とを含み得る。手動設定項目には、フレーム画像における非重要エリアのコントラスト幅の削減率Ｌ（％）が含まれる。また、手動設定項目には、フレーム画像における中間エリアのコントラスト幅の削減率Ｍ（％）が含まれる。これらの設定は、オペレータによる操作部１００の操作によって行われ、端末装置２００が備えるメモリ（ＲＡＭ）に記憶される。そして、これらの設定は、映像処理部２０によって使用される。
In addition, the
操作部１００は、各種入力デバイス（例えば、タッチパネル、操作ボタン、リモコン等）を備える。操作部１００は、オペレータによる各種入力デバイスに操作により、各種入力（例えば、各種設定、会議参加者の呼び出し等）を受け付ける。
The
録画装置１２０は、音声処理部７０から出力される音声データと、カメラモジュール１０から出力された映像データとが組み合わされた録画データを、記憶装置（メモリ、ＨＤＤ等）に録画する。録画装置１２０は、記憶装置に記憶されている録画データを再生することができる。
The
映像特性解析部１３０は、検知部１３１および動き判定部１３２を有する。検知部１３１は、カメラモジュール１０から出力された映像データを構成するフレーム画像から、人の顔が存在するエリアを検知する。動き判定部１３２は、カメラモジュール１０から出力された映像データを構成するフレーム画像から、人が動いているエリアを検知する。映像特性解析部１３０は、各エリアの検知結果を、映像処理部２０へ出力する。なお、映像特性解析部１３０は、各エリアの検知を行う際に、ＲＡＭ１４０をバッファとして使用する。
The image
（映像処理部２０の機能構成）
図２は、一実施形態に係る映像処理部２０の機能構成を示す図である。図２に示すように、映像処理部２０は、領域判定部２１、輝度値分布生成部２２、変換パラメータ生成部２３、重複エリア処理部２４、およびコントラスト変換部２５を備える。図２に示す各機能は、カメラモジュール１０から出力される映像データに対して、コントラスト変換を行うための機能である。カメラモジュール１０から出力される映像データは、連続する複数のフレーム画像を含んで構成されている。例えば、カメラモジュール１０から出力される映像データは、１秒間あたり所定枚数（例えば、２４枚、３０枚等）のフレーム画像を含んで構成されている。各フレーム画像は、当該フレーム画像を構成する画像信号によって、映像の１コマとして表示される。映像処理部２０は、これら複数のフレーム画像の各々に対するコントラスト変換を行うことにより、映像データの全体に対してコントラスト変換を行うことができる。
(Functional configuration of video processing unit 20)
FIG. 2 is a diagram showing a functional configuration of the
領域判定部２１は、カメラモジュール１０から出力された映像データを構成するフレーム画像における、重要エリア、非重要エリア、および中間エリアを判定する。例えば、領域判定部２１は、フレーム画像における、映像特性解析部１３０の検知部１３１によって人の顔が検知されたエリアを、重要エリアと判定する。また、例えば、領域判定部２１は、フレーム画像における、映像特性解析部１３０の動き判定部１３２によって人の動きが検知されたエリアを、重要エリアと判定する。なお、領域判定部２１は、フレーム画像における、オペレータによるタッチパネル部４１Ａの操作によって指定されたエリアを、重要エリアと判定してもよい。また、領域判定部２１は、フレーム画像における重要エリア以外の領域を、非重要エリアと判定する。さらに、領域判定部２１は、フレーム画像における重要エリアと非重要エリアとの境界部分の領域を、中間エリアと判定する。
The
輝度値分布生成部２２は、フレーム画像の全域の各画素の輝度値に基づいて、フレーム画像の全域における輝度値の分布を表すヒストグラム（「輝度値分布」の一例）を生成する。また、輝度値分布生成部２２は、生成されたフレーム画像の全域における輝度値の分布を表すヒストグラムに基づいて、フレーム画像の全域における輝度値の加重平均値Ｐｃを算出する。また、輝度値分布生成部２２は、フレーム画像における領域判定部２１によって判定された重要エリア毎に、当該重要エリアの各画素の輝度値に基づいて、当該重要エリアにおける輝度値の分布を表すヒストグラムを生成する。また、輝度値分布生成部２２は、フレーム画像における領域判定部２１によって判定された重要エリア毎に、生成された当該重要エリアにおける輝度値の分布を表すヒストグラムに基づいて、当該重要エリアにおける輝度値の加重平均値Ｐａを算出する。
The brightness value
変換パラメータ生成部２３は、領域判定部２１によって判定された非重要エリアおよび中間エリアについて、コントラスト変換パラメータを生成する。例えば、変換パラメータ生成部２３は、輝度値分布生成部２２によって算出された加重平均値Ｐｃと、全体処理部９０によって予め設定された非重要エリアのコントラスト幅の削減率Ｌ（％）とに基づいて、領域判定部２１によって判定された非重要エリアの変換パラメータを生成する。また、例えば、変換パラメータ生成部２３は、全体処理部９０によって予め設定された中間エリアのコントラスト幅の削減率Ｍ（％）に基づいて、領域判定部２１によって判定された中間エリアのコントラスト変換パラメータを生成する。この際、変換パラメータ生成部２３は、図５〜図７を用いて後述する、加重平均値Ｐｃと加重平均値Ｐａとの大小関係に応じて、第１〜第３の変換パラメータ生成方法のいずれかを用いて、中間エリアのコントラスト変換パラメータを生成する。なお、変換パラメータ生成部２３は、ＬＵＴ（Look Up Table）形式で、コントラスト変換パラメータを生成する。ＬＵＴ形式は、映像データのリアルタイム処理に適しているためである。
The conversion
重複エリア処理部２４は、領域判定部２１によって判定された中間エリア同士が重複するエリア（以下、「重複エリア」と示す）が存在する場合、図８〜図１０を用いて後述する第４の変換パラメータ生成方法を用いて、コントラスト幅がＮ（％）（但し、１００（％）＞Ｎ（％）＞Ｌ（％））である、当該重複エリアの変換パラメータを生成する。
When there is an area in which the intermediate areas determined by the
コントラスト変換部２５は、領域判定部２１によって判定された領域毎に、変換パラメータ生成部２３によって生成された変換パラメータに基づいて、ダイナミックレンジの圧縮処理を行うことにより、カメラモジュール１０によって撮像された映像に対するコントラスト変換を行う。具体的には、コントラスト変換部２５は、領域判定部２１によって判定された領域毎に、当該領域に含まれる複数の画素の各々の輝度値を、変換パラメータ生成部２３によって生成された変換パラメータに基づいて変換することにより圧縮する。例えば、コントラスト変換部２５は、重要エリアに対しては、画質を維持するために、コントラスト変換を行わない。また、例えば、コントラスト変換部２５は、非重要エリアに対しては、変換パラメータ生成部２３によって生成された、コントラスト幅がＬ（％）であるコントラスト変換パラメータを用いて、コントラスト変換を行う。また、例えば、コントラスト変換部２５は、中間エリアに対しては、変換パラメータ生成部２３によって生成された、コントラスト幅がＭ（％）であるコントラスト変換パラメータを用いて、コントラスト変換を行う。また、例えば、コントラスト変換部２５は、重複エリアに対しては、重複エリア処理部２４によって生成された、コントラスト幅がＮ（％）であるコントラスト変換パラメータを用いて、コントラスト変換を行う。このように、コントラスト変換部２５は、領域判定部２１によって判定された領域毎に、適切なコントラスト変換パラメータを用いたコントラスト変換を行うことにより、主観的な映像品質を維持しつつ、エンコード処理で生成される符号量を効率的に削減することができる。
The
（端末装置２００による処理の手順）
図３は、一実施形態に係る端末装置２００による処理の手順を示すフローチャートである。
(Procedure of processing by terminal device 200)
FIG. 3 is a flowchart showing a processing procedure by the terminal device 200 according to the embodiment.
まず、全体処理部９０が、端末装置２００のシステム（各モジュール）の初期設定を行い、カメラモジュール１０による撮像が可能な状態とする（ステップＳ１）。
First, the
次に、全体処理部９０が、カメラモジュール１０の撮影モードの設定を行う（ステップＳ２）。カメラモジュール１０の撮影モードの設定は、環境に応じて自動的に設定される自動設定項目（例えば、測光条件等）と、オペレータの操作入力により手動的に設定される手動設定項目とを含み得る。手動設定項目には、非重要エリアのコントラスト幅の削減率Ｌ（％）が含まれる。また、手動設定項目には、中間エリアのコントラスト幅の削減率Ｍ（％）が含まれる。また、手動設定項目には、中間エリアの段階数が含まれる。これらの設定値は、撮影環境、伝送回線の帯域、各種条件等に基づいて、好適な値が設定される。
Next, the
次に、端末装置２００は、ビデオ会議を開始する（ステップＳ３）。例えば、端末装置２００は、接続先の他の端末装置２００に通信要求を送信することにより、ビデオ会議を開始する。または、端末装置２００は、接続先の他の端末装置２００から送信された通信要求を受信することにより、ビデオ会議を開始する。なお、端末装置２００は、このタイミングで、録画装置１２０による録画を開始してもよい。
Next, the terminal device 200 starts a video conference (step S3). For example, the terminal device 200 starts a video conference by transmitting a communication request to another terminal device 200 to be connected. Alternatively, the terminal device 200 starts the video conference by receiving the communication request transmitted from the other terminal device 200 of the connection destination. The terminal device 200 may start recording by the
次に、映像特性解析部１３０および映像処理部２０が、カメラモジュール１０から出力された映像データを構成する一のフレーム画像を取得する（ステップＳ４）。
Next, the video
次に、映像処理部２０の領域判定部２１が、ステップＳ４で取得されたフレーム画像における、重要エリアおよび非重要エリアを判定する（ステップＳ５）。
Next, the
次に、映像処理部２０の輝度値分布生成部２２が、ステップＳ４で取得されたフレーム画像の全体の各画素の輝度値を集計することにより、フレーム画像全体における輝度値の分布を表すヒストグラムを生成する（ステップＳ６）。
Next, the brightness value
次に、映像処理部２０の輝度値分布生成部２２が、ステップＳ４で取得されたフレーム画像の各画素の輝度値を、ステップＳ５で判定された重要エリア毎に集計することにより、輝度値の分布を表すヒストグラムを、ステップＳ５で判定された重要エリア毎に生成する（ステップＳ７）。
Next, the brightness value
次に、映像処理部２０の輝度値分布生成部２２が、ステップＳ６で生成されたフレーム画像全体のヒストグラムに基づいて、フレーム画像全体の輝度値の加重平均値Ｐｃを算出する（ステップＳ８）。
Next, the brightness value
次に、映像処理部２０の変換パラメータ生成部２３が、ステップＳ８で算出された加重平均値Ｐｃと、ステップＳ２で設定された非重要エリアのコントラスト幅の削減率Ｌ（％）とに基づいて、ステップＳ５で判定された非重要エリアの変換パラメータを生成する（ステップＳ９）。
Next, the conversion
次に、映像処理部２０の輝度値分布生成部２２が、ステップＳ７で生成された重要エリア毎のヒストグラムに基づいて、重要エリア毎の輝度値の加重平均値Ｐａを算出する（ステップＳ１０）。例えば、ステップＳ５において、２つの重要エリアＡ１，Ａ２が判定された場合、輝度値分布生成部２２は、重要エリアＡ１のヒストグラムに基づく重要エリアＡ１の加重平均値Ｐａ１と、重要エリアＡ２のヒストグラムに基づく重要エリアＡ２の加重平均値Ｐａ２とを算出する。
Next, the brightness value
次に、映像処理部２０の変換パラメータ生成部２３が、条件｛Ｐａ＝Ｐｃ｝を満たすか否かを判断する（ステップＳ１１）。ここでは、加重平均値Ｐａと加重平均値Ｐｃとが完全に一致しなくともよく、視覚的にほぼ同一の輝度であると感じられる範囲内において、所定の許容誤差を有してもよい。
Next, the conversion
ステップＳ１１において、条件｛Ｐａ＝Ｐｃ｝を満たすと判断された場合（ステップＳ１１：Ｙｅｓ）、変換パラメータ生成部２３が、図７を用いて後述する第３の変換パラメータ生成方法により、ステップＳ２で設定された中間エリアのコントラスト幅の削減率Ｍ（％）に基づいて、中間エリアのコントラスト変換パラメータを生成する（ステップＳ１５）。そして、端末装置２００は、ステップＳ１６へ処理を進める。
When it is determined in step S11 that the condition {Pa = Pc} is satisfied (step S11: Yes), the conversion
一方、ステップＳ１１において、条件｛Ｐａ＝Ｐｃ｝を満たさないと判断された場合（ステップＳ１１：Ｙｅｓ）、変換パラメータ生成部２３が、条件｛Ｐａ＜Ｐｃ｝を満たすか否かを判断する（ステップＳ１２）。
On the other hand, if it is determined in step S11 that the condition {Pa = Pc} is not satisfied (step S11: Yes), the conversion
ステップＳ１２において、条件｛Ｐａ＜Ｐｃ｝を満たすと判断された場合（ステップＳ１２：Ｙｅｓ）、変換パラメータ生成部２３が、図５を用いて後述する第１の変換パラメータ生成方法により、ステップＳ２で設定された中間エリアのコントラスト幅の削減率Ｍ（％）に基づいて、中間エリアのコントラスト変換パラメータを生成する（ステップＳ１３）。そして、端末装置２００は、ステップＳ１６へ処理を進める。
When it is determined in step S12 that the condition {Pa <Pc} is satisfied (step S12: Yes), the conversion
一方、ステップＳ１２において、条件｛Ｐａ＜Ｐｃ｝を満たさないと判断された場合（ステップＳ１２：Ｎｏ）、変換パラメータ生成部２３が、図６を用いて後述する第２の変換パラメータ生成方法により、ステップＳ２で設定された中間エリアのコントラスト幅の削減率Ｍ（％）に基づいて、中間エリアのコントラスト変換パラメータを生成する（ステップＳ１４）。そして、端末装置２００は、ステップＳ１６へ処理を進める。
On the other hand, when it is determined in step S12 that the condition {Pa <Pc} is not satisfied (step S12: No), the conversion
ステップＳ１６では、変換パラメータ生成部２３が、全ての中間エリアのコントラスト変換パラメータを生成したか否かを判断する。
In step S16, the conversion
ステップＳ１６において、全ての中間エリアのコントラスト変換パラメータを生成していないと判断された場合（ステップＳ１２：Ｎｏ）、端末装置２００は、ステップＳ１１へ処理を戻す。 If it is determined in step S16 that the contrast conversion parameters of all the intermediate areas have not been generated (step S12: No), the terminal device 200 returns the process to step S11.
一方、ステップＳ１６において、全ての中間エリアのコントラスト変換パラメータを生成したと判断された場合（ステップＳ１２：Ｙｅｓ）、変換パラメータ生成部２３が、中間エリア同士が重複するエリア（以下、「重複エリア」と示す）があるか否かを判断する（ステップＳ１７）。
On the other hand, when it is determined in step S16 that the contrast conversion parameters of all the intermediate areas have been generated (step S12: Yes), the conversion
ステップＳ１７において、重複エリアがあると判断された場合（ステップＳ１７：Ｙｅｓ）、変換パラメータ生成部２３が、図８〜図１０を用いて後述する第４の変換パラメータ生成方法により、重複エリアの変換パラメータを生成する（ステップＳ１８）。そして、端末装置２００は、ステップＳ１９へ処理を進める。
When it is determined in step S17 that there is an overlapping area (step S17: Yes), the conversion
一方、ステップＳ１７において、重複エリアがないと判断された場合（ステップＳ１７：Ｎｏ）、端末装置２００は、ステップＳ１９へ処理を進める。 On the other hand, if it is determined in step S17 that there is no overlapping area (step S17: No), the terminal device 200 proceeds to step S19.
ステップＳ１９では、映像処理部２０のコントラスト変換部２５が、フレーム画像における中間エリアよび非重要エリアの各々について、変換パラメータ生成部２３によって生成された、対応する変換パラメータに従って、コントラスト変換処理を行う。
In step S19, the
そして、映像処理部２０は、ステップＳ１９によるコントラスト変換処理後のフレーム画像を、映像ＣＯＤＥＣ部３０へ出力する（ステップＳ２０）。
Then, the
その後、端末装置２００は、ビデオ会議が終了したか否かを判断する（ステップＳ２１）。ステップＳ２１において、ビデオ会議が終了していないと判断された場合（ステップＳ２１：Ｎｏ）、端末装置２００は、ステップＳ４へ処理を戻す。一方、ステップＳ２１において、ビデオ会議が終了したと判断された場合（ステップＳ２１：Ｙｅｓ）、端末装置２００は、図３に示す一連の処理を終了する。 After that, the terminal device 200 determines whether or not the video conference has ended (step S21). If it is determined in step S21 that the video conference has not ended (step S21: No), the terminal device 200 returns the process to step S4. On the other hand, when it is determined in step S21 that the video conference has ended (step S21: Yes), the terminal device 200 ends the series of processes shown in FIG.
（領域判定部２１によって判定される領域の一例）
図４は、一実施形態に係る領域判定部２１によって判定される領域の一例を示す図である。
(An example of an area determined by the area determination unit 21)
FIG. 4 is a diagram showing an example of a region determined by the
図４に示す例では、映像処理部２０の領域判定部２１によって、フレーム画像において、重要エリアＡ１と、重要エリアＡ２と、重要エリアＡ３とが判定されている。また、領域判定部２１によって、フレーム画像において、重要エリアＡ１，Ａ２，Ａ３以外の領域を、非重要エリアＣと判定されている。
In the example shown in FIG. 4, the
さらに、図４に示す例では、フレーム画像において、重要エリアＡ１と非重要エリアＣとの境界に中間エリアＢ１が設けられている。また、重要エリアＡ２と非重要エリアＣとの境界に中間エリアＢ２が設けられている。また、重要エリアＡ３と非重要エリアＣとの境界に中間エリアＢ３が設けられている。 Further, in the example shown in FIG. 4, in the frame image, the intermediate area B1 is provided at the boundary between the important area A1 and the non-important area C. Further, an intermediate area B2 is provided at the boundary between the important area A2 and the non-important area C. Further, an intermediate area B3 is provided at the boundary between the important area A3 and the non-important area C.
映像処理部２０のコントラスト変換部２５は、重要な情報が存在する重要エリアＡ１，Ａ２，Ａ３に対しては、コントラストの変換処理を行わない。これにより、コントラスト変換部２５は、重要エリアＡ１，Ａ２，Ａ３の画質劣化を抑制することができる。
The
一方、コントラスト変換部２５は、非重要エリアＣに対しては、コントラスト幅をＬ（％）にするコントラスト変換を行う。
On the other hand, the
但し、重要エリアＡ１，Ａ２，Ａ３の画質レベルと、非重要エリアＣの画質レベルとが大きく異なる場合、重要エリアＡ１，Ａ２，Ａ３と非重要エリアＣとの境界における不自然な画質レベル差が目立ってしまう虞がある。 However, if the image quality levels of the important areas A1, A2 and A3 and the image quality levels of the non-important areas C are significantly different, an unnatural image quality level difference at the boundary between the important areas A1, A2 and A3 and the non-important area C may occur. There is a risk that it will stand out.
そこで、本実施形態の端末装置２００は、重要エリアＡ１，Ａ２，Ａ３と非重要エリアＣとの境界に、中間エリアＢ１，Ｂ２，Ｂ３を設け、中間エリアＢ１，Ｂ２，Ｂ３に対しては、コントラスト幅をＭ（％）（但し、１００（％）＞Ｍ（％）＞Ｌ（％））にするコントラスト変換を行う。 Therefore, in the terminal device 200 of the present embodiment, intermediate areas B1, B2, and B3 are provided at the boundary between the important areas A1, A2, and A3 and the non-important area C, and the intermediate areas B1, B2, and B3 are provided with respect to the intermediate areas B1, B2, and B3. Contrast conversion is performed so that the contrast width is M (%) (however, 100 (%)> M (%)> L (%)).
これにより、コントラスト変換部２５は、重要エリアＡ１，Ａ２，Ａ３と、非重要エリアＣとの間の画質レベルの変化を緩やかにすることができ、したがって、重要エリアＡ１，Ａ２，Ａ３と、非重要エリアＣとの境界が目立たないようにすることができる。
As a result, the
但し、中間エリアＢ１，Ｂ２，Ｂ３のコントラストの範囲は、図５〜図７を用いて後述するように、変換パラメータ生成部２３によって生成される変換パラメータによって決定づけられる。
However, the contrast range of the intermediate areas B1, B2, and B3 is determined by the conversion parameters generated by the conversion
（第１の変換パラメータ生成方法）
図５は、一実施形態に係る変換パラメータ生成部２３による第１の変換パラメータ生成方法を説明するための図である。変換パラメータ生成部２３は、条件｛Ｐａ（重要エリアの加重平均値）＜Ｐｃ（フレーム画像全体の加重平均値）｝を満たすと判断された場合、以下に説明する第１の変換パラメータ生成方法を用いて、中間エリアのコントラスト変換パラメータを生成する。
(First conversion parameter generation method)
FIG. 5 is a diagram for explaining a first conversion parameter generation method by the conversion
図５（ａ）は、フレーム画像の全体における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、フレーム画像の全体における各画素の輝度値に基づいて生成される。また、図５（ａ）は、フレーム画像の全体における輝度値の加重平均値Ｐｃを示す。
FIG. 5A is a histogram showing the distribution of the luminance values in the entire frame image. This histogram is generated by the brightness value
図５（ｂ）は、フレーム画像の重要エリアＡ１（図４参照）における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、重要エリアＡ１における各画素の輝度値に基づいて生成される。また、図５（ｂ）は、重要エリアＡ１における輝度値の加重平均値Ｐａ１を示す。
FIG. 5B is a histogram showing the distribution of the luminance values in the important area A1 (see FIG. 4) of the frame image. This histogram is generated by the brightness value
図５（ｃ）は、コントラスト変換処理における輝度値の入力と出力の関係を表すグラフである。 FIG. 5C is a graph showing the relationship between the input and output of the luminance value in the contrast conversion process.
図５（ｃ）のグラフにおいて、破線で示される直線５０１は、重要エリアＡ１に適用されるものであり、コントラスト幅を削減しない場合の、輝度値の入力と出力の関係を表す。
In the graph of FIG. 5C, the
また、図５（ｃ）のグラフにおいて、実線で示される直線５０２は、非重要エリアＣ（図４参照）に適用されるものであり、コントラスト幅をＬ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 5C, the
また、図５（ｃ）のグラフにおいて、一点鎖線で示される直線５０３は、中間エリアＢ１（重要エリアＡ１と非重要エリアＣとの境界）に適用されるものであり、コントラスト幅をＭ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 5C, the
第１の変換パラメータ生成方法では、まず、変換パラメータ生成部２３は、図５（ｃ）に示すように、直線５０１の入力値と直線５０２の入力値とが、フレーム画像の全体における輝度値の加重平均値Ｐｃで交わるように、直線５０２を求める。
In the first conversion parameter generation method, first, in the conversion
次に、変換パラメータ生成部２３は、図５（ｃ）に示すように、直線５０３のコントラスト幅（Ｍ（％））が直線５０２のコントラスト幅（Ｌ（％））よりも低値側に拡大されるように（すなわち、低値側のコンストラストをカットしないように）、直線５０３を求める。
Next, as shown in FIG. 5C, the conversion
そして、変換パラメータ生成部２３は、求められた直線５０３を、中間エリアＢ１に適用する変換パラメータとして決定する。
Then, the conversion
上記した第１の変換パラメータ生成方法によれば、フレーム全体の輝度と比較して、重要エリアの輝度が比較的低い場合、中間エリアにおける輝度の低い領域において、重要エリアとの輝度差を小さくすることができ、これにより、重要エリアと非重要エリアとの境界を、より目立ちにくくすることができる。 According to the first conversion parameter generation method described above, when the brightness of the important area is relatively low as compared with the brightness of the entire frame, the brightness difference from the important area is reduced in the low brightness area in the intermediate area. This can make the boundary between the important area and the non-important area less noticeable.
（第２の変換パラメータ生成方法）
図６は、一実施形態に係る変換パラメータ生成部２３による第２の変換パラメータ生成方法を説明するための図である。変換パラメータ生成部２３は、条件｛Ｐａ＝Ｐｃ｝および条件｛Ｐａ＜Ｐｃ｝のいずれも満たさないと判断された場合、以下に説明する第２の変換パラメータ生成方法を用いて、中間エリアのコントラスト変換パラメータを生成する。
(Second conversion parameter generation method)
FIG. 6 is a diagram for explaining a second conversion parameter generation method by the conversion
図６（ａ）は、フレーム画像の全体における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、フレーム画像の全体における各画素の輝度値に基づいて生成される。また、図６（ａ）は、フレーム画像の全体における輝度値の加重平均値Ｐｃを示す。
FIG. 6A is a histogram showing the distribution of the luminance values in the entire frame image. This histogram is generated by the brightness value
図６（ｂ）は、フレーム画像の重要エリアＡ２（図４参照）における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、重要エリアＡ２における各画素の輝度値に基づいて生成される。また、図６（ｂ）は、重要エリアＡ２における輝度値の加重平均値Ｐａ２を示す。
FIG. 6B is a histogram showing the distribution of the luminance values in the important area A2 (see FIG. 4) of the frame image. This histogram is generated by the brightness value
図６（ｃ）は、コントラスト変換処理における輝度値の入力と出力の関係を表すグラフである。 FIG. 6C is a graph showing the relationship between the input and output of the luminance value in the contrast conversion process.
図６（ｃ）のグラフにおいて、破線で示される直線６０１は、重要エリアＡ２に適用されるものであり、コントラスト幅を削減しない場合の、輝度値の入力と出力の関係を表す。
In the graph of FIG. 6C, the
また、図６（ｃ）のグラフにおいて、実線で示される直線６０２は、非重要エリアＣに適用されるものであり、コントラスト幅をＬ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 6C, the
また、図６（ｃ）のグラフにおいて、一点鎖線で示される直線６０３は、中間エリアＢ２（重要エリアＡ２と非重要エリアＣとの境界）に適用されるものであり、コントラスト幅をＭ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 6C, the
第２の変換パラメータ生成方法では、まず、変換パラメータ生成部２３は、図６（ｃ）に示すように、直線６０１の入力値と直線６０２の入力値とが、フレーム画像の全体における輝度値の加重平均値Ｐｃで交わるように、直線６０２を求める。
In the second conversion parameter generation method, first, in the conversion
次に、変換パラメータ生成部２３は、図６（ｃ）に示すように、直線６０３のコントラスト幅（Ｍ（％））が直線６０２のコントラスト幅（Ｌ（％））よりも高値側に拡大されるように（すなわち、高値側のコンストラストをカットしないように）、直線６０３を求める。
Next, in the conversion
そして、変換パラメータ生成部２３は、求められた直線６０３を、中間エリアＢ２に適用する変換パラメータとして決定する。
Then, the conversion
上記した第２の変換パラメータ生成方法によれば、フレーム全体の輝度と比較して、重要エリアの輝度が比較的高い場合、中間エリアにおける輝度の高い領域において、重要エリアとの輝度差を小さくすることができ、これにより、重要エリアと非重要エリアとの境界を、より目立ちにくくすることができる。 According to the second conversion parameter generation method described above, when the brightness of the important area is relatively high as compared with the brightness of the entire frame, the brightness difference from the important area is reduced in the high brightness area in the intermediate area. This can make the boundary between the important area and the non-important area less noticeable.
（第３の変換パラメータ生成方法）
図７は、一実施形態に係る変換パラメータ生成部２３による第３の変換パラメータ生成方法を説明するための図である。変換パラメータ生成部２３は、条件｛Ｐａ＝Ｐｃ｝を満たすと判断された場合、以下に説明する第３の変換パラメータ生成方法を用いて、中間エリアのコントラスト変換パラメータを生成する。
(Third conversion parameter generation method)
FIG. 7 is a diagram for explaining a third conversion parameter generation method by the conversion
図７（ａ）は、フレーム画像の全体における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、フレーム画像の全体における各画素の輝度値に基づいて生成される。また、図７（ａ）は、フレーム画像の全体における輝度値の加重平均値Ｐｃを示す。
FIG. 7A is a histogram showing the distribution of the luminance values in the entire frame image. This histogram is generated by the brightness value
図７（ｂ）は、フレーム画像の重要エリアＡ３（図４参照）における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、重要エリアＡ３における各画素の輝度値に基づいて生成される。また、図７（ｂ）は、重要エリアＡ３における輝度値の加重平均値Ｐａ３を示す。
FIG. 7B is a histogram showing the distribution of the luminance values in the important area A3 (see FIG. 4) of the frame image. This histogram is generated by the brightness value
図７（ｃ）は、コントラスト変換処理における輝度値の入力と出力の関係を表すグラフである。 FIG. 7C is a graph showing the relationship between the input and output of the luminance value in the contrast conversion process.
図７（ｃ）のグラフにおいて、破線で示される直線７０１は、重要エリアＡ３に適用されるものであり、コントラスト幅を削減しない場合の、輝度値の入力と出力の関係を表す。
In the graph of FIG. 7C, the
また、図７（ｃ）のグラフにおいて、実線で示される直線７０２は、非重要エリアＣに適用されるものであり、コントラスト幅をＬ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 7C, the
また、図７（ｃ）のグラフにおいて、一点鎖線で示される直線７０３は、中間エリアＢ３（重要エリアＡ３と非重要エリアＣとの境界）に適用されるものであり、コントラスト幅をＭ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 7C, the
第３の変換パラメータ生成方法では、まず、変換パラメータ生成部２３は、図７（ｃ）に示すように、直線７０１の入力値と直線７０２の入力値とが、フレーム画像の全体における輝度値の加重平均値Ｐｃで交わるように、直線７０２を求める。
In the third conversion parameter generation method, first, in the conversion
次に、変換パラメータ生成部２３は、図７（ｃ）に示すように、直線７０３のコントラスト幅（Ｍ（％））が直線７０２のコントラスト幅（Ｌ（％））よりも高値側と低値側との双方に拡大されるように（すなわち、高値側のコンストラストおよび低値側のコンストラストの各々が完全にカットされないように）、直線７０３を求める。
Next, in the conversion
そして、変換パラメータ生成部２３は、求められた直線７０３を、中間エリアＢ３に適用する変換パラメータとして決定する。
Then, the conversion
上記した第３の変換パラメータ生成方法によれば、フレーム全体の輝度と比較して、重要エリアの輝度が近似する場合、中間エリアにおける輝度の加重平均値Ｐｃ近傍の領域において、重要エリアとの輝度差を小さくすることができ、これにより、重要エリアと非重要エリアとの境界を、より目立ちにくくすることができる。 According to the third conversion parameter generation method described above, when the brightness of the important area is close to the brightness of the entire frame, the brightness with the important area is in the region near the weighted average value Pc of the brightness in the intermediate area. The difference can be reduced, which makes the boundary between the important area and the non-important area less noticeable.
（領域判定部２１によって判定される領域の他の一例）
図８は、一実施形態に係る領域判定部２１によって判定される領域の他の一例を示す図である。
(Another example of the area determined by the area determination unit 21)
FIG. 8 is a diagram showing another example of the region determined by the
図８に示す例では、映像処理部２０の領域判定部２１によって、フレーム画像において、重要エリアＡ１と、重要エリアＡ２とが判定されている。また、領域判定部２１によって、フレーム画像において、重要エリアＡ１，Ａ２以外の領域を、非重要エリアＣと判定されている。
In the example shown in FIG. 8, the
さらに、図８に示す例では、フレーム画像において、重要エリアＡ１と非重要エリアＣとの境界に中間エリアＢ１が設けられている。また、重要エリアＡ２と非重要エリアＣとの境界に中間エリアＢ２が設けられている。 Further, in the example shown in FIG. 8, in the frame image, the intermediate area B1 is provided at the boundary between the important area A1 and the non-important area C. Further, an intermediate area B2 is provided at the boundary between the important area A2 and the non-important area C.
ここで、図８に示す例では、フレーム画像において、中間エリアＢ１の一部と中間エリアＢ２の一部とが重複する、重複エリアＤが存在する。 Here, in the example shown in FIG. 8, in the frame image, there is an overlapping area D in which a part of the intermediate area B1 and a part of the intermediate area B2 overlap.
変換パラメータ生成部２３は、中間エリアＢ１については、図５を用いて例示したように、非重要エリアＣよりも輝度値の低い方向へコントラスト幅が広くなるように、コントラスト幅をＭ（％）に削減するための変換パラメータを生成する。
As illustrated with reference to FIG. 5, the conversion
また、変換パラメータ生成部２３は、中間エリアＢ２については、図６を用いて例示したように、非重要エリアＣよりも輝度値の高い方向へコントラスト幅が広くなるように、コントラスト幅をＭ（％）に削減するための変換パラメータを生成する。
Further, the conversion
但し、重複エリアＤについては、重複エリア処理部２４が、図９および図１０を用いて説明する第４の変換パラメータ生成方法によって、コントラスト幅をＮ（％）（但し、１００（％）＞Ｎ（％）＞Ｌ（％））に削減するための変換パラメータを生成する。
However, with respect to the overlapping area D, the overlapping
（第４の変換パラメータ生成方法）
図９は、一実施形態に係る重複エリア処理部２４による第４の変換パラメータ生成方法を説明するための図である。図１０は、一実施形態に係る重複エリア処理部２４による重複エリアＤの変換パラメータの生成例を示す図である。
(Fourth conversion parameter generation method)
FIG. 9 is a diagram for explaining a fourth conversion parameter generation method by the overlapping
重複エリア処理部２４は、図８に示す重複エリアＤについては、以下に説明する第４の変換パラメータ生成方法を用いて、当該重複エリアＤのコントラスト変換パラメータを生成する。
For the overlapping area D shown in FIG. 8, the overlapping
図９は、コントラスト変換処理における輝度値の入力と出力の関係を表すグラフである。図９のグラフにおいて、破線で示される直線９０１は、重要エリアＡ１，Ａ２に適用されるものであり、コントラスト幅を削減しない場合の、輝度値の入力と出力の関係を表す。また、図９のグラフにおいて、実線で示される直線９０２は、非重要エリアＣに適用されるものであり、コントラスト幅をＬ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
FIG. 9 is a graph showing the relationship between the input and output of the luminance value in the contrast conversion process. In the graph of FIG. 9, the
また、図９のグラフにおいて、一点鎖線で示される直線９０３は、重複エリアＤに適用されるものであり、コントラスト幅をＮ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 9, the
重複エリア処理部２４は、図９に示すように、直線９０３のコントラスト幅（Ｎ（％））が直線９０２のコントラスト幅（Ｌ（％））よりも高値側と低値側との双方に拡大されるように（すなわち、高値側のコンストラストおよび低値側のコンストラストの各々が完全にカットされないように）、直線９０３を求める。この際、重複エリア処理部２４は、図１０（ａ）〜（ｃ）に示すように、中間エリアＢ１のコントラスト幅（Ｍ（％））と、中間エリアＢ２のコントラスト幅（Ｍ（％））とのＯＲ範囲を、直線９０３（すなわち、重複エリアＤ）のコントラスト幅（Ｎ（％））とする。そして、重複エリア処理部２４は、求められた直線９０３を、重複エリアＤに適用する変換パラメータとして決定する。
As shown in FIG. 9, the overlapping
（第５の変換パラメータ生成方法）
図１１は、一実施形態に係る変換パラメータ生成部２３による第５の変換パラメータ生成方法を説明するための図である。変換パラメータ生成部２３は、重要エリアＡにおける輝度値の分布が比較的狭い範囲を有するものである場合、図５〜図７を用いて説明した第１〜第３の変換パラメータ生成方法の代わりに、以下に説明する第５の変換パラメータ生成方法を用いて、全てのエリアに共通するコントラスト変換パラメータを生成してもよい。
(Fifth conversion parameter generation method)
FIG. 11 is a diagram for explaining a fifth conversion parameter generation method by the conversion
図１１（ａ）は、フレーム画像の全体における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、フレーム画像の全体における各画素の輝度値に基づいて生成される。また、図１１（ａ）は、フレーム画像の全体における輝度値の加重平均値Ｐｃを示す。
FIG. 11A is a histogram showing the distribution of the luminance values in the entire frame image. This histogram is generated by the brightness value
図１１（ｂ）は、フレーム画像の重要エリアＡにおける輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、重要エリアＡにおける各画素の輝度値に基づいて生成される。図１１（ｂ）に示すように、重要エリアＡにおける輝度値の分布は、比較的狭い範囲を有するものとなっている。また、図１１（ｂ）は、重要エリアＡにおける輝度値の加重平均値Ｐａを示す。なお、第５の変換パラメータは、重要エリアの輝度分布が狭い場合に適用しやすく、全てのエリアに共通するコントラスト変換パラメータを生成することで、コントラストを縮小しても、中間エリアを持つことなく重要エリアと非重要エリアとの境界を目立たなくすることが可能である。
FIG. 11B is a histogram showing the distribution of the luminance values in the important area A of the frame image. This histogram is generated by the brightness value
図１１（ｃ）は、コントラスト変換処理における輝度値の入力と出力の関係を表すグラフである。 FIG. 11C is a graph showing the relationship between the input and output of the luminance value in the contrast conversion process.
図１１（ｃ）のグラフにおいて、破線で示される直線１１０１は、コントラスト幅を削減しない場合の、輝度値の入力と出力の関係を表す。
In the graph of FIG. 11C, the
また、図１１（ｃ）のグラフにおいて、実線で示される直線１１０２は、フレーム画像の全てのエリアに適用されるものであり、コントラスト幅をＬ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 11C, the
第５の変換パラメータ生成方法では、変換パラメータ生成部２３は、図１１（ｃ）に示すように、輝度値の入力値が加重平均値Ｐａ近傍である場合には、コントラストを維持し、輝度値の入力値が加重平均値Ｐａ近傍ではない場合には、コントラストを削減するように、コントラスト幅をＬ（％）に削減する直線１１０２を求める。そして、変換パラメータ生成部２３は、求められた直線１１０２を、フレーム画像の全てのエリアに適用する変換パラメータとして決定する。
In the fifth conversion parameter generation method, as shown in FIG. 11C, the conversion
第５の変換パラメータ生成方法によれば、一部の領域のコントラストの維持を行いつつ、その他の領域に対しては、エリアの種別を問わない共通の変換パラメータを用いて、コントラスト変換を行うため、複数のエリア間の相対的な輝度関係を維持しつつ、符号化されるデータ量を削減することができる。 According to the fifth conversion parameter generation method, while maintaining the contrast of a part of the area, the contrast conversion is performed for the other area by using the common conversion parameter regardless of the area type. , The amount of encoded data can be reduced while maintaining the relative luminance relationship between the plurality of areas.
（第６の変換パラメータ生成方法）
図１２は、一実施形態に係る変換パラメータ生成部２３による第６の変換パラメータ生成方法を説明するための図である。変換パラメータ生成部２３は、重要エリアＡにおける輝度値の分布が比較的広い範囲を有するものである場合、図５〜図７を用いて説明した第１〜第３の変換パラメータ生成方法の代わりに、以下に説明する第６の変換パラメータ生成方法を用いて、全てのエリアに共通するコントラスト変換パラメータを生成してもよい。
(Sixth conversion parameter generation method)
FIG. 12 is a diagram for explaining a sixth conversion parameter generation method by the conversion
図１２（ａ）は、フレーム画像の全体における輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、フレーム画像の全体における各画素の輝度値に基づいて生成される。また、図１２（ａ）は、フレーム画像の全体における輝度値の加重平均値Ｐｃを示す。
FIG. 12A is a histogram showing the distribution of the luminance values in the entire frame image. This histogram is generated by the brightness value
図１２（ｂ）は、フレーム画像の重要エリアＡにおける輝度値の分布を表すヒストグラムである。このヒストグラムは、輝度値分布生成部２２によって、重要エリアＡにおける各画素の輝度値に基づいて生成される。図１２（ｂ）に示すように、重要エリアＡにおける輝度値の分布は、比較的広い範囲を有するものとなっている。また、図１２（ｂ）は、重要エリアＡにおける輝度値の加重平均値Ｐａを示す。なお、第６の変換パラメータは、重要エリアの輝度分布が狭い場合に適用しやすく、全てのエリアに共通するコントラスト変換パラメータを生成することで、コントラストを縮小しても、中間エリアを持つことなく重要エリアと非重要エリアとの境界を目立たなくすることが可能である。
FIG. 12B is a histogram showing the distribution of the luminance values in the important area A of the frame image. This histogram is generated by the brightness value
図１２（ｃ）は、コントラスト変換処理における輝度値の入力と出力の関係を表すグラフである。 FIG. 12C is a graph showing the relationship between the input and output of the luminance value in the contrast conversion process.
図１２（ｃ）のグラフにおいて、破線で示される直線１２０１は、コントラスト幅を削減しない場合の、輝度値の入力と出力の関係を表す。
In the graph of FIG. 12C, the
また、図１２（ｃ）のグラフにおいて、実線で示される直線１２０２は、フレーム画像の全てのエリアに適用されるものであり、コントラスト幅をＬ（％）に削減した場合の、輝度値の入力と出力の関係を表す。
Further, in the graph of FIG. 12C, the
第６の変換パラメータ生成方法では、変換パラメータ生成部２３は、図１２（ｃ）に示すように、直線１２０１と直線１２０２とが加重平均値Ｐａで交差するように、コントラスト幅をＬ（％）に削減する直線１１０２を求める。そして、変換パラメータ生成部２３は、求められた直線１２０２を、フレーム画像の全てのエリアに適用する変換パラメータとして決定する。
In the sixth conversion parameter generation method, as shown in FIG. 12C, the conversion
第６の変換パラメータ生成方法によれば、一部の領域のコントラストの維持を行わず、全ての領域に対して、エリアの種別を問わない共通の変換パラメータを用いて、コントラスト変換を行うため、複数のエリア間の相対的な輝度関係を維持しつつ、符号化されるデータ量を削減することができる。 According to the sixth conversion parameter generation method, the contrast of some areas is not maintained, and the contrast conversion is performed for all areas by using the common conversion parameters regardless of the area type. The amount of encoded data can be reduced while maintaining the relative luminance relationship between the plurality of areas.
以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to these embodiments, and various modifications or modifications are made within the scope of the gist of the present invention described in the claims. It can be changed.
なお、本発明が適用される用途、装置、およびシステムは、上記実施形態で説明した用途、装置、およびシステムに限らない。すなわち、本発明は、映像データにおけるフレーム画像のコントラスト幅を狭めることによって、映像データにおけるデータ量の削減を目的とするものであれば、如何なる用途、装置、およびシステムにも適用可能である。 The applications, devices, and systems to which the present invention is applied are not limited to the applications, devices, and systems described in the above embodiments. That is, the present invention can be applied to any application, apparatus, and system as long as the purpose is to reduce the amount of data in the video data by narrowing the contrast width of the frame image in the video data.
また、上記実施形態では、人の顔が検知されたエリアおよび人の動きが検知されたエリアを「重要エリア」としているが、これに限らない。すなわち、「重要エリア」は、利用目的等に応じて比較的高画質とすることが好ましい被写体（例えば、文字や画像が示されている資料、ホワイトボード、監視カメラにおける人物等）が映し出されている領域であれば、如何なる領域であってもよい。 Further, in the above embodiment, the area where the human face is detected and the area where the movement of the person is detected are defined as "important areas", but the present invention is not limited to this. That is, in the "important area", a subject (for example, a material showing characters or images, a whiteboard, a person in a surveillance camera, etc.) whose image quality is preferably relatively high according to the purpose of use is projected. Any area may be used as long as it is in the area.
１ ビデオ会議システム（映像送受信システム）
１０ カメラモジュール（撮像装置）
２０ 映像処理部
２１ 領域判定部
２２ 輝度値分布生成部
２３ 変換パラメータ生成部
２４ 重複エリア処理部
２５ コントラスト変換部
３０ 映像ＣＯＤＥＣ部（符号化部）
１３０ 映像特性解析部
１３１ 検知部
１３２ 動き判定部
２００，２００Ａ，２００Ｂ 端末装置（画像処理装置）
３００ サーバ
４００ ネットワーク
Ａ１，Ａ２，Ａ３ 重要エリア
Ｂ１，Ｂ２，Ｂ３ 中間エリア
Ｃ 非重要エリア
Ｄ 重複エリア
1 Video conferencing system (video transmission / reception system)
10 Camera module (imaging device)
20
130 Video
300
Claims (12)
前記領域単位で輝度値分布を生成する輝度値分布生成部と、
前記領域単位で生成された前記輝度値分布に応じた圧縮方法を用いて、前記複数の領域のうちの特定の領域のダイナミックレンジを圧縮することにより、当該特定の領域のコントラスト変換を行うコントラスト変換部と
を備えることを特徴とする画像処理装置。 An area determination unit that determines a plurality of areas from a frame image in a video,
A luminance value distribution generator that generates a luminance value distribution for each region,
Contrast conversion that performs contrast conversion in a specific region by compressing the dynamic range of a specific region among the plurality of regions using a compression method according to the brightness value distribution generated in each region. An image processing device characterized by having a unit.
前記フレーム画像から、重要エリアと、非重要エリアとを判定するとともに、前記重要エリアと前記非重要エリアとの境界である中間エリアを前記特定の領域として判定し、
前記コントラスト変換部は、
前記領域単位で生成された前記輝度値分布に応じた圧縮方法を用いて、前記中間エリアのダイナミックレンジを圧縮することにより、当該中間エリアのコントラスト変換を行う
ことを特徴とする請求項１に記載の画像処理装置。 The area determination unit
From the frame image, the important area and the non-important area are determined, and the intermediate area which is the boundary between the important area and the non-important area is determined as the specific area.
The contrast conversion unit
The first aspect of claim 1, wherein the contrast conversion of the intermediate area is performed by compressing the dynamic range of the intermediate area by using the compression method according to the brightness value distribution generated in the area unit. Image processing device.
前記重要エリアのダイナミックレンジよりも前記中間エリアのダイナミックレンジが狭くなり、且つ、前記中間エリアのダイナミックレンジよりも前記非重要エリアのダイナミックレンジが狭くなるように、前記非重要エリアおよび前記中間エリアのダイナミックレンジの圧縮処理を行う
ことを特徴とする請求項２に記載の画像処理装置。 The contrast conversion unit
The non-important area and the intermediate area are narrowed so that the dynamic range of the intermediate area is narrower than the dynamic range of the important area and the dynamic range of the non-important area is narrower than the dynamic range of the intermediate area. The image processing apparatus according to claim 2, wherein the dynamic range compression processing is performed.
前記重要エリアに対するコントラスト変換を行わない
ことを特徴とする請求項３に記載の画像処理装置。 The contrast conversion unit
The image processing apparatus according to claim 3, wherein the contrast conversion for the important area is not performed.
前記フレーム画像の全域における輝度値の加重平均値Ｐｃと、
前記重要エリアにおける輝度値の加重平均値Ｐａと
をさらに算出し、
前記コントラスト変換部は、
前記加重平均値Ｐｃと前記加重平均値Ｐａとの大小関係に応じた変換パラメータを用いて、前記中間エリアのダイナミックレンジの圧縮処理を行う
ことを特徴とする請求項３または４に記載の画像処理装置。 The brightness value distribution generator
The weighted average value Pc of the brightness value in the entire area of the frame image and
Further calculating the weighted average value Pa of the luminance value in the important area,
The contrast conversion unit
The image processing according to claim 3 or 4, wherein the dynamic range of the intermediate area is compressed by using the conversion parameters according to the magnitude relationship between the weighted average value Pc and the weighted average value Pa. Device.
前記加重平均値Ｐａが前記加重平均値Ｐｃよりも小さい場合、前記中間エリアのダイナミックレンジを、前記非重要エリアのダイナミックレンジよりも低値側に拡大されるように圧縮する
ことを特徴とする請求項５に記載の画像処理装置。 The contrast conversion unit
When the weighted average value Pa is smaller than the weighted average value Pc, the claim is characterized in that the dynamic range of the intermediate area is compressed so as to be expanded to a lower value side than the dynamic range of the non-important area. Item 5. The image processing apparatus according to item 5.
前記加重平均値Ｐａが前記加重平均値Ｐｃよりも大きい場合、前記中間エリアのダイナミックレンジを、前記非重要エリアのダイナミックレンジよりも高値側に拡大されるように圧縮する
ことを特徴とする請求項５または６に記載の画像処理装置。 The contrast conversion unit
The claim is characterized in that when the weighted average value Pa is larger than the weighted average value Pc, the dynamic range of the intermediate area is compressed so as to be expanded to a higher value side than the dynamic range of the non-important area. The image processing apparatus according to 5 or 6.
前記加重平均値Ｐａと前記加重平均値Ｐｃとが略同じである場合、前記中間エリアのダイナミックレンジを、前記非重要エリアのダイナミックレンジよりも低値側および高値側の各々に拡大されるように圧縮する
ことを特徴とする請求項５から７のいずれか一項に記載の画像処理装置。 The contrast conversion unit
When the weighted average value Pa and the weighted average value Pc are substantially the same, the dynamic range of the intermediate area is expanded to each of the low value side and the high value side of the dynamic range of the non-important area. The image processing apparatus according to any one of claims 5 to 7, wherein the image processing apparatus is compressed.
複数の前記中間エリア同士が重なる領域である重複エリアが存在する場合、前記複数の中間エリアの各々の前記ダイナミックレンジを包含するように、当該重複エリアのダイナミックレンジを圧縮する
ことを特徴とする請求項５から８のいずれか一項に記載の画像処理装置。 The contrast conversion unit
When there is an overlapping area in which a plurality of the intermediate areas overlap each other, the claim is characterized in that the dynamic range of the overlapping area is compressed so as to include the dynamic range of each of the plurality of intermediate areas. Item 6. The image processing apparatus according to any one of Items 5 to 8.
前記領域単位で輝度値分布を生成する輝度値分布生成工程と、
前記領域単位で生成された前記輝度値分布に応じた圧縮方法を用いて、前記複数の領域のうちの特定の領域のダイナミックレンジを圧縮することにより、当該特定の領域のコントラスト変換を行うコントラスト変換工程と
を含むことを特徴とする画像処理方法。 An area determination process for determining a plurality of areas from a frame image in a video,
The brightness value distribution generation step of generating the brightness value distribution for each region, and the
Contrast conversion that performs contrast conversion of a specific region by compressing the dynamic range of a specific region among the plurality of regions using a compression method according to the brightness value distribution generated for each region. An image processing method characterized by including steps.
前記複数の端末装置のうちの少なくともいずれか一つは、
映像におけるフレーム画像から、複数の領域を判定する領域判定部と、
前記領域単位で輝度値分布を生成する輝度値分布生成部と、
前記領域単位で生成された前記輝度値分布に応じた圧縮方法を用いて、前記複数の領域のうちの特定の領域のダイナミックレンジを圧縮することにより、当該特定の領域のコントラスト変換を行うコントラスト変換部と
を備えることを特徴とする映像送受信システム。 It is a video transmission / reception system equipped with multiple terminal devices.
At least one of the plurality of terminal devices
An area determination unit that determines a plurality of areas from a frame image in a video,
A luminance value distribution generator that generates a luminance value distribution for each region,
Contrast conversion that performs contrast conversion in a specific region by compressing the dynamic range of a specific region among the plurality of regions using a compression method according to the brightness value distribution generated in each region. A video transmission / reception system characterized by having a unit.
映像におけるフレーム画像から、複数の領域を判定する領域判定部、
前記領域単位で輝度値分布を生成する輝度値分布生成部、および、
前記領域単位で生成された前記輝度値分布に応じた圧縮方法を用いて、前記複数の領域のうちの特定の領域のダイナミックレンジを圧縮することにより、当該特定の領域のコントラスト変換を行うコントラスト変換部
として機能させるためのプログラム。 Computer,
Area determination unit that determines multiple areas from the frame image in the video,
The brightness value distribution generator that generates the brightness value distribution for each area, and the area-by-region unit.
Contrast conversion that performs contrast conversion in a specific region by compressing the dynamic range of a specific region among the plurality of regions using a compression method according to the brightness value distribution generated in each region. A program to function as a department.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020009089 | 2020-01-23 | ||
| JP2020009089 | 2020-01-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021117981A true JP2021117981A (en) | 2021-08-10 |
Family
ID=77175735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020199133A Pending JP2021117981A (en) | 2020-01-23 | 2020-11-30 | Image processing apparatus, image processing method, video transmission and reception system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021117981A (en) |
-
2020
- 2020-11-30 JP JP2020199133A patent/JP2021117981A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08214305A (en) | Video encoder control system | |
| JP2006245746A (en) | Monitoring system | |
| JP7334470B2 (en) | VIDEO PROCESSING DEVICE, VIDEO CONFERENCE SYSTEM, VIDEO PROCESSING METHOD, AND PROGRAM | |
| JPH04219089A (en) | Image encoding device | |
| US20190306462A1 (en) | Image processing apparatus, videoconference system, image processing method, and recording medium | |
| JP2008311910A (en) | Communication equipment and conference system | |
| US20090322941A1 (en) | Image processing device | |
| JP2008005349A (en) | Video encoder, video transmission apparatus, video encoding method, and video transmission method | |
| US20040160645A1 (en) | Apparatus and program for image processing | |
| JP2021117981A (en) | Image processing apparatus, image processing method, video transmission and reception system, and program | |
| US10762913B2 (en) | Image-based techniques for audio content | |
| JP2006197096A (en) | Television telephone | |
| CN114866763A (en) | Video quality evaluation method and device, terminal equipment and storage medium | |
| JP3033622B2 (en) | TV conference system | |
| JP2005064785A (en) | Image transmission device, image reproducing device, and image transmission system | |
| US8107525B1 (en) | Variable bit rate video CODEC using adaptive tracking for video conferencing | |
| KR20070075134A (en) | Method for process multimedia data adaptive to bandwidth and host apparatus | |
| CN113160342B (en) | Encoding method and device based on feedback, storage medium and electronic equipment | |
| JP5004680B2 (en) | Image processing apparatus, image processing method, video conference system, video conference method, program, and recording medium | |
| JP2007060498A (en) | Jpeg compression equipment | |
| JP2008113088A (en) | Door phone system | |
| JP3173809B2 (en) | Television conference system | |
| JP6651984B2 (en) | INFORMATION PROCESSING DEVICE, CONFERENCE SYSTEM, AND INFORMATION PROCESSING DEVICE CONTROL METHOD | |
| JP2014179807A (en) | Image processing apparatus, image processing system, image processing method and program | |
| JPH0583704A (en) | Picture transmitter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240926 |