JP2010250140A

JP2010250140A - Video signal processor and video signal processing program

Info

Publication number: JP2010250140A
Application number: JP2009100529A
Authority: JP
Inventors: Natsuki Saito; 夏樹齋藤; Takeshi Hirashima; 毅平島
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-04-17
Filing date: 2009-04-17
Publication date: 2010-11-04

Abstract

<P>PROBLEM TO BE SOLVED: To solve such a problem that there are many cases that sufficient visual environment adaptation correction processing is not performed in a conventional method using an external light sensor, such as when the background color of display is drastically changed, when a window for taking in external light exists behind the display, or the like. <P>SOLUTION: Visual environment adaptation correction processing is not performed by using visual environment information obtained by a visual environment information obtaining section as it is, but such a calculation that the obtained visual environment information is closest to which one of the visual environment information which is string-attached with adaptation target information obtained by other means and previously stored in a visual environment information database is performed, to perform visual environment adaptation processing by using the adaptation target information string-attached with the selected visual environment information. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、映像処理表示装置及び映像信号処理プログラムに関する。特に、１つまたは複数の視環境情報を蓄えるための視環境データベースと、データベース内の視環境情報と組み合わせて現在の視環境情報を推定するための光センサーやクロック等を持ち、これら情報を元に視環境推定を行った上で、ユーザー視覚の順応予測を行い、当該視環境での鑑賞に好適な画質補正を行ったうえで表示を行う映像処理表示装置及び映像信号処理プログラムに関する。 The present invention relates to a video processing display device and a video signal processing program. In particular, it has a visual environment database for storing one or more visual environment information and an optical sensor or clock for estimating the current visual environment information in combination with the visual environment information in the database. The present invention relates to a video processing display device and a video signal processing program that perform display prediction after performing visual environment estimation, performing adaptation prediction of user vision, performing image quality correction suitable for viewing in the visual environment.

従来、異なる視環境の下での色の見えを統一するために、色の見えモデルと呼ばれるモデルを用いた視覚の順応予測及び補正のアルゴリズムが用いられてきた。一例として、ｉＣＡＭ０６が存在する（例えば、非特許文献１等）。 Conventionally, visual adaptation prediction and correction algorithms using a model called a color appearance model have been used to unify the color appearance under different viewing environments. As an example, there is iCAM06 (for example, Non-Patent Document 1).

ｉＣＡＭ０６では、ユーザーの視覚が順応する目標となる領域の輝度、色見えを計算したい対象と、当該環境における白色のＸＹＺ三刺激値等を用いて、まず順応目標輝度の明るさに応じた順応の度合いを求め、これを用いて対象のＸＹＺ三刺激値を白色のＸＹＺ三刺激値に近づけるという方法を用いる。
これによって、視環境の照明条件の変動に対して、色見えが変化させないような補正が実現される。しかし、この方法では補正に先立って順応目標領域の輝度・色度を与える必要があり、これらの取得方法が問題となる。 In iCAM06, using the target to calculate the luminance and color appearance of the target area to which the user's vision adapts, and the white XYZ tristimulus values in the environment, first the adaptation according to the brightness of the adaptation target luminance is performed. A method is used in which the degree is obtained and the XYZ tristimulus value of the target is approximated to the white XYZ tristimulus value using the degree.
As a result, a correction that does not change the color appearance with respect to a change in the illumination condition of the visual environment is realized. However, in this method, it is necessary to give the luminance and chromaticity of the adaptation target area prior to correction, and these acquisition methods are problematic.

また、ＴＶやモニター等の表示装置においては、従来、照度センサーの出力値をもとに設置環境の明るさを計算し、明るい環境では表示輝度を上げることで映像を見やすくし、暗い環境では表示輝度を下げることで映像のまぶしさを抑えるといった制御が広く知られている。さらに、照明の色度に応じて色順応予測を行い、色の見えが一定になるように表示色を自動補正するような制御の方法が知られている（例えば、特許文献１等）。 Also, in display devices such as TVs and monitors, conventionally, the brightness of the installation environment is calculated based on the output value of the illuminance sensor, and the display brightness is increased in a bright environment to make it easier to see the image. Controls that reduce glare by reducing brightness are widely known. Furthermore, a control method is known in which color adaptation is predicted according to the chromaticity of the illumination, and the display color is automatically corrected so that the color appearance is constant (for example, Patent Document 1).

特許第３８００４２７号公報Japanese Patent No. 3800427

ＪｉａｎｇｔａｏＫｕａｎｇ，ＧａｒｒｅｔｔＭ．Ｊｏｈｎｓｏｎ，ＭａｒｋＤ．Ｆａｉｒｃｈｉｌｄ，ｉＣＡＭ０６：ＡｒｅｆｉｎｅｄｉｍａｇｅａｐｐｅａｒａｎｃｅｍｏｄｅｌｆｏｒＨＤＲｉｍａｇｅｒｅｎｄｅｒｉｎｇ，ＪｏｕｒｎａｌｏｆＶｉｓｕａｌＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＩｍａｇｅＲｅｐｒｅｓｅｎｔａｔｉｏｎ，Ｖｏｌｕｍｅ１８，ｐｐ４０６−４１４Jiangtao Kuang, Garrett M .; Johnson, Mark D. Fairchild, iCAM06: A refined image appearance model for HDR image rendering, Journal of Visual Communication and Image prep, Volume 406, 14

しかしながら、従来の方法では順応目標となる背景色の推定が不十分であったため、順応予測が必ずしも正しく行われないという問題があった。 However, in the conventional method, since the estimation of the background color as the adaptation target is insufficient, there is a problem that adaptation prediction is not always performed correctly.

例として、一般に存在し得る視環境の概略を図５に示す。この環境では、ディスプレイの背後に太陽光が入射する窓があり、上方の天井には蛍光灯が、ディスプレイの脇には壁掛けの白熱灯があり、さらに背景は色づいた壁である。 As an example, FIG. 5 shows an outline of a visual environment that may exist in general. In this environment, there is a window through which sunlight enters, a fluorescent lamp on the ceiling above, a wall-mounted incandescent lamp on the side of the display, and a colored wall on the background.

上記環境において、上述した非特許文献１の方法を用いることを考える。非特許文献１の方法は外光センサーのみから外光の色度を求めるため、順応目標となる背景色については、分光反射率がほぼフラットな背景から反射される、光源色とほぼ同一のスペクトルを持つ色であることと仮定した上で、外光の色度を求めている。
しかし、図５に代表される実際の環境では、背景色は明るい無彩色であるとは限らず、さらに、背景にカーテンが引かれたりする場合、照明条件の変動を著しく超えて背景色が変化することが考えられる。また、例えば外光センサーが表示装置の前面に具備され、表示装置の背後に窓があるような場合、窓から差し込む太陽光を外光センサーが捕らえることができず、表示装置の前面にある屋内照明に対する補正と比較して、著しく不十分な補正しか行えない可能性がある。 Consider using the method of Non-Patent Document 1 described above in the above environment. Since the method of Non-Patent Document 1 obtains the chromaticity of external light only from the external light sensor, the background color that is the adaptation target is a spectrum that is substantially the same as the light source color that is reflected from a background with a substantially flat spectral reflectance. The chromaticity of the outside light is obtained on the assumption that the color has the.
However, in the actual environment represented in FIG. 5, the background color is not always a bright achromatic color. Furthermore, when a curtain is drawn on the background, the background color changes significantly exceeding the fluctuation of the lighting conditions. It is possible to do. In addition, for example, when an external light sensor is provided on the front surface of the display device and there is a window behind the display device, the external light sensor cannot capture sunlight that is inserted from the window. Compared to the correction for illumination, there may be a significantly insufficient correction.

図５の環境において、ディスプレイの前面にセンサーが具備された場合、センサーの検地するＲＧＢ値がどのようなものになるか、模式図を図６に示す。これらの環境において、本来ならばユーザーが一番まぶしく感じるのは窓から差し込む夕日となる。次いで照度が最大である昼の太陽光、続いて蛍光灯や白熱灯となる。
しかしながら、外光センサーはディスプレイの裏側からの光を捉えられないため、室内に差し込んだ太陽光の反射光しか検値できず、結果的に最もまぶしいはずの夕日が最も暗いといった結果を返している。また、それぞれの外光の色度はｘｙ色度図上に示される通りであるが、既に説明したとおり、これはあくまで外光の色度であって、ユーザーの視覚が順応する背景の色度とは必ずしも一致しない。 In the environment of FIG. 5, when a sensor is provided on the front surface of the display, a schematic diagram showing what the RGB values detected by the sensor are as shown in FIG. Under these circumstances, the most dazzling user's feeling is the sunset through the window. Next, it becomes daylight sunlight with the maximum illuminance, followed by fluorescent light and incandescent light.
However, since the ambient light sensor cannot capture the light from the back side of the display, it can only detect the reflected light of sunlight that is inserted into the room, and as a result, the sunset that should be the brightest is the darkest. . In addition, the chromaticity of each external light is as shown on the xy chromaticity diagram, but as already described, this is only the chromaticity of the external light and the chromaticity of the background to which the user's vision adapts. Does not necessarily match.

以上のような問題に鑑みて、本発明の方法では、照明条件や背景色が時々刻々と変化するような視環境において、外光センサーのみでは予測不可能な視環境変動に対しても、常に適切な順応予測処理が行われるようにすることを目標とする。 In view of the above problems, in the method of the present invention, even in a visual environment where the illumination conditions and the background color change from moment to moment, it is always possible to deal with visual environment fluctuations that cannot be predicted only with an external light sensor. The goal is to ensure that appropriate adaptation prediction processing is performed.

以上の課題を解決するため、本発明に係る映像信号表示装置及び映像信号処理プログラムは、視環境情報取得部の出力をある値にするような視環境における順応目標情報をあらかじめ視環境情報データベースに蓄え、視環境情報取得部の出力に応じて適切な順応目標情報を視環境情報データベースから選択して読み出すことで、常に正しい順応予測処理が行われるようにする。
ここで、視環境情報取得部とは外光センサー等、現在の視環境の特性を取得する機能を有する部位であり、順応目標情報とは、当該視環境における表示装置の背景の色度値や、当該視環境における表示装置の背景を撮像したデジタル写真データ等の順応予測処理のパラメータとなる情報を意味する。 In order to solve the above problems, the video signal display device and the video signal processing program according to the present invention preliminarily store adaptation target information in the visual environment in which the output of the visual environment information acquisition unit has a certain value in the visual environment information database. By storing and selecting appropriate adaptation target information from the visual environment information database in accordance with the output of the visual environment information acquisition unit and reading it out, the correct adaptation prediction process is always performed.
Here, the visual environment information acquisition unit is a part having a function of acquiring the characteristics of the current visual environment, such as an external light sensor, and the adaptation target information is the chromaticity value of the background of the display device in the visual environment, Means information used as parameters of adaptation prediction processing such as digital photograph data obtained by imaging the background of the display device in the visual environment.

即ち、本発明に関わる映像信号処理装置は、処理対象の第１の映像信号を取得するための映像信号入力部と、外光情報等の第１の視環境情報を取得するための視環境情報取得部と、あらかじめ得られた第２の視環境情報と、順応予測処理によって映像信号を補正する際の順応目標となる第１の順応目標情報とを対応させて蓄積した視環境情報データベースと、第１の視環境情報をもとに視環境情報データベースから最適な第１の順応目標情報を第２の順応目標情報として選択するか、複数の第１の順応目標情報を用いて第２の順応目標情報を生成する順応目標情報推定部と、第２の順応目標情報を元に第１の映像信号に補正を加えて第２の映像信号を生成する視環境適応処理部と、第２の映像信号を出力する映像信号出力部とを備えた映像信号処理装置です。
また、第２の映像信号は、ディスプレイ装置によって表示される。さらに、本発明に関わる映像信号処理装置は、前記視環境情報データベースに新たなデータの蓄積を開始することを指示する視環境情報データベース作成スイッチと、視環境情報データベース作成スイッチによって視環境情報データベースに収めるべき第１の順応目標情報を取得する順応目標情報取得部をも備える映像信号処理装置です。
本発明に関わる映像信号処理装置によれば、まず処理対象の第１の映像信号が映像信号入力部に与えられる。また、視環境情報取得部によって現在の視環境情報が取得される。視環境情報取得部は、外光情報を得るための１つ以上の外光センサー、現在の時刻情報を得るための時刻取得部、ディスプレイ装置の設置場所を得るための地域取得部、ディスプレイ装置の周囲の照明の点灯状態を得るための照明状態取得部、ディスプレイ装置の周囲のブラインドやカーテン等の遮光装置の状態を得るための遮光状態取得部、ディスプレイの周辺に他の表示デバイスがある場合、その表示内容を得るための周辺表示デバイス状態取得部、ディスプレイ装置の周囲のある位置の現在の撮像結果を得るための１つ以上の撮像装置、ディスプレイを見ているユーザーの位置を得るための人感センサー、ディスプレイを見ているユーザーの種別もしくは個人を特定するためのユーザー切り替え部、のうち１つ以上を備える。視環境情報取得部の得たこれら１つもしくは複数の情報は、第１の視環境情報として出力される。
順応目標情報推定部は、第１の視環境情報を受け取り、視環境情報データベース内から、第１の視環境情報に最も近い第２の視環境情報を選択し、該第２の視環境情報とペアになる第１の順応目標情報を得て、出力する。
視環境適応処理部は、順応目標情報推定部が出力した第１の順応目標情報と、映像信号入力部により取得された第１の映像信号を受け取り、第１の順応目標情報に応じた補正を第１の映像信号に加え、第２の映像信号として出力する。 That is, a video signal processing apparatus according to the present invention includes a video signal input unit for acquiring a first video signal to be processed, and visual environment information for acquiring first visual environment information such as external light information. A visual environment information database in which an acquisition unit, second visual environment information obtained in advance, and first adaptation target information serving as an adaptation target when correcting a video signal by adaptation prediction processing are stored in association with each other; Based on the first visual environment information, the optimal first adaptation target information is selected as the second adaptation target information from the visual environment information database, or the second adaptation target information is used to select the second adaptation target information. An adaptation target information estimation unit that generates target information, a visual environment adaptation processing unit that generates a second video signal by correcting the first video signal based on the second adaptation target information, and a second video Video signal output unit that outputs a signal It is processing equipment.
The second video signal is displayed by the display device. Furthermore, a video signal processing apparatus according to the present invention includes a visual environment information database creation switch for instructing to start accumulation of new data in the visual environment information database, and a visual environment information database creation switch to the visual environment information database. This is a video signal processing device that also has an adaptation target information acquisition unit that acquires the first adaptation target information to be stored.
According to the video signal processing apparatus according to the present invention, the first video signal to be processed is first supplied to the video signal input unit. Further, the current visual environment information is acquired by the visual environment information acquisition unit. The visual environment information acquisition unit includes one or more external light sensors for obtaining external light information, a time acquisition unit for obtaining current time information, an area acquisition unit for obtaining an installation location of the display device, and a display device When there is an illumination state acquisition unit for obtaining the lighting state of the surrounding illumination, a light shielding state acquisition unit for obtaining a state of a light shielding device such as a blind or a curtain around the display device, and when there are other display devices around the display, Peripheral display device status acquisition unit for obtaining the display content, one or more imaging devices for obtaining a current imaging result at a certain position around the display device, and a person for obtaining the position of the user viewing the display One or more of a feeling sensor and a user switching unit for specifying the type or individual of the user who is viewing the display are provided. The one or more pieces of information obtained by the visual environment information acquisition unit are output as first visual environment information.
The adaptation target information estimation unit receives the first visual environment information, selects second visual environment information closest to the first visual environment information from the visual environment information database, and selects the second visual environment information and Obtain and output first adaptation target information to be paired.
The visual environment adaptation processing unit receives the first adaptation target information output from the adaptation target information estimation unit and the first video signal acquired by the video signal input unit, and performs correction according to the first adaptation target information. In addition to the first video signal, the second video signal is output.

さらに、本発明に関わる映像信号処理装置によれば、視環境情報データベース作成スイッチにより、視環境情報データベース生成部に視環境情報データベースへの新規データの追加を指示させることができる。視環境情報データベース作成スイッチとは、順応目標情報推定部が視環境情報データベース内から選択した第２の視環境情報が第１の視環境情報からある程度以上異なることを検知するものであっても良いし、ユーザーによるボタン入力であっても良いし、それらの組み合わせであっても良い。 Furthermore, according to the video signal processing apparatus of the present invention, the visual environment information database creation switch can instruct the visual environment information database generation unit to add new data to the visual environment information database. The visual environment information database creation switch may detect that the second visual environment information selected from the visual environment information database by the adaptation target information estimation unit differs from the first visual environment information to some extent. In addition, it may be a button input by the user or a combination thereof.

視環境情報データベース生成部は、第１の視環境情報を取得すると同時に、順応目標取得部から該第１の視環境情報とペアになる第１の順応目標情報を得て、視環境情報データベースに格納する。 The visual environment information database generation unit acquires the first visual environment information, obtains first adaptation target information paired with the first visual environment information from the adaptation target acquisition unit, and stores the first adaptation target information in the visual environment information database. Store.

順応目標情報取得部は、例えば、ユーザーによる画質調整パラメータの調整結果を取得する。画質調整パラメータとは、例えばＲ，Ｇ，Ｂ信号のゲイン値や、色温度設定値、ディスプレイ装置のガンマ設定値、コントラスト強調処理の係数、等である。これによって、順応目標情報推定部は、視環境情報取得部からある第１の視環境情報が得られたとき、概第１の視環境情報に最も近い第２の視環境情報に対応する第１の順応目標情報を選択することで、ユーザーが過去に、視環境情報取得部が概第１の視環境情報に最も近い第２の視環境情報を出力するような視環境において入力した画質調整パラメータを得ることができ、このパラメータを用いて画質調整を行うことで、現在の視環境においてユーザーが最も好ましいと感じる画質で映像を表示させることができる。 The adaptation target information acquisition unit acquires the adjustment result of the image quality adjustment parameter by the user, for example. The image quality adjustment parameters are, for example, R, G, B signal gain values, color temperature setting values, display device gamma setting values, coefficients for contrast enhancement processing, and the like. As a result, the adaptation target information estimation unit obtains the first visual environment information closest to the first visual environment information when the first visual environment information is obtained from the visual environment information acquisition unit. By selecting the adaptation target information, the image quality adjustment parameter input by the user in the visual environment in the past such that the visual environment information acquisition unit outputs the second visual environment information closest to the first visual environment information. By adjusting the image quality using this parameter, it is possible to display an image with an image quality that the user feels most preferable in the current viewing environment.

順応目標情報取得部は、例えば、まずディスプレイ装置にキャリブレーションチャート映像を表示させた上で、前記のようにユーザーによる画質調整パラメータの取得を行っても良い。キャリブレーションチャート映像は、例えばホワイトバランス調整用の白色ウィンドウや、コントラスト調整用のグラデーションや、画質の変化を最も感じやすい人間の顔を含む自然画等の組み合わせがあると良い。
また、パラメータ調整は必ずしもユーザーが直接行う必要は無く、あらかじめ用意されたプリセット値の中から、最も見栄えが良いと感じられるものをユーザーに選択させる形式になっていても良い。 For example, the adaptation target information acquisition unit may first display the calibration chart image on the display device and then acquire the image quality adjustment parameter by the user as described above. The calibration chart image may be a combination of, for example, a white window for white balance adjustment, a gradation for contrast adjustment, and a natural image including a human face that is most susceptible to changes in image quality.
The parameter adjustment does not necessarily have to be directly performed by the user, and may be in a format that allows the user to select a preset value that is most attractive from preset values prepared in advance.

順応目標情報取得部は、例えば、外部カメラ装置による現在の視環境の撮影結果を取得しても良い。この場合、キャリブレーションチャート映像には、外部カメラ装置の撮像素子の特性を用いて、ディスプレイ装置の発光輝度と第１の視環境情報の間のキャリブレーションを行うのに必要な情報や、撮影結果からディスプレイと背景を切り分ける処理を簡単にするためのマーカー等が含まれていることが望ましい。
また、外部カメラ装置の撮像素子の特性はあらかじめカメラプロファイルデータベースとして持っておくか、外部カメラ装置から直接得られるか、ネットワーク等を通じて取得できることが望ましいが、不可能な場合はキャリブレーションチャート映像の撮影結果から推定できると望ましい。
さらに、順応目標情報を正確に取得するために、外部カメラ装置のシャッタースピードや絞り値等を制御するための外部カメラ装置制御部を備えることが望ましい。 The adaptation target information acquisition unit may acquire the imaging result of the current visual environment by the external camera device, for example. In this case, in the calibration chart image, information necessary for performing calibration between the light emission luminance of the display device and the first visual environment information using the characteristics of the imaging element of the external camera device and the photographing result It is desirable to include a marker or the like for simplifying the process of separating the display and the background.
In addition, it is desirable that the characteristics of the image sensor of the external camera device be stored in advance as a camera profile database, obtained directly from the external camera device, or obtained through a network or the like. It is desirable to be able to estimate from the results.
Further, in order to accurately acquire adaptation target information, it is desirable to include an external camera device control unit for controlling the shutter speed, aperture value, and the like of the external camera device.

本発明に係る映像信号表示装置及び映像信号処理プログラムによれば、ディスプレイ装置の背後に窓やカーテン等がある場合や、ディスプレイ装置の背後の壁が明るい無彩色とは著しく異なる場合など、視環境情報取得部から得られた情報を直接使うのではユーザーの視覚の順応状態が予測しにくい状況でも、あらかじめ作成された視環境情報データベースを用いることで、常に正しい順応予測処理を行うことができる。 According to the video signal display device and the video signal processing program according to the present invention, the viewing environment such as when there is a window or a curtain behind the display device or when the wall behind the display device is significantly different from a bright achromatic color, etc. Even if it is difficult to predict the visual adaptation state of the user by directly using the information obtained from the information acquisition unit, it is possible to always perform the correct adaptation prediction process by using the visual environment information database created in advance.

本発明の映像信号処理装置の全体構成を示すブロック図The block diagram which shows the whole structure of the video signal processing apparatus of this invention 本発明の視環境情報取得部の全体構成を示すブロック図The block diagram which shows the whole structure of the visual environment information acquisition part of this invention 本発明の映像信号処理装置の全体構成を示すブロック図The block diagram which shows the whole structure of the video signal processing apparatus of this invention 本発明の映像信号処理装置の全体構成を示すブロック図The block diagram which shows the whole structure of the video signal processing apparatus of this invention 従来法における映像信号処理装置の視聴環境の例を示す概略図Schematic showing an example of viewing environment of a video signal processing apparatus in the conventional method 図５に示される視環境における外光センサーのデータを示す図The figure which shows the data of the external light sensor in the visual environment shown by FIG.

（実施例１）
本発明の実施の形態に係る映像信号処理装置及び映像信号処理プログラムについて、添付図面を用いて以下に説明する。なお、図面において実質的に同一の部材には同一の符号を付している。 Example 1
A video signal processing apparatus and a video signal processing program according to embodiments of the present invention will be described below with reference to the accompanying drawings. In the drawings, substantially the same members are denoted by the same reference numerals.

図１は、本発明の実施の形態１に係る映像信号処理装置１００の構成を示すブロック図である。この映像信号処理装置１００は、映像信号入力部１０１と、視環境情報取得部１０２と、順応目標情報推定部１０３と、視環境情報データベース１０４と、視環境情報データベース生成部１０５と、順応目標情報取得部１０６と、画質パラメータ入力部１０７と、視環境適応処理部１０８と、映像信号出力部１０９と、視環境情報データベース作成スイッチ１１１を備える。また、映像信号処理装置１００から出力される画像信号は、ディスプレイ装置１１０によって表示できるものとする。 FIG. 1 is a block diagram showing a configuration of a video signal processing apparatus 100 according to Embodiment 1 of the present invention. The video signal processing apparatus 100 includes a video signal input unit 101, a visual environment information acquisition unit 102, an adaptation target information estimation unit 103, a visual environment information database 104, a visual environment information database generation unit 105, and adaptation target information. An acquisition unit 106, an image quality parameter input unit 107, a visual environment adaptation processing unit 108, a video signal output unit 109, and a visual environment information database creation switch 111 are provided. In addition, it is assumed that the image signal output from the video signal processing apparatus 100 can be displayed on the display apparatus 110.

映像信号処理装置１００は、映像信号入力部１０１を通じて、ディスプレイ装置１１０に表示すべき映像信号を受け取る。映像信号は静止画の連続で構成されるごく一般的な無圧縮映像信号であり、各フレーム内の各ピクセルの色情報はＲ，Ｇ，Ｂの信号レベルによって表現されるものとする。もちろん、色情報を表すのに他の色空間を用いてもかまわない。
図２は、視環境情報取得部１０２の構成を示すものである。視環境情報取得部１０２は、外光センサー２０１、時刻取得部２０２、地域情報取得部２０３、照明状態取得部２０４、遮光状態取得部２０５、周辺表示デバイス状態取得部２０６、撮像装置２０７、人感センサー２０８、ユーザー切り替え部２０９と、これら２０１〜２０９の部分から得られた情報を第１もしくは第２の視環境情報としてまとめて出力する視環境情報合成部２１０によって構成される。
外光センサー２０１は、例えばＣＩＥ１９３１の測色標準観測者に近い分光感度を持つＲＧＢカラーセンサーであり、ディスプレイ装置１１０周辺の照度や、環境光の色度を検知する。外光センサー２０１をディスプレイ装置１１０の前面に設置すれば、ディスプレイ装置１１０に入射しユーザー方向に反射する光の特徴を元に補正を行うことができる。逆に、外光センサー２０１をディスプレイ装置１１０の背面に設置すれば、ディスプレイ装置１１０から逆光になるような、ユーザー方向に直接入射する光の特徴を元に補正を行うことができる。さらに、例えば屋外の太陽光発電パネルを外光センサー２０１として用いれば、太陽光などの屋外環境光の照度を、室内照明の状態と切り分けられたパラメータとして取得することができる。
時刻取得部２０２は、現在の時刻を取得するものである。これは単純なクロックモジュールであっても良いし、ネットワークや放送波等を用いた時刻受信モジュールであってもよい。現在の時刻を取得できることによって、例えば昼間に屋外から差し込む太陽光の反射光を外光センサー２０１で検知した値と、夜間に室内で点灯させた白熱灯照明を外光センサー２０１で検知した値が非常に近かったりしても、照明条件の推定を正しく行うことが可能になる。
地域情報取得部２０３は、ディスプレイ装置１１０の設置場所に係る情報を取得するものである。これはユーザーが入力した地域情報を記憶し適宜出力することのできる不揮発性メモリモジュールであってもよいし、放送波等から設置位置を自動で計算するようなモジュールであってもよい。また、ディスプレイ装置１１０の設置場所に係る天気を取得するものであっても良い。
これらディスプレイ装置１１０の設置場所に係る情報を取得できることによって、例えば緯度による日の出・日の入り時刻の補正や、天気による屋外の太陽光の照度の推定値の補正が行えるため、照明条件の推定をより正確に行うことが可能になる。また、ディスプレイ装置１１０が車載ディスプレイ装置である場合は、ＧＰＳ等を用いて現在位置を調べたり、ジャイロセンサーを用いてディスプレイ装置１１０が向いている方角を調べるものであってもよい。この場合、時刻取得部２０２と組み合わせることによって、太陽光がどの方向から差し込んでくる筈であるかを計算することができる。
照明状態取得部２０４は、ディスプレイ装置１１０の設置場所における人工光源の点灯状態を取得するものである。これは例えば電力線通信等によって周辺の照明にそれぞれの点灯状態を問い合わせる通信モジュールであっても良いし、周辺の照明の点灯状態を制御することのできる照明制御部２１０を設けた上で、照明制御部２１０に周辺の照明の点灯状態の設定値を問い合わせるモジュールとなっていても良い。
遮光状態取得部２０５は、ディスプレイ装置１１０の設置場所におけるカーテンやブラインドなど、主に屋外から入射する光を遮光する装置の状態を取得するものである。ディスプレイ装置１１０が車載ディスプレイ装置である場合の可動ルーフの開閉状態や、消灯した室内と照明点灯された室外を隔てる扉の開閉状態等を取得するものであってもよい。これによって、屋外環境光がディスプレイ装置１１０周辺にどの程度影響を及ぼすか、即ち屋外環境光の屋外からディスプレイ装置１１０周辺への伝達関数を推定することができる。
周辺表示デバイス状態取得部２０６は、ディスプレイ装置１１０周辺の、照明以外の表示デバイスの状態を取得するものである。照明以外の表示デバイスとは、例えば電子ペーパーを用いた壁紙や、ロールバナー等である。これらのデバイスの表示状態が変化してもディスプレイに対する照明の映り込みにはほとんど影響を及ぼさないが、ディスプレイ装置１１０の背景色が変化することによって、ユーザーの色順応状態が変化させることでユーザーの知覚する色の見えが変化することになる。
撮像装置２０７は、ディスプレイ装置１１０周辺の現在の映像を得ることが出来る静止画もしくは動画撮影装置である。これはユーザーがディスプレイ装置１１０を視聴する際の視界そのものを取得できるものであれば理想的だが、天井などに設置された監視カメラや、ＴＶ電話用のカメラ等であってもよい。これらの撮像装置２０７を用いて、通常のデジタル撮像装置で広く用いられているオートホワイトバランスアルゴリズムを流用し、現在の視環境における適切なホワイトバランスを推定することが可能となる。また、例えば来客確認用のインターホンカメラや、屋外の監視カメラや、自然光の状態が十分近いと思われる近隣のウェブカメラ等を用いることにより、ディスプレイ装置１１０設置位置周辺の屋外の環境光の情報を得ることができる。これによって、ディスプレイ装置１１０が屋内に設置されていても、屋内の照明状態に影響されず、窓などから差し込む可能性のある屋外の自然光の状態を直接得ることができる。
人感センサー２０８は、ディスプレイ装置１１０を視聴しているユーザーの位置を知るためのものである。これは赤外線センサーや超音波センサー、カメラ装置等によってユーザーの位置を直接求めるものであっても良いし、ディスプレイ装置１１０に付随するリモコン装置や、３Ｄ放送を視聴する際の３Ｄメガネ等の、ユーザーが直接触れていると思われるものの位置を求めるものであっても良い。
ユーザーとディスプレイ装置１１０の距離から、ユーザーの視界のどれだけの割合をディスプレイ装置１１０が占めているかを概算することができる。例えば、ユーザーの視野を前方左右方向に約160度、上下方向に約120度と仮定してやればディスプレイ装置１１０の距離でユーザーの視界の面積が求められるので、ディスプレイ装置１１０の面積をこれで割ればよい。この割合が大きいほど、ユーザーの視界に占める背景の壁等の面積は小さいということであるから、ユーザーの視環境への順応の度合いも小さくなると考えることができる。
また、屋外光を取り込む窓や、照明装置などの光源の方向がユーザー入力等によって既知であるか推定可能である場合、それら光源の正反射方向にユーザーがいれば、ユーザーの順応する背景の輝度を通常よりも高めて順応予測を行うことで、より正確にユーザーの順応状態を推定することができる。
ユーザー切り替え部２０９は、現在ディスプレイ装置１１０を視聴しているユーザーが誰であるか判別するものである。これは、カメラ装置によってディスプレイと対面しているユーザーの顔を撮影し、あらかじめ登録された顔画像と照合して識別するようなものであってもよいし、視聴中の番組の種類やリモコン操作の特徴、例えばチャンネル切り替えの頻度などからユーザーを推定するものであってもよい。これによって、ディスプレイ装置１１０を視聴しているユーザーごとに、各ユーザーが最も好む画質調整パラメータや、各ユーザーの資格特性の差に応じた順応予測パラメータを自動的に選択することができる。
これらの情報は、視環境情報合成部２１０によって、第１もしくは第２の視環境情報として出力される。視環境情報合成部２１０は単にこれらの情報を受け渡すだけのものであってもよいが、あらかじめ順応目標情報推定部１０３や視環境情報データベース生成部１０５が扱いやすい形式に第１及び第２の視環境情報を整形して出力できるものであることが望ましい。例えば、ある時刻の最近傍における全ての視環境情報を、１つの構造体にまとめて出力できるとよい。
これら２０１〜２０９の部分は、全て別個のものであってもよいし、単一のデバイスが複数の役割を果たすものであっても良い。たとえば、ディスプレイ装置１１０にカメラ装置を具備しておけば、これは外光センサー２０１としても、撮像装置２０７としても、人間センサー２０８としても、ユーザー切り替え部２０９の一部としても使用できる。
次に、順応目標推定部１０３は、視環境情報取得部１０２が取得した第１の視環境情報に最も近い第２の視環境情報を視環境情報データベース１０４から検索し、これと対応付けられた第１の順応目標情報を第２の順応目標情報として得る。
ここで、第２の視環境情報と第１の順応目標情報はそれぞれ１つだけでなくてもよく、順応目標情報推定部は視環境情報データベースからこれら情報の複数の好適な候補を選び出し、合成することによって第１の視環境情報に最適な第２の順応目標情報を生成してもよい。
例えば、非常に単純な屋内照明環境において、複数の照明がディスプレイ装置１１０を照らしており、それぞれの照明が個別にオン・オフ可能であるとすると、この屋内の視環境はそれぞれの照明が個別にオンされた状態の足し合わせによって表現できると考えられる。よって、照明状態取得部２０４の出力に応じて対応する照明の順応目標情報を取得して足し合わせることで、現在の第２の順応目標情報を得ることができる。一般的に、それぞれの照明の照度が連続的に変わるものであった場合も、第２の順応目標情報は、それぞれの照明の最大輝度と現在の輝度との比に応じた各第２の順応目標情報の線形結合として表すことができる。
次に、順応目標情報取得部１０６は、画質パラメータ入力部１０７によって得られた、現在の視環境におけるディスプレイ装置１１０の画質調整パラメータそのもの、もしくは現在の視環境を最もよく表す情報によって構成される。視環境データベース作成スイッチ１１１によって視環境情報データベースへのデータ追加が指示されると、視環境情報取得部１０２は現在の視環境情報を第２の視環境情報として視環境情報データベース生成部１０５に送信する。
また、順応目標情報取得部１０６も現在の順応目標情報を第１の順応目標情報として視環境情報データベース生成部１０５に送信する。視環境情報データベース生成部１０５は、これらの情報を対応付けて視環境情報データベース１０４に格納する。このとき、順応目標情報取得部がより正確な第１の順応目標情報を得るために、図３に示されるように、視環境情報データベース生成部がチャート信号生成部３０１に指示して、映像信号出力部１０９から、画質パラメータの調整がやりやすくなるようなキャリブレーションチャートを出力させてもよい。
視環境情報データベース作成スイッチ１１１は、ユーザーが現在の視環境適応補正処理が不適切なものであると考えたときに操作できるボタン入力インターフェイス等であってもよいし、順応目標情報推定部１０３が視環境情報取得部１０２から受け取った第１の視環境情報が、視環境情報データベース１０４に格納されたどの第２の視環境情報からも離れていることを検出するものであってもよい。
なお、視環境情報同士の距離の定義は視環境情報の内容によって異なるが、最も単純には、視環境情報に含まれる全ての値の組み合わせを１つの多次元ベクトルと見立てて、ベクトル間のユークリッド距離を算出すればよい。
また、画質パラメータ入力部１０７はユーザーが手作業で調整した画質パラメータであってもよいが、外部カメラを使用して、現在のディスプレイ装置１１０周辺の画像を直接取得する構成であってもよい。
このとき、画質パラメータ入力部１０７は、図４のように、外部カメラ装置４０２を制御して、最適な撮影パラメータを用いてディスプレイ装置１１０周辺の画像を取得し、順応目標情報取得部１０６に第１の順応目標情報として送信する構成となる。
このとき、外部カメラ装置４０２は視環境情報データベース生成スイッチ１１１からの信号を受け取った視環境情報データベース生成部１０５によって起動される外部カメラ装置制御部によって、好適にはディスプレイ装置１１０のリフレッシュレートの整数倍のシャッタースピードと、ディスプレイ装置１１０に表示されたキャリブレーションチャートやディスプレイ装置１１０の背後の環境がセンサー上で輝度潰れしたり飽和したりしない絞り値を設定され、自動もしくは手動でシャッターが切られる。
その後、画像信号入力部４０３によって当該画像は取得され、カメラのセンサー特性やレンズ特性等を収めたカメラプロファイルＤＢ４０４を用いて画像信号正規化部４０５により正規化が行われる。ここでいう正規化とは、カメラのセンサーやレンズの特性による画像信号の変動を考慮して、センサーの感度やレンズの明るさ、歪み等を補正し、ｓＲＧＢ等の色空間における歪みを抑えた画像信号に変換することである。
正規化後の画像信号を受け取った順応目標情報取得部１０６は、この画像信号をそのまま第１の順応目標情報として視環境情報データベース生成部１０５に渡しても良いし、より好適には、画像に写ったキャリブレーションチャートなどから画像内のディスプレイの位置を判別し、背景のみを切り出して視環境情報データベース生成部１０５に送るか、さらに背景にローパスフィルターを適用した後、背景部分の１つ以上のピクセルの色情報のみを第１の順応目標情報として送信しても良い。
また、視環境情報適応処理部１０８は、以上の情報を用いて、映像信号入力部１０１から得られた映像信号に視環境適応補正処理を加え、映像信号出力部１０９を通してディスプレイ装置１１０に出力し、表示させる。
視環境情報適応処理部１０８の行う処理は、順応目標情報推定部１０３から与えられる第２の順応目標情報の内容によって異なる。第２の順応目標情報がディスプレイ装置１１０の画質調整パラメータそのものである場合、視環境適応処理部１０８は、画質調整パラメータを単純に適用してもよいし、映像信号には一切処理を加えず、ディスプレイ装置１１０に画質調整パラメータを送信してディスプレイ装置１１０側で調整を行わせる構成にしても良い。
なお、順応目標情報がディスプレイ装置１１０周辺の照度や背景の色度等の情報を含む場合は、さらに高度な視環境適応補正処理を行うことができる。例えば、ｉＣＡＭ０６によりユーザーの順応予測補正を行うことができる。このとき、背景の輝度・色度パラメータは上記視環境情報取得部１０２に関する記述で説明されたように推定される。
以上の構成により、本発明に係る映像信号処理装置及び映像信号処理プログラムは、照明条件のみならず背景やユーザーの視聴位置等の条件も大きく変動するような視環境においても、あらかじめ生成された視環境情報データベースを利用して環境光センサーのみでは検知できない情報を推定することによって、常にユーザーの視環境適応状態に追随し、好適な画質調整を自動で行うことができるという利点を有する。 The video signal processing apparatus 100 receives a video signal to be displayed on the display device 110 through the video signal input unit 101. The video signal is a very general uncompressed video signal composed of a series of still images, and the color information of each pixel in each frame is expressed by the signal levels of R, G, and B. Of course, other color spaces may be used to represent the color information.
FIG. 2 shows the configuration of the visual environment information acquisition unit 102. The visual environment information acquisition unit 102 includes an external light sensor 201, a time acquisition unit 202, an area information acquisition unit 203, an illumination state acquisition unit 204, a light shielding state acquisition unit 205, a peripheral display device state acquisition unit 206, an imaging device 207, and a human impression. A sensor 208, a user switching unit 209, and a visual environment information combining unit 210 that collectively outputs information obtained from the portions 201 to 209 as first or second visual environment information.
The external light sensor 201 is an RGB color sensor having a spectral sensitivity close to that of, for example, a CIE 1931 colorimetric standard observer, and detects the illuminance around the display device 110 and the chromaticity of ambient light. If the external light sensor 201 is installed on the front surface of the display device 110, correction can be performed based on the characteristics of the light incident on the display device 110 and reflected in the user direction. On the contrary, if the external light sensor 201 is installed on the back surface of the display device 110, the correction can be performed based on the characteristics of the light that is directly incident in the user direction, such as the backlight from the display device 110. Furthermore, for example, when an outdoor solar power generation panel is used as the external light sensor 201, the illuminance of outdoor environmental light such as sunlight can be acquired as a parameter separated from the state of indoor lighting.
The time acquisition unit 202 acquires the current time. This may be a simple clock module or a time receiving module using a network, a broadcast wave, or the like. By being able to acquire the current time, for example, a value obtained by detecting the reflected light of sunlight that is inserted from the outdoors during the daytime by the outside light sensor 201 and a value obtained by detecting the incandescent lamp illumination that is lit indoors at night by the outside light sensor 201 are obtained. Even if it is very close, the illumination condition can be estimated correctly.
The regional information acquisition unit 203 acquires information related to the installation location of the display device 110. This may be a non-volatile memory module that can store area information input by the user and output it appropriately, or may be a module that automatically calculates the installation position from a broadcast wave or the like. Moreover, you may acquire the weather which concerns on the installation place of the display apparatus 110. FIG.
By acquiring information related to the installation location of the display device 110, for example, it is possible to correct the sunrise / sunset time according to the latitude and the estimated value of the illuminance of outdoor sunlight due to the weather. It becomes possible to do. When the display device 110 is an in-vehicle display device, the current position may be checked using GPS or the like, or the direction in which the display device 110 is facing may be checked using a gyro sensor. In this case, by combining with the time acquisition unit 202, it is possible to calculate from which direction sunlight should be inserted.
The illumination state acquisition unit 204 acquires the lighting state of the artificial light source at the installation location of the display device 110. This may be, for example, a communication module that inquires the surrounding lighting about the lighting state of each of the surrounding lights by power line communication or the like, and the lighting control unit 210 that can control the lighting state of the surrounding lighting is provided, and the lighting control is performed. The module may be a module that inquires the setting value of the lighting state of the surrounding illumination to the unit 210.
The light blocking state acquisition unit 205 acquires the state of a device that blocks light incident mainly from the outside, such as a curtain or a blind at the installation location of the display device 110. You may acquire the opening / closing state of a movable roof in case the display apparatus 110 is a vehicle-mounted display apparatus, the opening / closing state of the door which divides the lighted room indoors, and the outdoor lighted room. Accordingly, it is possible to estimate how much the outdoor environment light affects the periphery of the display device 110, that is, the transfer function of the outdoor environment light from the outdoors to the periphery of the display device 110.
The peripheral display device state acquisition unit 206 acquires the state of a display device other than the illumination around the display device 110. Display devices other than lighting are, for example, wallpaper using electronic paper, roll banners, and the like. Even if the display state of these devices changes, the lighting reflection on the display is hardly affected, but the background color of the display device 110 changes, so that the user's chromatic adaptation state changes to change the user's chromatic adaptation state. The perceived color appearance will change.
The imaging device 207 is a still image or moving image photographing device that can obtain a current video around the display device 110. This is ideal as long as the user can acquire the field of view when viewing the display device 110, but may be a surveillance camera installed on the ceiling, a TV phone camera, or the like. Using these imaging devices 207, it is possible to divert an auto white balance algorithm widely used in ordinary digital imaging devices and estimate an appropriate white balance in the current visual environment. In addition, for example, by using an intercom camera for confirming a visitor, an outdoor surveillance camera, a nearby web camera that seems to have a sufficiently close natural light condition, information on outdoor ambient light around the installation position of the display device 110 is obtained. Obtainable. Thereby, even if the display device 110 is installed indoors, it is possible to directly obtain the outdoor natural light state that may be inserted through a window or the like without being affected by the indoor lighting state.
The human sensor 208 is for knowing the position of the user who is viewing the display device 110. This may be obtained by directly obtaining the user's position by an infrared sensor, an ultrasonic sensor, a camera device or the like, or a user such as a remote control device attached to the display device 110 or 3D glasses for viewing 3D broadcasting. It may be a thing which asks for the position of what seems to have touched directly.
From the distance between the user and the display device 110, it is possible to estimate how much of the user's field of view is occupied by the display device 110. For example, assuming that the user's field of view is about 160 degrees in the front left / right direction and about 120 degrees in the up / down direction, the area of the user's field of view can be obtained by the distance of the display apparatus 110, and thus the area of the display apparatus 110 is divided by this. Good. It can be considered that the greater the ratio, the smaller the area of the background wall or the like that occupies the user's field of view, and the less the degree of adaptation to the user's visual environment.
In addition, if it is possible to estimate whether the direction of a light source such as a window for taking in outdoor light or a lighting device is known by user input, etc., if the user is in the regular reflection direction of the light source, the brightness of the background that the user adapts By making the adaptation prediction higher than usual, the adaptation state of the user can be estimated more accurately.
The user switching unit 209 determines who is currently viewing the display device 110. This may be such that the user's face facing the display is photographed by the camera device and identified by comparing with a pre-registered face image, or the type of program being viewed or remote control operation The user may be estimated from the above-mentioned characteristics, for example, the frequency of channel switching. Thereby, for each user who is viewing the display device 110, the image quality adjustment parameter most preferred by each user and the adaptation prediction parameter according to the difference in qualification characteristics of each user can be automatically selected.
These pieces of information are output as first or second visual environment information by the visual environment information synthesis unit 210. The visual environment information synthesis unit 210 may simply pass these pieces of information, but the first and second formats are easily handled by the adaptation target information estimation unit 103 and the visual environment information database generation unit 105 in advance. It is desirable that the visual environment information can be shaped and output. For example, it is preferable that all visual environment information in the nearest neighborhood at a certain time can be output in a single structure.
These parts 201 to 209 may be all separate parts, or a single device may play multiple roles. For example, if the display device 110 includes a camera device, it can be used as the external light sensor 201, the imaging device 207, the human sensor 208, or a part of the user switching unit 209.
Next, the adaptation target estimation unit 103 searches the visual environment information database 104 for the second visual environment information closest to the first visual environment information acquired by the visual environment information acquisition unit 102, and associates it with this. First adaptation target information is obtained as second adaptation target information.
Here, the second visual environment information and the first adaptation target information need not be only one each, and the adaptation target information estimation unit selects a plurality of suitable candidates for these information from the visual environment information database and combines them. By doing so, the second adaptation target information optimum for the first visual environment information may be generated.
For example, in a very simple indoor lighting environment, if a plurality of lights illuminate the display device 110 and each of the lights can be turned on and off individually, the indoor viewing environment has a different lighting. It is thought that it can be expressed by the addition of the on state. Therefore, the current second adaptation target information can be obtained by acquiring and adding the corresponding adaptation target information of the illumination according to the output of the illumination state acquisition unit 204. In general, even when the illuminance of each illumination changes continuously, the second adaptation target information includes each second adaptation according to the ratio between the maximum luminance of each illumination and the current luminance. It can be expressed as a linear combination of target information.
Next, the adaptation target information acquisition unit 106 includes the image quality adjustment parameter of the display device 110 in the current viewing environment obtained by the image quality parameter input unit 107 or information that best represents the current viewing environment. When the visual environment database creation switch 111 instructs to add data to the visual environment information database, the visual environment information acquisition unit 102 transmits the current visual environment information to the visual environment information database generation unit 105 as second visual environment information. To do.
The adaptation target information acquisition unit 106 also transmits the current adaptation target information to the visual environment information database generation unit 105 as first adaptation target information. The visual environment information database generation unit 105 stores these information in the visual environment information database 104 in association with each other. At this time, in order for the adaptation target information acquisition unit to obtain more accurate first adaptation target information, the visual environment information database generation unit instructs the chart signal generation unit 301 as shown in FIG. A calibration chart that facilitates adjustment of image quality parameters may be output from the output unit 109.
The visual environment information database creation switch 111 may be a button input interface or the like that can be operated when the user thinks that the current visual environment adaptive correction processing is inappropriate, or the adaptation target information estimation unit 103 It may be detected that the first visual environment information received from the visual environment information acquisition unit 102 is far from any second visual environment information stored in the visual environment information database 104.
The definition of the distance between the visual environment information differs depending on the content of the visual environment information, but most simply, a combination of all the values included in the visual environment information is regarded as one multidimensional vector, and Euclidean between the vectors. What is necessary is just to calculate a distance.
The image quality parameter input unit 107 may be an image quality parameter manually adjusted by the user, or may be configured to directly acquire an image around the current display device 110 using an external camera.
At this time, as shown in FIG. 4, the image quality parameter input unit 107 controls the external camera device 402 to acquire an image around the display device 110 using the optimum shooting parameter, and the adaptation target information acquisition unit 106 It becomes the structure which transmits as 1 adaptation target information.
At this time, the external camera device 402 is preferably an integer of the refresh rate of the display device 110 by the external camera device control unit activated by the visual environment information database generation unit 105 that has received the signal from the visual environment information database generation switch 111. The shutter speed is doubled and the calibration chart displayed on the display device 110 and the environment behind the display device 110 are set with an aperture value so that the brightness does not collapse or saturate on the sensor, and the shutter is automatically or manually released. .
Thereafter, the image is acquired by the image signal input unit 403, and normalization is performed by the image signal normalization unit 405 using the camera profile DB 404 that stores the sensor characteristics and lens characteristics of the camera. Normalization here refers to fluctuations in the image signal due to the characteristics of the sensor and lens of the camera, and corrects the sensitivity of the sensor, the brightness and distortion of the lens, and suppresses distortion in the color space such as sRGB. It is to convert to an image signal.
The adaptation target information acquisition unit 106 that has received the normalized image signal may pass this image signal as it is to the visual environment information database generation unit 105 as the first adaptation target information. After determining the position of the display in the image from the captured calibration chart and the like, only the background is cut out and sent to the visual environment information database generation unit 105, or after applying a low pass filter to the background, one or more of the background portions Only the color information of the pixels may be transmitted as the first adaptation target information.
Further, the visual environment information adaptation processing unit 108 performs visual environment adaptive correction processing on the video signal obtained from the video signal input unit 101 using the above information, and outputs the video signal to the display device 110 through the video signal output unit 109. To display.
The processing performed by the visual environment information adaptation processing unit 108 differs depending on the content of the second adaptation target information provided from the adaptation target information estimation unit 103. When the second adaptation target information is the image quality adjustment parameter itself of the display device 110, the visual environment adaptation processing unit 108 may simply apply the image quality adjustment parameter, do not add any processing to the video signal, A configuration may be adopted in which image quality adjustment parameters are transmitted to the display device 110 and adjustment is performed on the display device 110 side.
When the adaptation target information includes information such as illuminance around the display device 110 and chromaticity of the background, it is possible to perform more advanced visual environment adaptive correction processing. For example, the user's adaptation prediction correction can be performed by iCAM06. At this time, the luminance / chromaticity parameters of the background are estimated as described in the description relating to the visual environment information acquisition unit 102.
With the above configuration, the video signal processing device and the video signal processing program according to the present invention are not limited to the previously generated viewing environment, even in a viewing environment in which not only lighting conditions but also conditions such as the background and the viewing position of the user vary greatly. By estimating information that cannot be detected by only the ambient light sensor using the environmental information database, it is possible to always follow the user's visual environment adaptation state and automatically perform suitable image quality adjustment.

本発明に係る映像信号処理装置及び映像信号処理プログラムは、照明条件のみならず背景やユーザーの視聴位置等の条件も大きく変動するような視環境においても、あらかじめ生成された視環境情報データベースを利用して環境光センサーのみでは検知できない情報を推定することによって、常にユーザーの視環境適応状態に追随し、好適な画質調整を自動で行うことができるという利点を有する。これにより、太陽光が差し込む一般家庭内や、視環境が短時間で変わり続ける自動車内などに設置されるディスプレイ装置に内蔵される画質補正機構として有用である。 The video signal processing apparatus and the video signal processing program according to the present invention use a visual environment information database generated in advance in a visual environment in which not only lighting conditions but also conditions such as the background and the viewing position of the user vary greatly By estimating information that cannot be detected only by the ambient light sensor, it is possible to always follow the user's visual environment adaptation state and automatically perform suitable image quality adjustment. Thereby, it is useful as an image quality correction mechanism built in a display device installed in a general household where sunlight is inserted or in a car whose visual environment is changing in a short time.

１００映像信号処理装置
１０１映像信号入力部
１０２視環境情報取得部
１０３順応目標情報推定部
１０４視環境情報データベース
１０５視環境情報データベース生成部
１０６順応目標情報取得部
１０７画質パラメータ入力部
１０８視環境適応処理部
１０９映像信号出力部
１１０ディスプレイ装置
２０１外光センサー
２０２時刻取得部
２０３地域情報取得部
２０４照明状態取得部
２０５遮光状態取得部
２０６周辺表示デバイス状態取得部
２０７撮像装置
２０８人感センサー
２０９ユーザー切り替え部
２１０視環境情報合成部
３０１チャート信号生成部
４０１外部カメラ装置制御部
４０２外部カメラ装置
４０３画像信号入力部
４０４カメラプロファイルＤＢ
４０５画像信号正規化部
４０６外部カメラ装置制御部 DESCRIPTION OF SYMBOLS 100 Video signal processing apparatus 101 Video signal input part 102 Visual environment information acquisition part 103 Adaptation target information estimation part 104 Visual environment information database 105 Visual environment information database generation part 106 Adaptation target information acquisition part 107 Image quality parameter input part 108 Visual environment adaptation process Unit 109 Video signal output unit 110 Display device 201 Ambient light sensor 202 Time acquisition unit 203 Area information acquisition unit 204 Illumination state acquisition unit 205 Shading state acquisition unit 206 Peripheral display device state acquisition unit 207 Imaging device 208 Human sensor 209 User switching unit 210 Visual environment information synthesis unit 301 Chart signal generation unit 401 External camera device control unit 402 External camera device 403 Image signal input unit 404 Camera profile DB
405 Image signal normalization unit 406 External camera device control unit

Claims

A video signal processing apparatus that receives a first video signal, outputs a second video signal after applying a visual environment adaptation process according to a visual adaptation state of a user according to a visual environment,
A video signal input unit for obtaining a first video signal;
A visual environment information acquisition unit for acquiring first visual environment information;
A visual environment information database in which the second visual environment information and the first adaptation target information are stored in association with each other;
Based on the first visual environment information, the optimal first adaptation target information is selected as the second adaptation target information from the visual environment information database, or the second adaptation target information is used to select the second adaptation target information. An adaptation target information estimator for generating adaptation target information;
A visual environment adaptation processing unit that generates a second video signal by correcting the first video signal based on the second adaptation target information;
A video signal processing apparatus comprising: a video signal output unit that outputs a second video signal.

In the video signal processing apparatus shown in claim 1,
Furthermore, a visual environment information database creation switch for instructing addition of new data to the visual environment information database is provided,
A video signal processing apparatus comprising: an adaptation target information acquisition unit that acquires first adaptation target information stored in the visual environment information database in response to a signal from the visual environment information database creation switch.

In the video signal processing apparatus shown in claims 1 and 2,
As a visual environment information acquisition unit,
An ambient light sensor to obtain the lighting conditions;
A time acquisition unit for acquiring the current time;
An area information acquisition unit for obtaining information of an area where the display is installed;
An illumination state acquisition unit for obtaining a lighting state of illumination around a place where the display is installed;
A light shielding state acquisition unit for obtaining a state of the light shielding device for the place where the display is installed;
A peripheral display device state acquisition unit for acquiring display states of other display devices installed around the display;
An imaging device for photographing the environment around the display;
A human sensor for obtaining the position of the user viewing the display;
A video signal processing apparatus comprising at least one or more user switching units for identifying a user who is viewing the display.

A video signal processing program that receives a first video signal and outputs a second video signal after adding a visual environment adaptation process according to a visual adaptation state of a user according to a visual environment,
A video signal input unit for obtaining a first video signal;
A visual environment information acquisition unit for acquiring first visual environment information;
A visual environment information database in which the second visual environment information and the first adaptation target information are stored in association with each other;
Based on the first visual environment information, the optimal first adaptation target information is selected as the second adaptation target information from the visual environment information database, or the second adaptation target information is used to select the second adaptation target information. An adaptation target information estimator for generating adaptation target information;
A visual environment adaptation processing unit that generates a second video signal by correcting the first video signal based on the second adaptation target information;
A video signal processing program comprising: a video signal output unit that outputs a second video signal.

In the video signal processing program shown in claim 4,
Furthermore, a visual environment information database creation switch for instructing addition of new data to the visual environment information database is provided,
According to the output of the visual environment information database creation switch,
A video signal processing program, comprising: an adaptation target information acquisition unit that acquires first adaptation target information stored in the visual environment information database.

In the video signal processing program shown in claims 4 and 5,
As a visual environment information acquisition unit,
An ambient light sensor to obtain the lighting conditions;
A time acquisition unit for acquiring the current time;
An area information acquisition unit for obtaining information of an area where the display is installed;
An illumination state acquisition unit for obtaining a lighting state of illumination around a place where the display is installed;
A light shielding state acquisition unit for obtaining a state of the light shielding device for the place where the display is installed;
A peripheral display device state acquisition unit for acquiring display states of other display devices installed around the display;
An imaging device for photographing the environment around the display;
A human sensor for obtaining the position of the user viewing the display;
A user switching unit for identifying a user who is viewing the display;
What is claimed is: 1. A video signal processing program characterized by having an interface with any one or more devices or including it programmatically.