JP2006215756A - Image processing apparatus, image processing method, and program for the same - Google Patents
Image processing apparatus, image processing method, and program for the same Download PDFInfo
- Publication number
- JP2006215756A JP2006215756A JP2005026940A JP2005026940A JP2006215756A JP 2006215756 A JP2006215756 A JP 2006215756A JP 2005026940 A JP2005026940 A JP 2005026940A JP 2005026940 A JP2005026940 A JP 2005026940A JP 2006215756 A JP2006215756 A JP 2006215756A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- value
- white point
- tristimulus value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、HDR(ハイ・ダイナミックレンジ)画像を表示装置へ表示処理する画像処理装置および画像処理方法ならびにそのプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program for displaying an HDR (High Dynamic Range) image on a display device.
一般的なコンピュータグラフィック技術により、例えば金属缶などの仮想物体の画像をシミュレーション作成する場合は、1)仮想物体の形状データ、2)その形状に意匠性をつけるための平面デザインデータ、3)その平面デザインデータに彩色するための色指定データ、4)どのような素材を用いるかの質感データ(例えば、アルミ板へインキ印刷物を塗布した時の質感のデータ)、5)それら仮想物体が置かれる室内などの照明色や照明位置なども含めた仮想環境データ、6)仮想環境と仮想物体の配置関係を記録した仮想シーンデータ、および7)その仮想シーンをどの視点方向でどれだけの視野角度で見ているかを記録した仮想カメラデータ、が必要である。 When creating an image of a virtual object such as a metal can by simulation using a general computer graphic technology, 1) shape data of the virtual object, 2) plane design data for adding design to the shape, and 3) Color specification data for coloring the plane design data, 4) Material data of what kind of material is used (for example, texture data when ink printed material is applied to an aluminum plate), 5) These virtual objects are placed Virtual environment data including lighting color and lighting position of the room, etc., 6) virtual scene data recording the arrangement relationship between the virtual environment and the virtual object, and 7) in which viewpoint direction and how much viewing angle the virtual scene. You need virtual camera data that records what you are watching.
ここで仮想物体の形状データを指定する方法としては、一般的なCAD(computer aided design)ソフトによる図面を作成する方法や3次元デジタイザなどによる実際に物体の形状を計測する手法がある。また平面デザインデータを指定する方法としては、一般的な描画ソフトウエアによるイラストやロゴなどを作成する方法や平面スキャナなどによる既存デザイン画を取り込む方法がある。また一般的なコンピュータグラフィック技術では、前記色指定データはディスプレイの3原色である赤(R)、青(B)、緑(G)で色指定される。また質感データとしては、一般的なコンピュータグラフィックスソフトウエアに見られるような、非特許文献1、非特許文献2で公開されている既存の反射モデルであるPhongモデルやBlinnモデル等による経験的なパラメータを設定する方法がある。
Here, as a method of designating the shape data of the virtual object, there are a method of creating a drawing with general CAD (computer aided design) software and a method of actually measuring the shape of the object with a three-dimensional digitizer. In addition, as a method of designating plane design data, there are a method of creating an illustration or a logo using general drawing software, and a method of taking an existing design image using a plane scanner. In a general computer graphic technique, the color designation data is color designated by red (R), blue (B) and green (G) which are the three primary colors of the display. The texture data is empirical based on the existing reflection models such as Phong model and Blinn model published in Non-Patent
また色指定データと質感データを取得する方法として、非特許文献3で公開されている実際の素材を偏角分光測定してその素材における偏角分光特性を利用する方法もある。
In addition, as a method for acquiring the color designation data and the texture data, there is a method in which an actual material disclosed in Non-Patent
また仮想環境データを指定する方法としては、実際の環境をカメラなどで撮影し立方体や半球面に撮影画像データを投影する方法や照明色や照明位置を3次元空間座標値として数値指定する方法などがある。また仮想シーンデータを指定する方法としては、前記指定された仮想環境データをコンピュータ画面上に表示し、マウスなどのポインティングデバイスにより仮想物体を配置する方法や仮想物体の位置/傾き角度などを3次元空間座標値として手作業で数値指定する方法などがある。また仮想カメラデータを指定する方法としては、前記指定された仮想シーンデータをコンピュータ画面上に表示し、マウスなどのポインティングデバイスにより視点や視野を指定する方法や視点方向や視野角度などを3次元空間座標値として数値指定する方法などがある。 The virtual environment data can be specified by photographing the actual environment with a camera or the like and projecting the captured image data onto a cube or hemisphere, or by numerically specifying the illumination color or illumination position as a three-dimensional spatial coordinate value. There is. As a method for designating virtual scene data, the designated virtual environment data is displayed on a computer screen, a virtual object is arranged by a pointing device such as a mouse, and the position / tilt angle of the virtual object is three-dimensionally. There is a method of manually specifying a numerical value as a spatial coordinate value. As a method for specifying virtual camera data, the specified virtual scene data is displayed on a computer screen, and a viewpoint or field of view is specified by a pointing device such as a mouse. There is a method of specifying numerical values as coordinate values.
そしてレンダリング処理によって、例えば、上記指定した形状データ、平面デザインデータ、色指定データ、質感データ、仮想環境データ、仮想シーンデータ、および仮想カメラデータを用いて仮想カメラ上に撮影されるスクリーン画像データを数値計算で求める。スクリーン画像データとしては、ディスプレイなどの表示装置の3原色である赤(R)、青(B)、緑(G)の輝度値や分光ベースでの輝度値などとして得られる。前記得られたスクリーン画像データは、ディスプレイなどの表示装置に指定ウインドウ・サイズで表示する。これにより上記1)〜7)のデータを用いたシーン画像をコンピュータ上で表現する事ができる。 Then, by the rendering process, for example, screen image data photographed on the virtual camera using the designated shape data, plane design data, color designation data, texture data, virtual environment data, virtual scene data, and virtual camera data is converted. Obtained by numerical calculation. The screen image data is obtained as luminance values of red (R), blue (B), and green (G), which are the three primary colors of a display device such as a display, or a luminance value on a spectral basis. The obtained screen image data is displayed in a designated window size on a display device such as a display. As a result, a scene image using the data 1) to 7) can be expressed on a computer.
ところで、前記スクリーン画像データがディスプレイの3原色である赤(R)、青(B)、緑(G)の輝度値以外、例えば分光ベースでの輝度値の場合には、得られたスクリーン画像データをディスプレイ表示用のディスプレイ表示信号データに変換する必要がある。例えば、色指定データと質感データが実際の素材を偏角分光測定してその素材における分光反射率の偏角特性を利用した場合、計算で得られた輝度値が表示装置における再現可能な輝度範囲(以下ダイナミックレンジ)よりも大きい値となる場合がある。具体的な例としては、金属缶における光の正反射方向の反対から当該金属缶を見た場合のハイライト部分などにおいて、一般的なコンピュータグラフィックスソフトウエアでは、前記計算で得られたスクリーン画像データの輝度値が表示装置のダイナミックレンジよりも大きい値になった場合などであるが、この場合、赤(R)、青(B)、緑(G)をすべて最大値、すなわち白色として画面に取り扱っていた。つまり、一般のコンピュータグラフィックスソフトウエアにおいて金属缶の画像を作成した時にはハイライト部分は白色で表示される。 By the way, when the screen image data is a luminance value other than the luminance values of red (R), blue (B), and green (G), which are the three primary colors of the display, for example, a spectral-based luminance value, the obtained screen image data is obtained. Needs to be converted into display display signal data for display. For example, if the color specification data and texture data are used for the declination spectroscopic measurement of the actual material and the declination characteristic of the spectral reflectance of the material is used, the luminance value obtained by the calculation is the reproducible luminance range in the display device The value may be larger than (hereinafter referred to as dynamic range). As a specific example, a screen image obtained by the above calculation in a general computer graphics software in a highlight portion when the metal can is viewed from the opposite direction of the regular reflection direction of light in the metal can. This is the case where the luminance value of the data is larger than the dynamic range of the display device. In this case, red (R), blue (B), and green (G) are all set to the maximum value, that is, white on the screen. I was handling it. That is, when an image of a metal can is created in general computer graphics software, the highlighted portion is displayed in white.
しかしながら、アルミ板に直接インキ印刷したメタリック缶の場合、実際の金属缶における光の正反射方向でのハイライト部分は、印刷されたインキの透明性により、白色でなく金属がインキ色相に着色された色として知覚される。このため、アルミ板に直接インキ印刷したメタリック缶の場合などについてコンピュータグラフィックスソフトウェアを用いて表示したハイライト部分と、当該アルミ板に直接インキ印刷したメタリック缶を現実に見た時のハイライト部分の見え方が大きく異なってしまい、コンピュータグラフィックスの画像は実際に人間が前記メタリック缶の物体を見たときの印象と異なってしまう。
なお、関連する従来技術として、非特許文献4、非特許文献5、非特許文献6、非特許文献7、が公開されている。
Note that Non-Patent
上述のようなコンピュータグラフィックスの画像と、実物を現実空間で見たときの印象とが異なってしまう問題は、飲料缶を製造するメーカや車を製造するメーカにとっては重要な問題である。例えば飲料缶製造メーカや車製造メーカは、実際に物を製造しなくとも、コンピュータグラフィックスを利用して画面上に表示させた物体の印象に基づいて飲料缶のデザインの色や車体の色を確認するなどし、色の決定にかかる労力を軽減している。しかしながらコンピュータグラフィックスで見た物の印象と、実際に製造された物の印象とが異なってしまうと、コンピュータグラフィックスを利用して色を決定する過程が無駄なものとなってしまう。 The problem that the image of computer graphics as described above differs from the impression when the real object is viewed in real space is an important problem for manufacturers of beverage cans and vehicles. For example, a beverage can manufacturer or a car manufacturer can set the color of a beverage can or the color of a car body based on the impression of an object displayed on the screen using computer graphics without actually manufacturing the product. Checking and reducing the labor required to determine colors. However, if the impression of an object seen with computer graphics is different from the impression of an actually manufactured article, the process of determining colors using computer graphics becomes useless.
従って、レンダリング処理により算出したスクリーン画像データをハイ・ダイナミックレンジ画像(以下HDR画像)、表示装置のダイナミックレンジに依存した画像をロー・ダイナミックレンジ画像(以下LDR画像)とすると、コンピュータグラフィックスで見た物の印象と、実際に製造された物の印象との間の差異を小さくする為に、表示装置のダイナミックレンジ再現能力の範囲で、人間が実際に物体を見た時の印象と同じ印象を受けるようなLDR画像をHDR画像から作成する技術(トーンマッピング技術)が不可欠である。 Accordingly, when the screen image data calculated by the rendering process is a high dynamic range image (hereinafter referred to as HDR image) and an image depending on the dynamic range of the display device is referred to as a low dynamic range image (hereinafter referred to as LDR image), it is viewed in computer graphics. In order to reduce the difference between the impression of the actual product and the impression of the actual manufactured product, the same impression as when a human actually sees the object within the dynamic range reproduction capability of the display device A technique (tone mapping technique) for creating an LDR image that receives a signal from an HDR image is indispensable.
またコンピュータグラフィックスで表現した仮想環境において、照明の色(分光分布)を変えるような処理をする場合、人間の視覚特性による色順応効果についても考慮して表示する必要がある。例えば、白熱電球光源の分光放射輝度特性と素材の分光反射率特性を用いて、仮想物体の三刺激値を求めて表示装置上のRGB信号値として物理的な色再現を行った場合、白熱電球の分光放射輝度特性が赤みのある分光放射輝度特性を示すので、素材の分光反射率特性が白色の傾向を示す場合であっても、ハイライト部を含めて赤みのある画像としてレンダリング処理される。従って表示装置の画面上には全体的に赤みのある仮想シーンとして表示される。しかし現実空間において、白熱電球光源下で前記素材による実物体が置かれた実シーンを人間が見た場合、人間はその環境下(この場合では白熱電球光源下)でも前記素材をなるべく白色と知覚するよう色順応することにより、前記計算で得られた仮想の画像に比べて全体が白っぽくなっているように知覚する。つまり、物理的な色再現を正確にレンダリング処理しても、環境(照明の分光分布など)の違いにより人間が知覚する印象とは異なってしまう。 Also, when processing such as changing the color (spectral distribution) of illumination in a virtual environment expressed by computer graphics, it is necessary to display in consideration of the chromatic adaptation effect due to human visual characteristics. For example, when the tristimulus values of a virtual object are obtained using the spectral radiance characteristics of the incandescent light source and the spectral reflectance characteristics of the material, and physical color reproduction is performed as RGB signal values on the display device, Since the spectral radiance characteristic of the image shows a reddish spectral radiance characteristic, even if the spectral reflectance characteristic of the material shows a tendency to white, it is rendered as a reddish image including the highlight portion. . Therefore, it is displayed on the screen of the display device as a virtual scene that is entirely red. However, in a real space, when a human sees a real scene where an actual object is placed under an incandescent light source, the human perceives the material as white as possible even in that environment (in this case, under the incandescent light source). By performing the color adaptation, the entire image is perceived as whitish compared to the virtual image obtained by the calculation. In other words, even if the physical color reproduction is accurately rendered, the impression perceived by humans differs depending on the environment (such as the spectral distribution of illumination).
さらに、物体の仮想画像を画面上に表示する際、質感を表現するに重要な因子であるハイライト部は、静止画像ではデザイン上の色なのか照明によるハイライト色なのかが判別しにくい。これに対し、インタラクティブに照明や視点や物体の位置及び向きを操作しながら観察することが可能であれば、ハイライト部もその操作に従って位置が動くので、ハイライト部と認識でき、静止画像よりも質感をリアルに表現できる。
つまり、よりリアルな色/質感を持った仮想物体のレンダリング画像を作成表示するには、表示装置のダイナミックレンジ再現能力の範囲で、人間が実際に物体を見た時の印象と同じ印象を受けるようなLDR画像をHDR画像から作成する技術(トーンマッピング技術)の向上と、照明の色(分光分布)を変えた場合の仮想シーンに対する人間の色順応効果の影響の反映と、インタラクティブに照明や視点や物体の位置及び向きを操作しながら観察できる高速演算性とを考慮する必要がある。
Furthermore, when displaying a virtual image of an object on the screen, it is difficult to determine whether a highlight portion, which is an important factor for expressing a texture, is a design color or a highlight color by illumination in a still image. On the other hand, if it is possible to observe while manipulating the position and orientation of the lighting, the viewpoint, and the object interactively, the highlight part moves according to the operation, so it can be recognized as the highlight part. Can also realistically express the texture.
In other words, in order to create and display a rendered image of a virtual object with a more realistic color / texture, the impression that a human actually sees the object is received within the dynamic range reproduction capability of the display device. Improvement of the technology for creating such LDR images from HDR images (tone mapping technology), reflection of the effects of human chromatic adaptation effects on virtual scenes when the illumination color (spectral distribution) is changed, It is necessary to consider the high-speed calculation performance that allows observation while manipulating the viewpoint and the position and orientation of the object.
そこでこの発明は、トーンマッピング技術の向上と、照明の色(分光分布)を変えた場合の仮想シーンに対する人間の色順応効果の影響の反映とを考慮することにより、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が従来にも増して近くなる画像処理装置および画像処理方法ならびにそのプログラムを提供することを目的としている。 Therefore, the present invention considers improvement of tone mapping technology and reflection of the effect of human chromatic adaptation effects on the virtual scene when the illumination color (spectral distribution) is changed, thereby allowing humans to view actual scenes. It is an object of the present invention to provide an image processing apparatus, an image processing method, and a program therefor, in which an impression when viewing a virtual scene in which the scene is displayed on a screen is closer than ever before.
本発明は、上述の課題を解決すべくなされたもので、入力されたHDR画像から表示装置の輝度範囲内で表示できるLDR画像を生成する画像処理装置であって、前記HDR画像の三刺激値を示す第1三刺激値画像の各画素に対して、三刺激値が所定の閾値未満の場合には前記各画素について仮想光源の白色点を用い、三刺激値が所定の閾値以上の場合には前記各画素について当該三刺激値に応じて増加させた白色点を算出し、それら白色点の三刺激値を保持する第1白色点画像を算出する第1白色点画像算出手段と、前記第1白色点画像の各画素を用いて正規化した三刺激値の第2三刺激値画像を算出する第2三刺激値画像算出手段と、前記第1三刺激値画像中の1画素について当該画素を中心としたbackground領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第1輝度画像を算出する第1輝度画像算出手段と、前記第1三刺激値画像中の1画素について当該画素を中心とした領域であって前記background領域外の領域となるsurround領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第2輝度画像を算出する第2輝度画像算出手段と、前記第1輝度画像と、前記第2輝度画像と、仮想環境における平均的な照度とに基づいて、知覚相関値を示すJCh画像の算出用の第1観察条件パラメータを算出する第1観察条件パラメータ算出手段と、前記第1白色点画像を正規化した第2白色点画像を算出する第2白色点画像算出手段と、前記第2三刺激値画像と前記第2白色点画像と前記第1観察条件パラメータとを用いて、各画素について知覚相関値を示すJCh画像を算出するJCh画像算出手段と、を備えることを特徴とする画像処理装置である。 The present invention has been made to solve the above-described problems, and is an image processing device that generates an LDR image that can be displayed within the luminance range of a display device from an input HDR image, and includes tristimulus values of the HDR image. When the tristimulus value is less than a predetermined threshold value for each pixel of the first tristimulus value image indicating, the white point of the virtual light source is used for each pixel, and the tristimulus value is greater than or equal to the predetermined threshold value Calculating a white point increased according to the tristimulus value for each pixel, and calculating a first white point image that holds the tristimulus values of the white points; Second tristimulus value image calculating means for calculating a second tristimulus value image of tristimulus values normalized using each pixel of one white point image, and one pixel in the first tristimulus value image Pixel group in the background area centered on First luminance image calculating means for calculating a first luminance image by performing an averaging process of the tristimulus value Y in all the pixels, and the pixel for one pixel in the first tristimulus value image. A second luminance image is calculated by performing the averaging process of the tristimulus values Y on all the pixels in the pixel group in the surround area that is the center area and outside the background area. Based on the luminance image calculation means, the first luminance image, the second luminance image, and the average illuminance in the virtual environment, a first observation condition parameter for calculating a JCh image indicating a perceptual correlation value is calculated. First observation condition parameter calculation means, second white point image calculation means for calculating a second white point image obtained by normalizing the first white point image, the second tristimulus value image, and the second white point Using a point image and the first viewing condition parameter, an image processing apparatus characterized by comprising a JCh image calculating means for calculating the JCh image indicating the perceived correlation value for each pixel.
また本発明は、上述の画像処理装置において、表示装置の白色点の三刺激値と、表示装置観察時の周辺環境の平均的な照度とに基づいて、表示装置に画像表示して観察する環境下において、前記表示装置に表示した画像の各画素が、知覚相関値を示す前記JCh画像と同じ見えをもたらす当該画像のRGB信号値の算出用の第2観察条件パラメータを算出する第2観察条件パラメータ算出手段と、前記JCh画像と、表示装置の白色点の三刺激値と、前記第2観察条件パラメータを用いて、前記JCh画像と同じ見えをもたらす当該画像のRGB信号値を算出し表示装置へ出力する画像出力手段と、を備えることを特徴とする。 The present invention also provides an environment for displaying and observing an image on a display device based on the tristimulus value of the white point of the display device and the average illuminance of the surrounding environment when observing the display device. Below, the second observation condition for calculating the second observation condition parameter for calculating the RGB signal value of the image that causes each pixel of the image displayed on the display device to have the same appearance as the JCh image indicating the perceptual correlation value Using the parameter calculation means, the JCh image, the tristimulus value of the white point of the display device, and the second observation condition parameter, the RGB signal value of the image that gives the same appearance as the JCh image is calculated and displayed. And an image output means for outputting to the image.
また本発明は、前記background領域は、前記中心とする画素から所定の範囲内の画素群を示す領域であることを特徴とする。 According to the present invention, the background area is an area indicating a pixel group within a predetermined range from the center pixel.
また本発明は、前記surround領域は、前記background領域外であって当該background領域よりも広い所定の範囲で示される画素群を示す領域あることを特徴とする。 Further, the present invention is characterized in that the surround area is an area indicating a pixel group that is outside the background area and is shown in a predetermined range wider than the background area.
また本発明は、入力されたHDR画像から表示装置の輝度範囲内で表示できるLDR画像を生成する画像処理装置における画像処理方法であって、前記画像処理装置が、前記HDR画像の三刺激値を示す第1三刺激値画像の各画素に対して、三刺激値が所定の閾値未満の場合には前記各画素について仮想光源の白色点を用い、三刺激値が所定の閾値以上の場合には前記各画素について当該三刺激値に応じて増加させた白色点を算出し、それら白色点の三刺激値を保持する第1白色点画像を算出し、前記画像処理装置が、前記第1白色点画像の各画素を用いて正規化した三刺激値の第2三刺激値画像を算出し、前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心としたbackground領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第1輝度画像を算出し、前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心とした領域であって前記background領域外の領域となるsurround領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第2輝度画像を算出し、前記画像処理装置が、前記第1輝度画像と、前記第2輝度画像と、仮想環境における平均的な照度とに基づいて、知覚相関値を示すJCh画像の算出用の第1観察条件パラメータを算出し、前記画像処理装置が、前記第1白色点画像を正規化した第2白色点画像を算出し、前記画像処理装置が、前記第2三刺激値画像と前記第2白色点画像と前記第1観察条件パラメータとを用いて、各画素について知覚相関値を示すJCh画像を算出することを特徴とする画像処理方法である。 The present invention is also an image processing method in an image processing apparatus for generating an LDR image that can be displayed within a luminance range of a display device from an input HDR image, wherein the image processing device uses tristimulus values of the HDR image. For each pixel of the first tristimulus value image shown, if the tristimulus value is less than a predetermined threshold, the white point of the virtual light source is used for each pixel, and if the tristimulus value is greater than or equal to the predetermined threshold For each pixel, a white point increased according to the tristimulus value is calculated, a first white point image holding the tristimulus value of the white point is calculated, and the image processing device is configured to store the first white point. A second tristimulus value image of tristimulus values normalized using each pixel of the image is calculated, and the image processing apparatus performs a background region centered on the pixel for one pixel in the first tristimulus value image In the pixel group The first luminance image is calculated by performing the averaging process of the stimulus value Y for all the pixels, and the image processing device is centered on the pixel for one pixel in the first tristimulus value image. A second luminance image is calculated by performing an averaging process on the tristimulus values Y for all pixels in a pixel group in the surround area that is an area and outside the background area, and the image processing apparatus Calculating a first observation condition parameter for calculating a JCh image indicating a perceptual correlation value based on the first luminance image, the second luminance image, and an average illuminance in a virtual environment; A processing device calculates a second white point image obtained by normalizing the first white point image, and the image processing device calculates the second tristimulus value image, the second white point image, and the first observation condition parameter. Using an image processing method and calculates the JCh image indicating the perceived correlation value for each pixel.
また本発明は、上述の画像処理方法において、前記画像処理装置が、表示装置の白色点の三刺激値と、表示装置観察時の周辺環境の平均的な照度とに基づいて、表示装置に画像表示して観察する環境下において、前記表示装置に表示した画像の各画素が、知覚相関値を示す前記JCh画像と同じ見えをもたらす当該画像のRGB信号値の算出用の第2観察条件パラメータを算出し、前記画像処理装置が、前記JCh画像と、表示装置の白色点の三刺激値と、前記第2観察条件パラメータを用いて、前記JCh画像と同じ見えをもたらす当該画像のRGB信号値を算出し表示装置へ出力することを特徴とする。 According to the present invention, in the above-described image processing method, the image processing device displays an image on the display device based on the tristimulus value of the white point of the display device and the average illuminance of the surrounding environment when observing the display device. In an environment for displaying and observing, each pixel of the image displayed on the display device has a second observation condition parameter for calculating the RGB signal value of the image that gives the same appearance as the JCh image indicating the perceptual correlation value. The image processing device calculates the RGB signal value of the image that gives the same appearance as the JCh image using the JCh image, the tristimulus value of the white point of the display device, and the second observation condition parameter. It calculates and outputs to a display apparatus.
また本発明は、入力されたHDR画像から表示装置の輝度範囲内で表示できるLDR画像を生成する画像処理装置のコンピュータに実行させるプログラムであって、前記画像処理装置が、前記HDR画像の三刺激値を示す第1三刺激値画像の各画素に対して、三刺激値が所定の閾値未満の場合には前記各画素について仮想光源の白色点を用い、三刺激値が所定の閾値以上の場合には前記各画素について当該三刺激値に応じて増加させた白色点を算出し、それら白色点の三刺激値を保持する第1白色点画像を算出する処理と、前記画像処理装置が、前記第1白色点画像の各画素を用いて正規化した三刺激値の第2三刺激値画像を算出する処理と、前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心としたbackground領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第1輝度画像を算出する処理と、前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心とした領域であって前記background領域外の領域となるsurround領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第2輝度画像を算出する処理と、前記画像処理装置が、前記第1輝度画像と、前記第2輝度画像と、仮想環境における平均的な照度とに基づいて、知覚相関値を示すJCh画像の算出用の第1観察条件パラメータを算出する処理と、前記画像処理装置が、前記第1白色点画像を正規化した第2白色点画像を算出する処理と、前記画像処理装置が、前記第2三刺激値画像と前記第2白色点画像と前記第1観察条件パラメータとを用いて、各画素について知覚相関値を示すJCh画像を算出する処理と、をコンピュータに実行させるプログラムである。 The present invention is also a program executed by a computer of an image processing apparatus that generates an LDR image that can be displayed within a luminance range of a display device from an input HDR image, wherein the image processing device performs tristimulus of the HDR image. When the tristimulus value is less than a predetermined threshold value for each pixel of the first tristimulus value image indicating the value, the white point of the virtual light source is used for each pixel, and the tristimulus value is greater than or equal to the predetermined threshold value Calculating a white point that is increased according to the tristimulus value for each pixel, calculating a first white point image that retains the tristimulus values of the white point, and the image processing device includes: A process of calculating a second tristimulus value image of tristimulus values normalized using each pixel of the first white point image, and the image processing device for each pixel in the first tristimulus value image Backg centered around a process of calculating the first luminance image by performing the averaging process of the tristimulus value Y in the pixel group in the ound region for all the pixels, and the image processing device includes a first tristimulus value image in the first tristimulus value image. The tristimulus value Y is averaged for all pixels in the pixel group in the surround area that is an area centered on the pixel and outside the background area. A process for calculating a luminance image; and for calculating a JCh image indicating a perceptual correlation value based on the first luminance image, the second luminance image, and an average illuminance in a virtual environment. A process for calculating the first observation condition parameter, a process for the image processing apparatus to calculate a second white point image obtained by normalizing the first white point image, and the image processing apparatus, 2 using a tristimulus value image and the second white point image and the first viewing condition parameters, a program for executing a process of calculating and the computer JCh image indicating the perceived correlation value for each pixel.
また本発明は、上記処理に加え、前記画像処理装置が、表示装置の白色点の三刺激値と、表示装置観察時の周辺環境の平均的な照度とに基づいて、表示装置に画像表示して観察する環境下において、前記表示装置に表示した画像の各画素が、知覚相関値を示す前記JCh画像と同じ見えをもたらす当該画像のRGB信号値の算出用の第2観察条件パラメータを算出する処理と、前記画像処理装置が、前記JCh画像と、表示装置の白色点の三刺激値と、前記第2観察条件パラメータを用いて、前記JCh画像と同じ見えをもたらす当該画像のRGB信号値を算出し表示装置へ出力する処理と、をコンピュータに実行させるプログラムである。 According to the present invention, in addition to the above processing, the image processing device displays an image on the display device based on the tristimulus value of the white point of the display device and the average illuminance of the surrounding environment when observing the display device. The second observation condition parameter for calculating the RGB signal value of the image that causes each pixel of the image displayed on the display device to have the same appearance as the JCh image indicating the perceptual correlation value. Processing, and the image processing device uses the JCh image, the tristimulus value of the white point of the display device, and the second observation condition parameter to obtain an RGB signal value of the image that gives the same appearance as the JCh image. A program for causing a computer to execute a process of calculating and outputting to a display device.
本発明によれば、元の画像の白色点が閾値以上か未満かに応じて、人の色の知覚の基準となる白色点を決定し出力画像を算出している。これにより、トーンマッピングの処理において、人の色の知覚の基準となる白色点の三刺激値が各画素のハイライト部分とハイライト以外の部分とで異なるような白色点の画像データを生成することができ、また、画素毎の白色点を基準とした色の表現が可能となり、より人が現実空間で知覚する色の印象に近くなるような画像を生成することができるようになる。また色順応の処理において、background領域やsurround領域の輝度の平均値や仮想環境における平均的な照度をトーンマッピング処理した画像に反映させており、人間が仮想環境下の光源の白色を基準として他の色を知覚するような色順応を考慮する色順応処理を行なうので、より人間が現実空間で物体を見たときの印象に近い色を表すJCh画像を算出することができる。 According to the present invention, an output image is calculated by determining a white point serving as a reference for human color perception according to whether the white point of the original image is greater than or less than a threshold value. As a result, in the tone mapping process, white point image data is generated in which the tristimulus values of the white point, which is a reference for human color perception, differ between the highlight portion and the non-highlight portion of each pixel. In addition, it is possible to express a color based on the white point for each pixel, and it is possible to generate an image that is closer to the impression of a color that a person perceives in the real space. In the chromatic adaptation process, the average brightness value of the background area and the surround area and the average illuminance in the virtual environment are reflected in the tone-mapped image. Therefore, a JCh image representing a color closer to an impression when a human sees an object in real space can be calculated.
また本発明によれば、表示装置の白色点の三刺激値や、表示装置観察時の周辺環境の平均的な照度の値を利用して出力画像を算出するので、ディスプレイ装置に画像表示して観察する環境下において、上記知覚相関値を示すJCh画像と同じ見えをもたらす画面表示用の画像を算出することができる。これにより、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が従来にも増して近くなる画像を算出することができる。 According to the present invention, the output image is calculated using the tristimulus value of the white point of the display device and the average illuminance value of the surrounding environment when observing the display device. It is possible to calculate an image for screen display that gives the same appearance as the JCh image showing the perceptual correlation value under the observation environment. Thereby, it is possible to calculate an image in which an impression when a human sees an actual scene and an impression when a virtual scene in which the scene is displayed on the screen are closer than before are calculated.
以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図1は本発明の一実施形態による画像処理装置の構成を示すブロック図である。この図において、符号1は、マウスやキーボードなどからなる入力処理装置である。また2は各種データを記憶するデータ記憶装置である。このデータ記憶装置2は、仮想物体の形状データ、仮想物体の模様を示す平面デザインデータ、仮想物体の色指定データ、仮想物体の質感データ、仮想シーンデータ、仮想環境の撮影画像データ、仮想環境の照明位置データ、仮想環境の照明種類データ、仮想環境の照明色データ、仮想カメラの位置データを記憶している。3は入力処理装置から受付けた情報やデータ記憶装置2から読み取った各情報をグラフィック処理部へ転送する入力処理部である。また4はGPU(Graphics Processing Unit)などのグラフィック処理装置である。5は画像の出力処理を行う出力処理部である。また6は液晶ディスプレイなどの表示装置である。
Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention. In this figure,
またグラフィック処理装置4において、41は入力されたデータからスクリーン画像データ(HDR画像データ)を従来の手法により入力処理部3から受付けた各情報を用いて生成するレンダリング処理部である。また42はレンダリング処理部41の生成したスクリーン画像データ(HDR画像データ)を用いて、表示装置のダイナミックレンジ再現能力の範囲で、人間が実際に物体を見た時の印象と同じ印象を与えるようなディスプレイ表示画像データ(LDR画像データ)を生成するトーンマッピング処理部である。また43はコンピュータ上において照明の色(分光分布)を変えて表示される仮想画像に対して、現実空間において人間が知覚する色順応効果の影響を反映させる処理を行う色順応処理部である。
In the
そして、本実施形態による画像処理装置は、レンダリング処理部41で算出したスクリーン画像データをHDR画像、最終的に表示装置6へ表示する当該表示装置6のダイナミックレンジに依存した画像をLDR画像とすると、トーンマッピング処理により、HDR画像について、コンピュータグラフィックスで見た物の印象と実際に製造された物を見た時の印象との差異が従来にも増して小さくなるような処理を行ない、また色順応処理により、表示装置6のダイナミックレンジの範囲で、人間が実際に物体を見た時の印象と同じ印象を受けるようなLDR画像をHDR画像から作成し、従来にも増してリアルな色/質感を持った仮想物体の画像を表示する処理を行なう。
The image processing apparatus according to the present embodiment uses the screen image data calculated by the
次に画像処理装置の処理フローについて説明する。
まず、入力処理装置1よりデータ記憶装置2で記憶している各データの指定を入力処理部3が受付けると、当該入力処理部3はデータ記憶装置2から、仮想物体の形状データ、仮想物体の模様を示す平面デザインデータ、仮想物体の色指定データ、仮想物体の質感データ、仮想シーンデータ、仮想環境の撮影画像データ、仮想環境の照明位置データ、仮想環境の照明種類データ、仮想環境の照明色データ、仮想カメラの位置データを読み取る。
Next, the processing flow of the image processing apparatus will be described.
First, when the
ここで、仮想物体の形状データは例えば、飲料缶の3Dモデリング座標を示すデータである。また平面デザインデータは飲料缶の模様を2次元平面のベクトルで示すデータである。また仮想物体の色指定データは飲料缶のアルミの色を示す偏角分光反射率のデータである。また仮想物体の質感データはアルミの光沢の色を示す偏角分光反射率のデータである。また仮想シーンデータは飲料缶を背景画像の所定の位置に配置した際の位置情報、つまり飲料缶の形状データと背景画像の配置関係を示す座標に関するデータである。また仮想環境の撮影画像データは飲料缶を配置する背景画像データに合成する写真のデータなどである。また仮想環境の照明位置データは、飲料缶に光を照射する光源の3次元空間における座標のデータである。また仮想環境の照明種類データは例えば入力画像を表示する仮想環境における照明の照度を示すデータである。また仮想環境の照明色データは入力画像を表示する仮想環境における光源の分光分布を示すデータである。また仮想カメラの位置データは、入力画像の仮想環境の中で入力画像を撮影した(見た)ときの、カメラの位置や焦点距離パラメータである。 Here, the shape data of the virtual object is, for example, data indicating 3D modeling coordinates of the beverage can. The plane design data is data indicating the pattern of the beverage can by a two-dimensional plane vector. Further, the color designation data of the virtual object is data of the declination spectral reflectance indicating the color of the aluminum of the beverage can. The texture data of the virtual object is data of the declination spectral reflectance indicating the glossy color of aluminum. The virtual scene data is position information when the beverage can is arranged at a predetermined position of the background image, that is, data relating to coordinates indicating the arrangement relationship between the shape data of the beverage can and the background image. The captured image data of the virtual environment is data of a photograph to be combined with background image data on which a beverage can is arranged. The illumination position data of the virtual environment is data of coordinates in the three-dimensional space of the light source that irradiates the beverage can with light. The illumination type data of the virtual environment is data indicating the illuminance of illumination in the virtual environment displaying the input image, for example. The illumination color data of the virtual environment is data indicating the spectral distribution of the light source in the virtual environment displaying the input image. Further, the position data of the virtual camera is a camera position or a focal length parameter when the input image is captured (seen) in the virtual environment of the input image.
そして、入力処理部3はデータ記憶装置2から読み取った各データをレンダリング処理部41へ通知し、レンダリング処理の開始を指示する。レンダリング処理部41はレンダリング処理の開始の指示を受けると、レンダリング処理を開始しHDR画像を生成する。このレンダリング処理は従来のレンダリング装置と同様の処理である。そしてこのレンダリング処理の結果得られた画像がスクリーン画像(HDR画像)データである。このHDR画像データは、表示装置6が表現できるダイナミックレンジにトーンマッピングされていない画像データである。そして次にトーンマッピング処理部42が、レンダリング処理部により生成されたHDR画像をトーンマッピング処理して、人間が実際に物体を見た時の印象と同じ印象を受けるようなLDR画像を作成するトーンマッピング処理を行なう。
Then, the
図2はJCh画像算出の処理フローを示す図である。
次に図2を用いて、トーンマッピング処理部42の処理について説明する。
まずレンダリング処理部41で生成されたHDR画像を入力画像とすると、入力画像のデータは画像の各画素のRGB値を保持する。そしてトーンマッピング処理部42はデータ記憶装置2からトーンマップ処理用データを読み込む。ここでトーンマップ処理用データとは、XEYEXE:入力画像を表示する仮想環境における光源の三刺激値であるCIEXYZ値(仮想環境の照明色データ)と、θ:白色点画像算出時に光源の三刺激値を用いるか、非特許文献6に記載のPhotographic Tone Mappingの技術を用いるかを決める閾値パラメータ(スカラー値)である。
FIG. 2 is a diagram showing a processing flow of JCh image calculation.
Next, processing of the tone
First, assuming that an HDR image generated by the
トーンマッピング処理部42は、入力画像とトーンマップ処理用データを読み込むと、次に、入力画像の各画素のRGB値をCIEXYZ値に変換し、XYZ画像(第1三刺激値画像)を算出する処理を行なう(ステップS1)。ここで、以下、画像の画素位置を(x,y)、x=1,2,3,・・・,M、y=1,2,3,・・・,Nと表す。またF は画像に対する二次元フーリエ変換、F−1 は画像に対する二次元逆フーリエ変換を表す。このXYZ画像の算出の処理は、表示装置6に依存した処理である。例えば、sRGB色空間に対応した表示装置6の場合、入力画像のRGB信号値をRmGmBmとおくと、入力画像の各画素に対して以下の式(1)処理を行う。
When the tone
次にトーンマッピング処理部42は、上記(ステップS1)により算出されたXYZ画像と光源の三刺激値XEYEZEと閾値パラメータθとを用いて、XWYWZW画像(各画素に対する白色点のCIEXYZ値を画素に持つ画像:第1白色点画像)を算出する(ステップS2)。ステップS2の処理においては以下の式(2)を用いる。
Next, the tone
次にトーンマッピング処理部42は、上記(ステップS1)により算出されたXYZ画像と、(ステップS2)により算出されたXWYWZW画像とを用いて、X´Y´Z´画像(各画素においてXWYWZW画像により正規化したXYZ画像:第2三刺激値画像)を算出する(ステップステップS3)。ステップS3の処理においては以下の式(3)を用いる。
Next, the tone
ここで、ステップS1においては入力画像の各画素のXYZ値を算出している。またステップS2において、閾値パラメータθ以下の白色点の値を示す画素については光源の三刺激値XEYEZEから得られる白色点の三刺激値XwYwZwを、また閾値パラメータθを超える白色点の値を示す画素についてはPhotographic Tone Mappingの技術を利用した白色点の三刺激値XwYwZwを算出している。これにより、人の色の知覚の基準となる白色点の三刺激値XWYWZWが各画素のハイライト部分とハイライト以外の部分とで異なるような白色点の画像データを生成することができる。ここで、人の色の知覚は白を基準として他の領域の色が決定される機能を備えている。従って上記処理の後、ステップS3において、三刺激値XWYWZWの画像によりXYZ画像を正規化しているので、ハイライト部分とハイライト以外の部分とで人の色の知覚の基準となる白色点の三刺激値XWYWZWの影響を考慮したX´Y´Z´画像を算出できる。つまりトーンマッピング処理において、ハイライト部分とハイライト以外の部分とで人の色の知覚の基準となる白色点の三刺激値XWYWZWの影響を考慮するので、それぞれの白色点を基準とした色の表現が可能となり、人間が実際に物体を見た時の印象と同じ印象を受けるような画像を生成することができるようになる。これによりトーンマッピング処理が終了する。なお閾値パラメータθは、実験により得られた適正値などである。トーンマッピング処理が終了すると次にトーンマッピング処理部42は、ステップS2で算出したXWYWZW画像とステップS3で算出したX´Y´Z´画像を色順応処理部43に送信する。
Here, in step S1, an XYZ value of each pixel of the input image is calculated. In step S2, the tristimulus value X w Y w Z w of the white point obtained from the tristimulus values X E Y E Z E of the light source is a pixel showing the values of the following white point threshold parameter theta, also the threshold parameter For pixels showing a white point value exceeding θ, a white point tristimulus value X w Y w Z w is calculated using the photographic Tone Mapping technique. As a result, white point image data is generated in which the tristimulus values X W Y W Z W of the white point, which is the reference for human color perception, differ between the highlight portion and the non-highlight portion of each pixel. be able to. Here, human perception of color has a function of determining colors of other regions with white as a reference. Thus after the processing in step S3, three since the stimulus value X W Y W Z W XYZ image by image normalized with the reference of human color perception in the highlight portion and the portion other than the highlight An X′Y′Z ′ image in consideration of the influence of the tristimulus values X W Y W Z W of the white point can be calculated. In other words, in the tone mapping process, the influence of the tristimulus values X W Y W Z W of the white point, which is a reference for human color perception in the highlight portion and the portion other than the highlight portion, is taken into consideration. The reference color can be expressed, and it is possible to generate an image that receives the same impression as when a human actually sees an object. This completes the tone mapping process. The threshold parameter θ is an appropriate value obtained through experiments. Then tone
次に色順応処理について説明する。
色順応処理部43はトーンマッピング処理部42からXWYWZW画像とX´Y´Z´画像の情報を受けると色順応処理を開始する。まず、色順応処理部43は、色順応処理データをデータ記憶部2から読み込む。この色順応処理データは、E:入力画像を表示する仮想環境における平均的な照度[lux](仮想環境の照明種類データ)と、θ:白色点画像算出時に光源の三刺激値を用いるか、Photographic Tone Mappingを用いるかを決める閾値パラメータ(スカラー値)と、λ:入力画像の仮想環境の中で入力画像を撮影した(見た)ときの、カメラの焦点距離パラメータ(スカラー値)とからなるデータである。次に色順応処理部43は、XWYWZW画像を用いて、当該XWYWZW画像の各画素について輝度YWが100となるよう正規化する(ステップS4)。ステップS4の処理においては以下の式(4)を用いる。各画素についてステップS4の正規化を行った画像のデータをX´WY´WZ´W画像(第2白色点画像)とする。
Next, chromatic adaptation processing will be described.
Chromatic
次に色順応処理部43は、XYZ画像と焦点距離パラメータλを用いて、画像全体に対してYb画像(第1輝度画像)を算出する処理を行う(ステップS5)。このYb画像は、XYZ画像中の1画素について当該画素を中心としたあるbackground領域の画素群(background領域:例えば画素を中心としてカメラの視野を基準とした2度≦background領域の視野角≦10度の範囲)の三刺激値Yに対して平均化処理を、XYZ画像中の全ての画素について行うことにより求めた画像である。このステップS5の処理は以下の式(5)により行う。
Then color
次に色順応処理部44は、XYZ画像と焦点距離パラメータλを用いて、画像全体に対してsurround画像(第2輝度画像)を算出する処理を行う(ステップS6)。このsurround画像は、XYZ画像中の1画素について当該画素を中心としたあるsurround領域の画素群(surround領域:例えば画素を中心としてカメラの視野を基準としたbackground領域の視野角<surround領域の視野角)の三刺激値Yに対して平均化処理を、XYZ画像中の全ての画素について行うことにより求めた画像である。このステップS6の処理は以下の式(6)により行う。 Next, the chromatic adaptation processing unit 44 performs processing for calculating a surround image (second luminance image) for the entire image using the XYZ image and the focal length parameter λ (step S6). This surround image is a pixel group of a surround area centered on the pixel in the XYZ image (surround area: for example, a viewing angle of a background area with the pixel as the center and a field of view of the camera as a reference) This is an image obtained by performing the averaging process on all the pixels in the XYZ image with respect to the (triangle) tristimulus value Y. The process of step S6 is performed by the following equation (6).
図3はbackground領域の視野角とsurround領域の視野角の概要を示す図である。
ここで、ステップS5、ステップS6において、background領域の三刺激値Yの各画素を持つ画像(Yb画像)と、surround領域の三刺激値Yの各画素を持つ画像(surround画像)とを生成したが、これは、各画素についての色を決定する際に、その周辺のbackground領域とsurround領域の輝度の影響を反映させるためである。
FIG. 3 is a diagram showing an overview of the viewing angle of the background area and the viewing angle of the surround area.
Here, the step S5, in step S6, generates an image (Y b image) with each pixel of the tristimulus value Y of the background region, an image (surround image) with each pixel of the tristimulus value Y of the surround area However, this is to reflect the influence of the luminance of the surrounding background and surrounding areas when determining the color for each pixel.
次に色順応処理部44は、色順応予測計算用に最適化された錐体応答を画素に持つRGB画像を生成する(ステップS7)。この処理はステップS3で得られたX´Y´Z´画像の各画素に対して以下の式(7)の計算式を適用する。 Next, the chromatic adaptation processing unit 44 generates an RGB image having a cone response optimized for chromatic adaptation prediction calculation as a pixel (step S7). In this process, the following formula (7) is applied to each pixel of the X′Y′Z ′ image obtained in step S3.
次に色順応処理部44は、ステップS4で生成した白色点画像に対して、色順応予測計算用に最適化された錐体応答を画素に持つRWGWBW画像を生成する(ステップS8)。この処理はX´WY´WZ´W画像の各画素に対して以下の式(8)処理を行う。 Next, the chromatic adaptation processing unit 44 generates, for the white point image generated in step S4, an R WG W B W image having a cone response optimized for chromatic adaptation prediction calculation in pixels (step S4). S8). In this process, the following expression (8) is performed on each pixel of the X ′ W Y ′ W Z ′ W image.
次に色順応処理部44は、c画像、Nc画像、FL値、Nbb画像、Ncb画像、z画像、n画像、D画像からなる観察条件パラメータ(第1観察条件パラメータ)と、観察条件パラメータの算出過程で利用するその他の変数LA値、F画像、k値を、以下の式(9)〜(18)により算出する(ステップS9)。なお、LA値(算出過程の変数)、k値(算出過程の変数)、FL値はスカラー値であり、一度求めれば各画素で求める必要はない。 Next, the chromatic adaptation processing unit 44 includes an observation condition parameter (first observation condition parameter) including a c image, an N c image, an FL value, an N bb image, an N cb image, a z image, an n image, and a D image, and an observation. Other variable LA values, F images, and k values used in the condition parameter calculation process are calculated by the following equations (9) to (18) (step S9). The LA value (calculation process variable), k value (calculation process variable), and FL value are scalar values, and once obtained, it is not necessary to obtain each pixel.
次に、色順応処理部44は、色順応予測計算後の錐体応答を画素に持つRCGCBC画像を生成する(ステップS10)。この処理はステップS7で算出したRGB画像と、ステップS4で算出したX´WY´WZ´W画像と、ステップS8で算出したRWGWBW画像と、観察条件パラメータDとを用いて、各画素に対して以下の式により算出する。 Next, the chromatic adaptation processing unit 44 generates an R C G C B C image having the cone response after the chromatic adaptation prediction calculation as a pixel (step S10). This process uses the RGB image calculated in step S7, the X ′ W Y ′ W Z ′ W image calculated in step S4, the R W G W B W image calculated in step S8, and the observation condition parameter D. Thus, each pixel is calculated by the following formula.
次に、色順応処理部44は、白色点画像に対して、色順応予測計算後の錐体応答を画素に持つRCWGCWBCW画像を算出する(ステップS11)。この処理はステップS8で算出したRWGWBW画像と、ステップS4で算出したX´WY´WZ´W画像と、ステップS9で算出した観察条件パラメータのD画像を用いて、各画素に対して以下の式により算出する。 Next, the chromatic adaptation processing unit 44 calculates, for the white point image, an R CW G CW B CW image having a cone response after the chromatic adaptation prediction calculation as a pixel (step S11). This process is a R W G W B W image calculated in step S8, the X'W Y'W Z'W image calculated in step S4, using the D image viewing condition parameters calculated in step S9, the It calculates with the following formula | equation with respect to a pixel.
次に、色順応処理部44は、知覚相関値計算に最適化された錐体応答を画素に持つR´G´B´画像を算出する(ステップS12)。この処理はステップS10で算出したRCGCBC画像の各画素に対して以下の式により算出する。 Next, the chromatic adaptation processing unit 44 calculates an R′G′B ′ image having a cone response optimized for perceptual correlation value calculation in a pixel (step S12). This process is calculated by the following formula for each pixel of the R C G C B C image calculated in step S10.
次に、色順応処理部44は、白色点画像に対して、知覚相関値計算に最適化された錐体応答を画素に持つR´WG´WB´W画像を算出する(ステップS13)。この処理はステップS11で算出したRCWGCWBCW画像の各画素に対して以下の式により算出する。 Then, color adaptation processor 44, the white point image, calculates the R'W G'W B'W image with optimized cone response to perceived correlation value calculation in the pixel (step S13) . This process is calculated by the following formula for each pixel of the R CW G CW B CW image calculated in step S11.
次に、色順応処理部44は、錐体応答に知覚の非線形性を適用した値を画素に持つR´aG´aB´a画像を算出する(ステップS14)。この処理は、ステップS12で算出したR´G´B´画像と、ステップS9で算出した観察条件パラメータのFL画像を用いて、当該R´G´B´画像の各画素に対して以下の式により算出する。 Next, the color adaptation processing unit 44 calculates the R'a G'a B'a picture having a value according to the nonlinearity of the perceived cone response to the pixel (step S14). This processing uses the R′G′B ′ image calculated in step S12 and the FL image of the observation condition parameter calculated in step S9, and uses the following formula for each pixel of the R′G′B ′ image. Calculated by
次に、色順応処理部44は、白色点画像に対して、錐体応答に知覚の非線形性を適用した値を画素に持つR´aWG´aWB´aW画像を算出する(ステップS15)。この処理は、ステップS13で算出したR´WG´WB´W画像と、ステップS9で算出した観察条件パラメータのFL画像を用いて、当該R´WG´WB´W画像の各画素に対して以下の式により算出する。 Then, color adaptation processor 44, the white point image, calculates the R'aW G'aW B'aW image with a value obtained by applying the nonlinearity of perceived cone response to the pixel (step S15) . This process uses a R'W G'W B'W image calculated in step S13, the FL image viewing condition parameters calculated in step S9, each pixel of the R'W G'W B'W image Is calculated by the following formula.
次に、色順応処理部44は、知覚相関値を画素に持つJCh画像(Jは明るさ、Cは彩度、hは色相を示す)を算出する(ステップS16)。この処理は、ステップS14で算出したR´aG´aB´a画像と、ステップS15で算出したR´aWG´aWB´aW画像と、ステップS9で算出した観察条件パラメータのNc画像、Ncb画像、Nbb画像、c画像、z画像、n画像を用いて、R´aG´aB´a画像とR´aWG´aWB´aW画像の対応する各画素について、以下の式により算出する。 Next, the chromatic adaptation processing unit 44 calculates a JCh image (J is brightness, C is saturation, and h is hue) having perceptual correlation values in pixels (step S16). This process includes the R ′ a G ′ a B ′ a image calculated in step S14, the R ′ aW G ′ aW B ′ aW image calculated in step S15, and the N c image of the observation condition parameter calculated in step S9. , n cb image, n bb image, c image, z image, using n images, for each corresponding pixel of R'a G'a B'a picture and R'aW G'aW B'aW image, following It is calculated by the following formula.
ここで、一般的な知覚相関値(JCh)の意味は「任意の観察条件における任意の色を定量化した値」である。また上述した数式による知覚相関値の意味は「入力画像のシーンの中に自分が居るときのシーンの見えを定量化した画像」であり、「入力画像のシーンの中に自分が居る」という1つの観察条件における数式を用いて知覚相関値を算出している。以上の処理により、ステップS1〜ステップS3において、ハイライト部分とハイライト以外の部分とで人の色の知覚の基準となる白色点の三刺激値XWYWZWの影響を考慮したトーンマッピングの処理を行い、また、ステップS4〜ステップS15において、人間が仮想環境下の光源の白色を基準として他の色を知覚するような色順応を考慮する色順応処理を行なうので、これにより、より人間が現実空間で物体を見たときの印象に近い色を表すJCh画像を算出することができる。 Here, a general perceptual correlation value (JCh) means “a value obtained by quantifying an arbitrary color under an arbitrary observation condition”. The meaning of the perceptual correlation value based on the above formula is “an image that quantifies the appearance of the scene when you are in the scene of the input image”, and “I am in the scene of the input image”. Perceptual correlation values are calculated using mathematical formulas under two observation conditions. Through the above processing, in steps S1 to S3, a tone that takes into consideration the influence of the tristimulus values X W Y W Z W of the white point, which is a reference for human color perception in the highlight portion and the portion other than the highlight portion. In step S4 to step S15, mapping processing is performed in consideration of chromatic adaptation in which a human perceives other colors based on the white color of the light source in the virtual environment. It is possible to calculate a JCh image representing a color closer to an impression when a human sees an object in real space.
図4はJCh画像を元に出力画像を算出する処理フローを示す図である。
図4より、次に、色順応処理部43は、ステップS16で算出したJCh画像を元に、ディスプレイ装置に出力する出力画像のRGB値を決定する処理を行う。つまり、ディスプレイ装置に画像表示して観察する環境下において、ステップS16で算出した知覚相関値と同じ見えをもたらすRGB信号値の算出を行う。ここで、データ記憶装置2には、ディスプレイ装置の白色点のCIEXYZ値であるXw2Yw2Zw2値と、E2:ディスプレイ装置観察時の周辺環境の平均的な照度[lux]が記録されている。
FIG. 4 is a diagram showing a processing flow for calculating an output image based on a JCh image.
4, next, the chromatic
色順応処理部43は、ディスプレイ装置の白色点の三刺激値XW2YW2ZW2値を読み込み、色順応予測計算用に最適化された白色点の錐体応答であるRW2GW2BW2を算出する(ステップS17)。この処理は、以下の式により算出する。
The chromatic
次に色順応処理部43は、観察条件パラメータ(第2観察条件パラメータ)であるc2値、Nc2値、FL2値、Nbb2値、Ncb2値、z2値、n2値、D2値を算出する(ステップS18)。この処理はYb2値、surround2値、ディスプレイ装置観察時の周辺環境の平均的な照度E2の値を用いて、以下の式により算出する。 Next, the chromatic adaptation processing unit 43 c 2 value, N c2 value, FL 2 value, N bb2 value, N cb2 value, z 2 value, n 2 value, D, which are observation condition parameters (second observation condition parameters) A binary value is calculated (step S18). This process is calculated by the following formula using the Y b2 value, the surround 2 value, and the average illuminance E 2 value of the surrounding environment when observing the display device.
次に色順応処理部43は、色順応予測計算後の白色点の錐体応答であるRCW2GCW2BCW2値を算出する(ステップS19)。この処理は、ステップS17で算出したRW2GW2BW2と、ディスプレイ装置の白色点XW2YW2ZW2値と、観察条件パラメータD2を用いて、以下の式により算出する。
Next, the chromatic
次に色順応処理部43は、知覚相関値計算に最適化された白色点の錐体応答であるR´W2G´W2B´W2値を算出する(ステップS20)。この処理はステップS19で算出したRCW2GCW2BCW2値を用いて、以下の式により算出する。
Then color
次に色順応処理部43は、白色点の錐体応答に知覚の非線形性を適用したR´aW2G´ aW2B´aW2値を算出する(ステップS21)。この処理はステップS20で算出したR´W2G´W2B´W2値と、観察条件パラメータFL2値を用いて、以下の式により算出する。
Next, the chromatic
次に色順応処理部43は、錐体応答に知覚の非線形性を適用した値を画素に持つR´a2G´a2B´a2画像を算出する(ステップS22)。この処理はステップS16で算出したJCh画像と、ステップS21で算出したR´aW2G´ aW2B´aW2値と観察条件パラメータNc2値、Ncb2値、Nbb2値、z2値、n2値とを用いて、JCh画像の各画素に対して以下の処理を行う。
Then color
次に色順応処理部43は、知覚相関値計算に最適化された錐体応答を画素に持つR2´G2´B2´画像を算出する(ステップS23)。この処理は、ステップS22で算出されたR´a2G´a2B´a2画像と、観察条件パラメータFL2値を用いて、R´a2G´a2B´a2画像の各画素に対して以下の処理を行う。
Then color
次に色順応処理部43は、色順応予測計算後の錐体応答を画素に持つRC2GC2BC2画像を算出する(ステップS24)。この処理は、ステップS23で算出されたR2´G2´B2´画像の各画素に対して以下の処理を行う。
Next, the chromatic
次に色順応処理部43は、色順応予測計算用に最適化された錐体応答を画素に持つR2G2B2画像を算出する(ステップS25)。この処理は、ステップS24で算出されたRC2GC2BC2画像と、ディスプレイ装置の白色点XW2YW2ZW2値と、観察条件パラメータD2とを用いて、RC2GC2BC2画像の各画素に対して以下の処理を行う。
Next, the chromatic
次に色順応処理部43は、CIEXYZ値を画素に持つX2Y2Z2画像を算出する(ステップS26)。この処理はステップS25で算出されたR2G2B2画像の各画素に対して以下の処理を行う。
Next, the chromatic
なおステップS26で算出したX2Y2Z2画像がディスプレイ表示画像データ(LDR画像)となる。そして色順応処理部43はステップS26で算出したX2Y2Z2画像を出力処理部5に転送する。次に出力処理部5はX2Y2Z2画像を用いて画面表示用のコンピュータ用RGB信号を画素に持つ出力画像(錐体応答のRGBではない)を算出する(ステップS27)。この処理はディスプレイ装置に依存した処理である。例えば、sRGB色空間に対応したディスプレイ装置の場合、X2Y2Z2画像の各画素に対して以下の処理を行う。ただし、画面表示用のコンピュータ用RGB信号(最終出力)をRm2Gm2Bm2とする。
Note that the X 2 Y 2 Z 2 image calculated in step S26 becomes display display image data (LDR image). Then, the chromatic
以上の処理により、ディスプレイ装置の白色点の三刺激値であるXW2YW2ZW2値や、ディスプレイ装置観察時の周辺環境の平均的な照度E2の値を利用して出力画像を算出するので、ディスプレイ装置に画像表示して観察する環境下において、ステップS16で算出した知覚相関値と同じ見えをもたらす画面表示用の画像を算出することができる。これにより、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が従来にも増して近くなる画像を算出することができる。 Through the above processing, an output image is calculated using the X W2 Y W2 Z W2 value, which is the tristimulus value of the white point of the display device, and the average illuminance E 2 value of the surrounding environment when observing the display device. Therefore, it is possible to calculate an image for screen display that gives the same appearance as the perceptual correlation value calculated in step S16 in an environment where an image is displayed on the display device for observation. Thereby, it is possible to calculate an image in which an impression when a human sees an actual scene and an impression when a virtual scene in which the scene is displayed on the screen are closer than before are calculated.
次に、非特許文献4や非特許文献5および非特許文献7の技術と上述の本願発明との差異について説明する。なお、非特許文献5および非特許文献7の技術は非特許文献4の技術を応用した色表現方法(Color Appearance Model)である。非特許文献4や非特許文献5および非特許文献7においても、本願発明同様に知覚相関値の算出と、当該算出した知覚相関値に基づくLDR画像の算出を行っている。しかしながら、本願発明の技術においては、閾値パラメータθを用いて、入力画像の画素の輝度が閾値パラメータθを超えるか超えないかに応じて入力画像のハイライト部分とハイライト以外の部分とを判断し、画素の色を決定するための白色点を変化させている。つまり、閾値パラメータθを超えない画素(ハイライト以外の部分)については光源の三刺激値の白色点を基準として画素の色を決定し、閾値パラメータθを超える画素(ハイライト部分)については光源の三刺激値の白色点以上の値を基準として各画素の色を決定している。これにより、入力画像のトーンマッピングにおいては、ハイライト以外の部分については測色的に再現し、ハイライトの部分については経験的に画質が良いと知られているPhotographic Tone Mappingが適用され、色順応処理においては、入力画像から光源の三刺激値を推定するのではなく、仮想環境の光源情報を用いるため、より人が現実空間で知覚する色の印象に近くなるような画像を生成することができるようになる。
Next, differences between the techniques of
また本願発明の技術においては、色順応処理において、background領域の三刺激値Yの各画素を持つ画像(Yb画像)と、surround領域の三刺激値Yの各画素を持つ画像(surround画像)とを生成し、各画素についての色を決定する際に、その周辺のbackground領域とsurround領域の輝度の影響を反映させて観察条件パラメータし、当該観察条件パラメータを用いてJCh画像を算出しているので、これは、人間が仮想環境下の光源の白色を基準として他の色を知覚するような色順応を考慮する色順応処理となる。従って、より人間が現実空間で物体を見たときの印象に近い色を表すJCh画像を算出することができる。 In the art of the present invention is also the color adaptation process, an image having an image with each pixel of the tristimulus value Y of background regions (Y b image), each pixel of the tristimulus value Y of surround region (surround image) And determining the color for each pixel, the observation condition parameter is reflected to reflect the luminance of the surrounding background area and the surrounding area, and the JCh image is calculated using the observation condition parameter. Therefore, this is a chromatic adaptation process that considers chromatic adaptation such that a human perceives other colors based on the white color of the light source in the virtual environment. Therefore, it is possible to calculate a JCh image representing a color closer to an impression when a human sees an object in real space.
また本願発明の技術においては、上述したように、ディスプレイ装置の白色点の三刺激値であるXW2YW2ZW2値や、ディスプレイ装置観察時の周辺環境の平均的な照度E2の値を利用して出力画像を算出するので、ディスプレイ装置に画像表示して観察する環境下において、ステップS16で算出した知覚相関値と同じ見えをもたらす画面表示用の画像を算出することができる。また出力画像の算出に利用するJCh画像自体もより人間が現実空間で物体を見たときの印象と近い色を表すJCh画像であるので、これにより、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が従来にも増して近くなる画像を算出することができる。 In the technology of the present invention, as described above, the X W2 Y W2 Z W2 value, which is the tristimulus value of the white point of the display device, and the average illuminance E 2 value of the surrounding environment when observing the display device are calculated. Since the output image is calculated using the screen, it is possible to calculate an image for screen display that gives the same appearance as the perceptual correlation value calculated in step S16 in an environment where the image is displayed on the display device and observed. Further, the JCh image itself used for calculating the output image is also a JCh image representing a color closer to the impression when the human sees the object in the real space, and thus, the impression when the human sees the actual scene. Then, it is possible to calculate an image in which the impression when the virtual scene in which the scene is displayed on the screen is viewed becomes closer than before.
次に、非特許文献5および非特許文献7(iCAM)の手法により表示したLDR画像と、本願発明の手法により表示したLDR画像の主観評価実験の結果について開示する。
Next, the result of the subjective evaluation experiment of the LDR image displayed by the method of
(実験1)
実験1においては、1枚のLDR静止画像を用いてiCAMの手法と本願発明の手法の比較を行う。ここで、LDR静止画像は、A光源(350[lux])下にハイライトが見えないように飲料缶を置いた画像であり、その飲料缶が画像処理の結果表示された画像が、視覚の順応効果を通じてどのように見えるかを比較している。入力画像であるLDR静止画像は、飲料缶の偏角分光反射特性や形状を用いてコンピュータグラフィックス技術により作成した画像(コンピュータ用RGB信号値)である。
(Experiment 1)
In
本願発明の手法を用いた画像処理においては、以下のパラメータを変化させて飲料缶の見えを予測した計30枚の画像を作成している。
θ: 白色点画像算出時の閾値パラメータ<0、10、20、30、50、100(計6種類)>
λ:カメラの焦点距離パラメータ<1、5、10、20、50(計5種類)>
また本願発明の手法では入力画像と上記パラメータ以外の入力値を観察条件に合わせて以下のように設定した。
XEYEZE:入力画像のシーン内における光源(A光源)のCIEXYZ値 [103.8 100 49.7]
E:入力画像のシーン内における平均的な照度[350lux]
XWYWZW:ディスプレイ装置白色点のCIEXYZ値 [93.85 100 108.50](実測値)
E2:ディスプレイ装置観察時の周辺環境の平均的な照度[350lux]
In the image processing using the method of the present invention, a total of 30 images are created in which the appearance of the beverage can is predicted by changing the following parameters.
θ: threshold parameter for white point image calculation <0, 10, 20, 30, 50, 100 (6 types in total)>
λ: Camera focal length parameter <1, 5, 10, 20, 50 (5 types in total)>
In the method of the present invention, the input image and input values other than the above parameters are set as follows according to the observation conditions.
X E Y E Z E: CIEXYZ value of the light source (A source) in the input image scene [103.8 100 49.7]
E: Average illuminance in the scene of the input image [350 lux]
X W Y W Z W: CIEXYZ value of the display device white point [93.85 100 108.50 (found)
E 2 : Average illuminance [350 lux] of the surrounding environment when observing the display device
また非特許文献5および非特許文献7のiCAMの手法を用いた画像処理においては、以下のパラメータを変化させて飲料缶の見えを予測した計18枚の画像を作成している。
ローパスフィルタのサイズパラメータσ:画像サイズ(縦と横で大きい方)の1/4、1/8、1/16(計3種類)
RWGWBWの算出方法:式(67)(計1種類)
Further, in the image processing using the iCAM technique of
Low-pass filter size parameter σ: 1/4, 1/8, 1/16 of image size (larger in length and width) (3 types in total)
Calculation method of R W G W B W : Formula (67) (1 type in total)
色順応度合いパラメータD:0.1、0.5、1.0(計3種類)
FLに乗算する係数:1/1.0、1/1.3(計2種類)
RGB信号値の最大値を決定するパラメータClipsize:100(計1種類)
また非特許文献5および非特許文献7のiCamの手法を用いた画像処理においては、入力画像と上記パラメータ以外の入力値を観察条件に合わせて以下のように設定した。
XWYWZW:ディスプレイ装置白色点のCIEXYZ値 [93.85 100 108.50](実測値)
Color adaptation parameter D: 0.1, 0.5, 1.0 (3 types in total)
Coefficient to multiply by FL: 1 / 1.0, 1 / 1.3 (total 2 types)
Parameter Clipsize for determining the maximum RGB signal value: 100 (1 type in total)
In the image processing using the iCam method of
X W Y W Z W: CIEXYZ value of the display device white point [93.85 100 108.50 (found)
そして、本願発明の手法により飲料缶の見えを予測した画像群(30枚)とiCAMの手法により飲料缶の見えを予測した画像群(18枚)からランダムに一枚の画像を選択し、ディスプレイ装置に表示した。そして、被験者は表示画像の見えが飲料缶の見えにどれだけ近いかを以下の5段階の評価基準から選択した。
1.似ている
2.やや似ている
3.どちらともいえない
4.あまり似ていない
5.似ていない
Then, one image is randomly selected from the image group (30 sheets) in which the appearance of the beverage can is predicted by the technique of the present invention and the image group (18 sheets) in which the appearance of the beverage can is predicted by the iCAM technique. Displayed on the device. The subject then selected how close the appearance of the display image was to the appearance of the beverage can from the following five evaluation criteria.
1. Similar Somewhat similar 3. Neither can I say 4. 4. Not very similar Does not resemble
なお、実験1のiCAMの手法と本願発明の手法の比較においては、一方の眼で実物の飲料缶を、他方の眼でディスプレイ装置に表示された画像を観察する両眼隔壁法を採用した。また被験者数は10人とした。さらに、各画像の評価結果を系列範疇法により解析し、全画像中最高評価の画像を1、最低評価の画像を0に正規化して各画像の評価値を算出した。
In the comparison between the iCAM technique of
図5は実験1の結果を示す図である。
図5で示すように、本願発明の手法により飲料缶の見えを予測した画像群中最高評価の画像の表価値は1であり、iCAMの手法により飲料缶の見えを予測した画像群中最高評価の画像の表価値は0.37であった。これにより本願発明の手法が従来手法に比べて、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が近くなっていると言うことができる。
FIG. 5 is a diagram showing the results of
As shown in FIG. 5, the table value of the highest rated image in the image group that predicted the appearance of the beverage can by the method of the present invention is 1, and the highest evaluation in the image group that predicted the appearance of the beverage can by the iCAM method. The surface value of this image was 0.37. As a result, compared to the conventional method, the technique of the present invention is closer to the impression when a human sees an actual scene and the impression when he sees a virtual scene displaying the scene on the screen. Can do.
なお、以下が、実験1の被験者へのインストラクションである。
(1)この実験では、ディスプレイに表示した飲料缶のデザイン部分の見えと、実物体の飲料缶のデザイン部分の見えに関して評価してもらいます。
(2)評価は、下記の5段階の基準から選択してください。
(3)評価対象は飲料缶のデザイン部分のみで、背景および銀色のふたと底の部分は評価の対象外とします。
(4)画像は全部で48枚あります。
The following is an instruction to the subject in
(1) In this experiment, we will evaluate the appearance of the design part of the beverage can displayed on the display and the appearance of the design part of the actual beverage can.
(2) Select the evaluation from the following five levels.
(3) The evaluation target is only the design part of the beverage can, and the background and the silver lid and bottom part are excluded from the evaluation.
(4) There are 48 images in total.
(実験2)
実験2においては、1枚のHDR静止画像を用いてiCAMの手法と本願発明の手法の比較を行う。ここで、HDR静止画像は、A光源(350[lux])下にハイライトが見えるように飲料缶を置いた画像であり、その飲料缶が画像処理の結果表示された画像が、視覚の順応効果を通じてどのように見えるかを比較している。入力画像であるHDR静止画像は、飲料缶の偏角分光反射特性や形状を用いてコンピュータグラフィックス技術により作成した画像(コンピュータ用RGB信号値)である。
(Experiment 2)
In
本願発明の手法を用いた画像処理においては、以下のパラメータを変化させて飲料缶の見えを予測した計35枚の画像を作成している。
θ: 白色点画像算出時の閾値パラメータ<0、10、20、30、50、80、100(計7種類)>
λ:カメラの焦点距離パラメータ<1、5、10、20、50(計5種類)>
また本願発明の手法では入力画像と上記パラメータ以外の入力値を観察条件に合わせて以下のように設定した。
XEYEZE:入力画像のシーン内における光源(A光源)のCIEXYZ値 [103.8 100 49.7]
E:入力画像のシーン内における平均的な照度[350lux]
XWYWZW:ディスプレイ装置白色点のCIEXYZ値 [93.85 100 108.50](実測値)
E2:ディスプレイ装置観察時の周辺環境の平均的な照度[350lux]
In the image processing using the technique of the present invention, a total of 35 images in which the appearance of the beverage can is predicted are created by changing the following parameters.
θ: threshold parameter for white point image calculation <0, 10, 20, 30, 50, 80, 100 (7 types in total)>
λ: Camera focal length parameter <1, 5, 10, 20, 50 (5 types in total)>
In the method of the present invention, the input image and input values other than the above parameters are set as follows according to the observation conditions.
X E Y E Z E: CIEXYZ value of the light source (A source) in the input image scene [103.8 100 49.7]
E: Average illuminance in the scene of the input image [350 lux]
X W Y W Z W: CIEXYZ value of the display device white point [93.85 100 108.50 (found)
E 2 : Average illuminance [350 lux] of the surrounding environment when observing the display device
また非特許文献5および非特許文献7のiCAMの手法を用いた画像処理においては、以下のパラメータを変化させて飲料缶の見えを予測した計36枚の画像を作成している。
ローパスフィルタのサイズパラメータσ:画像サイズ(縦と横で大きい方)の1/4、1/8、1/16(計3種類)
RWGWBWの算出方法:式(67)、式(68)(計2種類)
In the image processing using the iCAM method of
Low-pass filter size parameter σ: 1/4, 1/8, 1/16 of image size (larger in length and width) (3 types in total)
Calculation method of R W G W B W : Formula (67), Formula (68) (2 types in total)
色順応度合いパラメータD:0.1、0.5、1.0(計3種類)
FLに乗算する係数:1/1.0、1/1.3(計2種類)
RGB信号値の最大値を決定するパラメータClipsize:99(計1種類)
また非特許文献5および非特許文献7のiCAMの手法を用いた画像処理においては、入力画像と上記パラメータ以外の入力値を観察条件に合わせて以下のように設定した。
XWYWZW:ディスプレイ装置白色点のCIEXYZ値 [93.85 100 108.50](実測値)
Color adaptation parameter D: 0.1, 0.5, 1.0 (3 types in total)
Coefficient to multiply by FL: 1 / 1.0, 1 / 1.3 (total 2 types)
Parameter Clipsize for determining the maximum RGB signal value: 99 (1 type in total)
In the image processing using the iCAM method of
X W Y W Z W: CIEXYZ value of the display device white point [93.85 100 108.50 (found)
そして、本願発明の手法により飲料缶の見えを予測した画像群(35枚)とiCAMの手法により飲料缶の見えを予測した画像群(36枚)からランダムに一枚の画像を選択し、ディスプレイ装置に表示した。そして、被験者は表示画像の見えが飲料缶の見えにどれだけ近いかを以下の5段階の評価基準から選択した。
1.似ている
2.やや似ている
3.どちらともいえない
4.あまり似ていない
5.似ていない
Then, one image is randomly selected from the image group (35 images) in which the appearance of the beverage can is predicted by the method of the present invention and the image group (36 images) in which the appearance of the beverage can is predicted by the iCAM method. Displayed on the device. The subject then selected how close the appearance of the display image was to the appearance of the beverage can from the following five evaluation criteria.
1. Similar Somewhat similar 3. Neither can I say 4. 4. Not very similar Does not resemble
なお、実験2のiCAMの手法と本願発明の手法の比較においては、一方の眼で実物の飲料缶を、他方の眼でディスプレイ装置に表示された画像を観察する両眼隔壁法を採用した。また被験者数は10人とした。さらに、各画像の評価結果を系列範疇法により解析し、全画像中最高評価の画像を1、最低評価の画像を0に正規化して各画像の評価値を算出した。
In the comparison between the iCAM method of
図6は実験2の結果を示す図である。
図6で示すように、本願発明の手法により飲料缶の見えを予測した画像群中最高評価の画像の表価値は1であり、iCAMの手法により飲料缶の見えを予測した画像群中最高評価の画像の表価値は0.58であった。これにより本願発明の手法が従来手法に比べて、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が近くなっていると言うことができる。
FIG. 6 is a diagram showing the results of
As shown in FIG. 6, the table value of the highest evaluation image in the image group predicted by the method of the present invention is 1, and the highest evaluation in the image group in which the appearance of the beverage can is predicted by the iCAM method. The surface value of this image was 0.58. As a result, compared to the conventional method, the technique of the present invention is closer to the impression when a human sees an actual scene and the impression when he sees a virtual scene displaying the scene on the screen. Can do.
なお、以下が、実験2の被験者へのインストラクションである。
(1)この実験では、ディスプレイに表示した飲料缶のデザイン部分の見えおよび光沢部分の見えと、実物体の飲料缶のデザイン部分の見えおよび光沢部分の見えに関して評価してもらいます。
(2)評価は、下記の5段階の基準から選択してください。
(3)評価はデザイン部分の見え、光沢部分の見えの両方を評価し、それらを総合的に評価してください。
(4)評価対象は飲料缶のデザイン部分のみで、背景および銀色のふたと底の部分は評価の対象外とします。
(5)画像は全部で71枚あります。
The following is an instruction to the subject in
(1) In this experiment, the appearance of the design and gloss of the beverage can displayed on the display and the appearance of the design and gloss of the actual beverage can will be evaluated.
(2) Select the evaluation from the following five levels.
(3) Please evaluate both the appearance of the design part and the appearance of the glossy part, and evaluate them comprehensively.
(4) The evaluation target is only the design part of the beverage can, and the background and the silver lid and bottom part are excluded from the evaluation.
(5) There are 71 images in total.
(実験3)
実験3においては、カメラ角度の指定に応じて物体の角度が変化する動画像を用いてiCAMの手法と本願発明の手法の比較を行う。ここで、画像は、A光源(350[lux])下に飲料缶を置いた画像であり、その飲料缶がユーザの指定した角度に応じて画像処理した結果表示する画像が、視覚の順応効果を通じてどのように見えるかを比較している。入力画像である画像は、画面描画時の各フレームにおいて飲料缶の偏角分光反射特性や形状を用いてコンピュータグラフィックス技術により作成した画像(コンピュータ用RGB信号値であるが、数値としてHDRの情報を保持している。)である。なお実際の飲料缶は片手に持って動かし、ハイライトが見える状態とハイライトが見えない状態を自由に行き来できる。また表示画像はマウス操作により角度を変更し、ハイライトが見える状態からハイライトが見えない状態へと自由に角度調整することができる。
(Experiment 3)
In
本願発明の手法を用いた画像処理においては、以下のパラメータを変化させて飲料缶の見えを予測した計21枚の画像を作成している。
θ: 白色点画像算出時の閾値パラメータ<0、10、20、30、50、80、100(計7種類)>
λ:カメラの焦点距離パラメータ<1、5、50(計3種類)>
また本願発明の手法では入力画像と上記パラメータ以外の入力値を観察条件に合わせて以下のように設定した。
XEYEZE:入力画像のシーン内における光源(A光源)のCIEXYZ値 [103.8 100 49.7]
E:入力画像のシーン内における平均的な照度[350lux]
XWYWZW:ディスプレイ装置白色点のCIEXYZ値 [93.85 100 108.50](実測値)
E2:ディスプレイ装置観察時の周辺環境の平均的な照度[350lux]
In the image processing using the method of the present invention, a total of 21 images are created in which the appearance of the beverage can is predicted by changing the following parameters.
θ: threshold parameter for white point image calculation <0, 10, 20, 30, 50, 80, 100 (7 types in total)>
λ: Camera focal length parameter <1, 5, 50 (3 types in total)>
In the method of the present invention, the input image and input values other than the above parameters are set as follows according to the observation conditions.
X E Y E Z E: CIEXYZ value of the light source (A source) in the input image scene [103.8 100 49.7]
E: Average illuminance in the scene of the input image [350 lux]
X W Y W Z W: CIEXYZ value of the display device white point [93.85 100 108.50 (found)
E 2 : Average illuminance [350 lux] of the surrounding environment when observing the display device
また非特許文献5および非特許文献7のiCAMの手法を用いた画像処理においては、以下のパラメータを変化させて飲料缶の見えを予測した計18枚の画像を作成している。
ローパスフィルタのサイズパラメータσ:画像サイズ(縦と横で大きい方)の1/4、1/8、1/16(計3種類)
RWGWBWの算出方法:式(67)、式(68)(計2種類)
色順応度合いパラメータD:0.1、0.5、1.0(計3種類)
FLに乗算する係数:1/1.0、(計1種類)
RGB信号値の最大値を決定するパラメータClipsize:99(計1種類)
また非特許文献5および非特許文献7のiCAMの手法を用いた画像処理においては、入力画像と上記パラメータ以外の入力値を観察条件に合わせて以下のように設定した。
XWYWZW:ディスプレイ装置白色点のCIEXYZ値 [93.85 100 108.50](実測値)
Further, in the image processing using the iCAM technique of
Low-pass filter size parameter σ: 1/4, 1/8, 1/16 of image size (larger in length and width) (3 types in total)
Calculation method of R W G W B W : Formula (67), Formula (68) (2 types in total)
Color adaptation parameter D: 0.1, 0.5, 1.0 (3 types in total)
Coefficient multiplied by FL: 1 / 1.0 (1 type in total)
Parameter Clipsize for determining the maximum RGB signal value: 99 (1 type in total)
In the image processing using the iCAM method of
X W Y W Z W: CIEXYZ value of the display device white point [93.85 100 108.50 (found)
そして、本願発明の手法により飲料缶の見えを予測した画像群(21枚)とiCAMの手法により飲料缶の見えを予測した画像群(18枚)からランダムに一枚の画像を選択し、ディスプレイ装置に表示した。そして、被験者は表示画像の見えが飲料缶の見えにどれだけ近いかを以下の5段階の評価基準から選択した。
1.似ている
2.やや似ている
3.どちらともいえない
4.あまり似ていない
5.似ていない
Then, one image is selected at random from the image group (21 images) in which the appearance of the beverage can is predicted by the method of the present invention and the image group (18 images) in which the appearance of the beverage can is predicted by the iCAM method, and the display Displayed on the device. Then, the test subject selected how close the appearance of the display image is to the appearance of the beverage can from the following five evaluation criteria.
1. Similar Somewhat similar 3. Neither can I say 4. 4. Not very similar Does not resemble
なお、実験2のiCAMの手法と本願発明の手法の比較においては、一方の眼で実物の飲料缶を、他方の眼でディスプレイ装置に表示された画像を観察する両眼隔壁法を採用した。また被験者数は10人とした。さらに、各画像の評価結果を系列範疇法により解析し、全画像中最高評価の画像を1、最低評価の画像を0に正規化して各画像の評価値を算出した。
In the comparison between the iCAM method of
図7は実験3の結果を示す図である。
図7で示すように、本願発明の手法により飲料缶の見えを予測した画像群中最高評価の画像の表価値は1であり、iCAMの手法により飲料缶の見えを予測した画像群中最高評価の画像の表価値は0.19であった。これにより本願発明の手法が従来手法に比べて、人間が実際のシーンを見た時の印象と、そのシーンを画面上に表示した仮想シーンを見た時の印象が近くなっていると言うことができる。
FIG. 7 shows the results of
As shown in FIG. 7, the table value of the highest rated image in the image group that predicted the appearance of the beverage can by the method of the present invention is 1, and the highest evaluation in the image group that predicted the appearance of the beverage can by the iCAM method. The surface value of this image was 0.19. As a result, the technique of the present invention is closer to the impression when a human sees an actual scene and the impression when a virtual scene is displayed on the screen than a conventional technique. Can do.
なお、以下が、実験3の被験者へのインストラクションである。
(1)この実験では、ディスプレイに表示した飲料缶のデザイン部分の見えおよび光沢部分の見えと、実物体の飲料缶のデザイン部分の見えおよび光沢部分の見えに関して評価してもらいます。
(2)評価は、下記の5段階の基準から選択してください。
(3)評価はデザイン部分の見え、光沢部分の見えの両方を評価し、それらを総合的に評価してください。
(4)評価対象は飲料缶のデザイン部分のみで、背景および銀色のふたと底の部分は評価の対象外とします。
(5)評価中は、デザイン部分と光沢部分の両方を評価できるように飲料缶を操作しながら評価を行ってください。
(6)評価は1つの画像につき30秒以内を目安に行ってください。
(7)画像は全部で39枚あります。
The following is an instruction for the subject in
(1) In this experiment, the appearance of the design and gloss of the beverage can displayed on the display and the appearance of the design and gloss of the actual beverage can will be evaluated.
(2) Select the evaluation from the following five levels.
(3) Please evaluate both the appearance of the design part and the appearance of the glossy part, and evaluate them comprehensively.
(4) The evaluation target is only the design part of the beverage can, and the background and the silver lid and bottom part are excluded from the evaluation.
(5) During the evaluation, perform the evaluation while operating the beverage can so that both the design part and the glossy part can be evaluated.
(6) Please evaluate within 30 seconds for each image.
(7) There are 39 images in total.
なお、上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 The image processing apparatus described above has a computer system inside. The process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
1・・・入力処理装置
2・・・データ記憶装置
3・・・入力処理部
4・・・グラフィック処理装置
5・・・出力処理部
6・・・表示装置
41・・・レンダリング処理部
42・・・トーンマッピング処理部
43・・・色順応処理部
DESCRIPTION OF
Claims (8)
前記HDR画像の三刺激値を示す第1三刺激値画像の各画素に対して、三刺激値が所定の閾値未満の場合には前記各画素について仮想光源の白色点を用い、三刺激値が所定の閾値以上の場合には前記各画素について当該三刺激値に応じて増加させた白色点を算出し、それら白色点の三刺激値を保持する第1白色点画像を算出する第1白色点画像算出手段と、
前記第1白色点画像の各画素を用いて正規化した三刺激値の第2三刺激値画像を算出する第2三刺激値画像算出手段と、
前記第1三刺激値画像中の1画素について当該画素を中心としたbackground領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第1輝度画像を算出する第1輝度画像算出手段と、
前記第1三刺激値画像中の1画素について当該画素を中心とした領域であって前記background領域外の領域となるsurround領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第2輝度画像を算出する第2輝度画像算出手段と、
前記第1輝度画像と、前記第2輝度画像と、仮想環境における平均的な照度とに基づいて、知覚相関値を示すJCh画像の算出用の第1観察条件パラメータを算出する第1観察条件パラメータ算出手段と、
前記第1白色点画像を正規化した第2白色点画像を算出する第2白色点画像算出手段と、
前記第2三刺激値画像と前記第2白色点画像と前記第1観察条件パラメータとを用いて、各画素について知覚相関値を示すJCh画像を算出するJCh画像算出手段と、
を備えることを特徴とする画像処理装置。 An image processing device that generates an LDR (low dynamic range) image that can be displayed within a luminance range of a display device from an input HDR (high dynamic range) image,
For each pixel of the first tristimulus value image indicating the tristimulus value of the HDR image, when the tristimulus value is less than a predetermined threshold, the white point of the virtual light source is used for each pixel, and the tristimulus value is A first white point that calculates a white point that is increased according to the tristimulus value for each pixel when the threshold value is greater than or equal to a predetermined threshold value, and that calculates a first white point image that holds the tristimulus values of those white points Image calculating means;
Second tristimulus value image calculating means for calculating a tristimulus value second tristimulus value image normalized using each pixel of the first white point image;
For each pixel in the first tristimulus value image, the first luminance image is calculated by performing the averaging process of the tristimulus value Y in the pixel group in the background area centering on the pixel for all the pixels. First luminance image calculating means for
The averaging process of tristimulus values Y in a pixel group in a surround region that is a region centered on the pixel and outside the background region for one pixel in the first tristimulus value image is applied to all pixels. Second luminance image calculation means for calculating a second luminance image by performing the method,
A first observation condition parameter for calculating a first observation condition parameter for calculating a JCh image indicating a perceptual correlation value based on the first luminance image, the second luminance image, and an average illuminance in a virtual environment. A calculation means;
Second white point image calculating means for calculating a second white point image obtained by normalizing the first white point image;
JCh image calculating means for calculating a JCh image indicating a perceptual correlation value for each pixel using the second tristimulus value image, the second white point image, and the first observation condition parameter;
An image processing apparatus comprising:
前記JCh画像と、表示装置の白色点の三刺激値と、前記第2観察条件パラメータを用いて、前記JCh画像と同じ見えをもたらす当該画像のRGB信号値を算出し表示装置へ出力する画像出力手段と、
を備えることを特徴とする請求項1に記載の画像処理装置。 Based on the tristimulus value of the white point of the display device and the average illuminance of the surrounding environment at the time of observing the display device, each of the images displayed on the display device in an environment where the image is displayed on the display device and observed A second observation condition parameter calculating means for calculating a second observation condition parameter for calculating an RGB signal value of the image in which the pixel has the same appearance as the JCh image indicating the perceptual correlation value;
Using the JCh image, the tristimulus value of the white point of the display device, and the second observation condition parameter, the RGB signal value of the image that gives the same appearance as the JCh image is calculated and output to the display device Means,
The image processing apparatus according to claim 1, further comprising:
前記画像処理装置が、前記HDR画像の三刺激値を示す第1三刺激値画像の各画素に対して、三刺激値が所定の閾値未満の場合には前記各画素について仮想光源の白色点を用い、三刺激値が所定の閾値以上の場合には前記各画素について当該三刺激値に応じて増加させた白色点を算出し、それら白色点の三刺激値を保持する第1白色点画像を算出し、
前記画像処理装置が、前記第1白色点画像の各画素を用いて正規化した三刺激値の第2三刺激値画像を算出し、
前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心としたbackground領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第1輝度画像を算出し、
前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心とした領域であって前記background領域外の領域となるsurround領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第2輝度画像を算出し、
前記画像処理装置が、前記第1輝度画像と、前記第2輝度画像と、仮想環境における平均的な照度とに基づいて、知覚相関値を示すJCh画像の算出用の第1観察条件パラメータを算出し、
前記画像処理装置が、前記第1白色点画像を正規化した第2白色点画像を算出し、
前記画像処理装置が、前記第2三刺激値画像と前記第2白色点画像と前記第1観察条件パラメータとを用いて、各画素について知覚相関値を示すJCh画像を算出する
ことを特徴とする画像処理方法。 An image processing method in an image processing apparatus that generates an LDR (low dynamic range) image that can be displayed within a luminance range of a display device from an input HDR (high dynamic range) image,
When the image processing device has a tristimulus value less than a predetermined threshold for each pixel of the first tristimulus value image indicating the tristimulus value of the HDR image, a white point of a virtual light source is set for each pixel. When the tristimulus value is greater than or equal to a predetermined threshold, a white point increased for each pixel according to the tristimulus value is calculated, and a first white point image holding the tristimulus values of those white points is used. Calculate
The image processing device calculates a tristimulus value second tristimulus value image normalized using each pixel of the first white point image;
The image processing apparatus performs the averaging process of the tristimulus value Y in the pixel group in the background region with the pixel as the center with respect to one pixel in the first tristimulus value image. Calculating a first luminance image;
The image processing apparatus averages tristimulus values Y in a pixel group in a surround region that is a region centered on the pixel and outside the background region for one pixel in the first tristimulus value image. A second luminance image is calculated by performing the process on all pixels;
The image processing device calculates a first observation condition parameter for calculating a JCh image indicating a perceptual correlation value based on the first luminance image, the second luminance image, and an average illuminance in a virtual environment. And
The image processing device calculates a second white point image obtained by normalizing the first white point image;
The image processing device calculates a JCh image indicating a perceptual correlation value for each pixel using the second tristimulus value image, the second white point image, and the first observation condition parameter. Image processing method.
前記画像処理装置が、前記JCh画像と、表示装置の白色点の三刺激値と、前記第2観察条件パラメータを用いて、前記JCh画像と同じ見えをもたらす当該画像のRGB信号値を算出し表示装置へ出力する
ことを特徴とする請求項5に記載の画像処理方法。 In an environment where the image processing device displays and observes an image on the display device based on the tristimulus value of the white point of the display device and the average illuminance of the surrounding environment when observing the display device, the display device Calculating a second observation condition parameter for calculating an RGB signal value of the image that causes each pixel of the image displayed on the image to have the same appearance as the JCh image indicating a perceptual correlation value;
The image processing device uses the JCh image, the tristimulus value of the white point of the display device, and the second observation condition parameter to calculate and display an RGB signal value of the image that gives the same appearance as the JCh image. The image processing method according to claim 5, wherein the image processing method outputs the image to an apparatus.
前記画像処理装置が、前記HDR画像の三刺激値を示す第1三刺激値画像の各画素に対して、三刺激値が所定の閾値未満の場合には前記各画素について仮想光源の白色点を用い、三刺激値が所定の閾値以上の場合には前記各画素について当該三刺激値に応じて増加させた白色点を算出し、それら白色点の三刺激値を保持する第1白色点画像を算出する処理と、
前記画像処理装置が、前記第1白色点画像の各画素を用いて正規化した三刺激値の第2三刺激値画像を算出する処理と、
前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心としたbackground領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第1輝度画像を算出する処理と、
前記画像処理装置が、前記第1三刺激値画像中の1画素について当該画素を中心とした領域であって前記background領域外の領域となるsurround領域内の画素群における三刺激値Yの平均化処理を全ての画素に対して実施することにより第2輝度画像を算出する処理と、
前記画像処理装置が、前記第1輝度画像と、前記第2輝度画像と、仮想環境における平均的な照度とに基づいて、知覚相関値を示すJCh画像の算出用の第1観察条件パラメータを算出する処理と、
前記画像処理装置が、前記第1白色点画像を正規化した第2白色点画像を算出する処理と、
前記画像処理装置が、前記第2三刺激値画像と前記第2白色点画像と前記第1観察条件パラメータとを用いて、各画素について知覚相関値を示すJCh画像を算出する処理と、
をコンピュータに実行させるプログラム。 A program to be executed by a computer of an image processing apparatus that generates an LDR (low dynamic range) image that can be displayed within a luminance range of a display device from an input HDR (high dynamic range) image,
When the image processing device has a tristimulus value less than a predetermined threshold for each pixel of the first tristimulus value image indicating the tristimulus value of the HDR image, a white point of a virtual light source is set for each pixel. When the tristimulus value is greater than or equal to a predetermined threshold, a white point increased for each pixel according to the tristimulus value is calculated, and a first white point image holding the tristimulus values of those white points is used. Processing to calculate,
A process in which the image processing device calculates a second tristimulus value image of tristimulus values normalized using each pixel of the first white point image;
The image processing apparatus performs the averaging process of the tristimulus value Y in the pixel group in the background region with the pixel as the center with respect to one pixel in the first tristimulus value image. Processing for calculating the first luminance image;
The image processing apparatus averages tristimulus values Y in a pixel group in a surround region that is a region centered on the pixel and outside the background region for one pixel in the first tristimulus value image. A process of calculating the second luminance image by performing the process on all pixels;
The image processing device calculates a first observation condition parameter for calculating a JCh image indicating a perceptual correlation value based on the first luminance image, the second luminance image, and an average illuminance in a virtual environment. Processing to
A process in which the image processing device calculates a second white point image obtained by normalizing the first white point image;
A process in which the image processing apparatus calculates a JCh image indicating a perceptual correlation value for each pixel using the second tristimulus value image, the second white point image, and the first observation condition parameter;
A program that causes a computer to execute.
前記画像処理装置が、表示装置の白色点の三刺激値と、表示装置観察時の周辺環境の平均的な照度とに基づいて、表示装置に画像表示して観察する環境下において、前記表示装置に表示した画像の各画素が、知覚相関値を示す前記JCh画像と同じ見えをもたらす当該画像のRGB信号値の算出用の第2観察条件パラメータを算出する処理と、
前記画像処理装置が、前記JCh画像と、表示装置の白色点の三刺激値と、前記第2観察条件パラメータを用いて、前記JCh画像と同じ見えをもたらす当該画像のRGB信号値を算出し表示装置へ出力する処理と、
をコンピュータに実行させるプログラム。
In addition to the processing according to claim 7,
In an environment where the image processing device displays and observes an image on the display device based on the tristimulus value of the white point of the display device and the average illuminance of the surrounding environment when observing the display device, the display device A process of calculating a second observation condition parameter for calculating an RGB signal value of the image in which each pixel of the image displayed on the image has the same appearance as the JCh image indicating a perceptual correlation value;
The image processing device uses the JCh image, the tristimulus value of the white point of the display device, and the second observation condition parameter to calculate and display an RGB signal value of the image that gives the same appearance as the JCh image. Processing to output to the device;
A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005026940A JP2006215756A (en) | 2005-02-02 | 2005-02-02 | Image processing apparatus, image processing method, and program for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005026940A JP2006215756A (en) | 2005-02-02 | 2005-02-02 | Image processing apparatus, image processing method, and program for the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006215756A true JP2006215756A (en) | 2006-08-17 |
Family
ID=36978958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005026940A Withdrawn JP2006215756A (en) | 2005-02-02 | 2005-02-02 | Image processing apparatus, image processing method, and program for the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006215756A (en) |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176791A (en) * | 2007-01-18 | 2008-07-31 | Ricoh Co Ltd | Synthetic image and video generation, from ground truth data |
JP2009135602A (en) * | 2007-11-28 | 2009-06-18 | Canon Inc | Image processing method and apparatus thereof, program, and storage medium |
JP2010055404A (en) * | 2008-08-28 | 2010-03-11 | Canon Inc | Image processing method and image processing apparatus |
JP2010062673A (en) * | 2008-09-01 | 2010-03-18 | Canon Inc | Image processing apparatus, and method thereof |
KR20110136152A (en) * | 2010-06-14 | 2011-12-21 | 삼성전자주식회사 | Apparatus and method of creating high dynamic range image empty ghost image by using filtering |
US8144921B2 (en) | 2007-07-11 | 2012-03-27 | Ricoh Co., Ltd. | Information retrieval using invisible junctions and geometric constraints |
US8156115B1 (en) | 2007-07-11 | 2012-04-10 | Ricoh Co. Ltd. | Document-based networking with mixed media reality |
US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
US8156427B2 (en) | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
US8195659B2 (en) | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
US8276088B2 (en) | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
US8332401B2 (en) | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
JP2012532335A (en) * | 2009-06-29 | 2012-12-13 | トムソン ライセンシング | Zone-based tone mapping |
US8335789B2 (en) | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
US8411944B2 (en) | 2008-08-21 | 2013-04-02 | Canon Kabushiki Kaisha | Color processing apparatus and method thereof |
US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US8510283B2 (en) | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US9063953B2 (en) | 2004-10-01 | 2015-06-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
WO2017051612A1 (en) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | Image processing device and image processing method |
CN112819908A (en) * | 2021-02-20 | 2021-05-18 | 歌尔光学科技有限公司 | White coordinate adjusting method and device, display and storage medium |
US11107441B2 (en) | 2017-05-18 | 2021-08-31 | Sakuichi Ohtsuka | Image adjustment device, image adjustment method, and computer readable medium |
-
2005
- 2005-02-02 JP JP2005026940A patent/JP2006215756A/en not_active Withdrawn
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8332401B2 (en) | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
US9063953B2 (en) | 2004-10-01 | 2015-06-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
US8335789B2 (en) | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
US8195659B2 (en) | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
US8156427B2 (en) | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US8510283B2 (en) | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
US8238609B2 (en) | 2007-01-18 | 2012-08-07 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
JP2008176791A (en) * | 2007-01-18 | 2008-07-31 | Ricoh Co Ltd | Synthetic image and video generation, from ground truth data |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US8276088B2 (en) | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
US8156115B1 (en) | 2007-07-11 | 2012-04-10 | Ricoh Co. Ltd. | Document-based networking with mixed media reality |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
US10192279B1 (en) | 2007-07-11 | 2019-01-29 | Ricoh Co., Ltd. | Indexed document modification sharing with mixed media reality |
US8144921B2 (en) | 2007-07-11 | 2012-03-27 | Ricoh Co., Ltd. | Information retrieval using invisible junctions and geometric constraints |
US8989431B1 (en) | 2007-07-11 | 2015-03-24 | Ricoh Co., Ltd. | Ad hoc paper-based networking with mixed media reality |
US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
JP2009135602A (en) * | 2007-11-28 | 2009-06-18 | Canon Inc | Image processing method and apparatus thereof, program, and storage medium |
US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
US8411944B2 (en) | 2008-08-21 | 2013-04-02 | Canon Kabushiki Kaisha | Color processing apparatus and method thereof |
JP2010055404A (en) * | 2008-08-28 | 2010-03-11 | Canon Inc | Image processing method and image processing apparatus |
JP2010062673A (en) * | 2008-09-01 | 2010-03-18 | Canon Inc | Image processing apparatus, and method thereof |
US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
JP2012532335A (en) * | 2009-06-29 | 2012-12-13 | トムソン ライセンシング | Zone-based tone mapping |
KR101739432B1 (en) | 2009-06-29 | 2017-05-24 | 톰슨 라이센싱 | Zone-based tone mapping |
KR101664123B1 (en) | 2010-06-14 | 2016-10-11 | 삼성전자주식회사 | Apparatus and method of creating high dynamic range image empty ghost image by using filtering |
KR20110136152A (en) * | 2010-06-14 | 2011-12-21 | 삼성전자주식회사 | Apparatus and method of creating high dynamic range image empty ghost image by using filtering |
WO2017051612A1 (en) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | Image processing device and image processing method |
CN108028036A (en) * | 2015-09-25 | 2018-05-11 | 索尼公司 | Image processing equipment and image processing method |
JPWO2017051612A1 (en) * | 2015-09-25 | 2018-08-30 | ソニー株式会社 | Image processing apparatus and image processing method |
US10638023B2 (en) | 2015-09-25 | 2020-04-28 | Sony Corporation | Image processing apparatus and image processing method |
US11107441B2 (en) | 2017-05-18 | 2021-08-31 | Sakuichi Ohtsuka | Image adjustment device, image adjustment method, and computer readable medium |
CN112819908A (en) * | 2021-02-20 | 2021-05-18 | 歌尔光学科技有限公司 | White coordinate adjusting method and device, display and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006215756A (en) | Image processing apparatus, image processing method, and program for the same | |
US11501479B2 (en) | Virtual make-up apparatus and virtual make-up method | |
US10453423B2 (en) | Perceptually optimised color calibration method and system | |
Liu et al. | CID: IQ–a new image quality database | |
JP6004481B2 (en) | Color image processing method, color image processing apparatus, and color image processing program | |
US20160240125A1 (en) | Color Correction Method for Optical See-Through Displays | |
JP6786850B2 (en) | Image processing equipment, image processing methods, image processing systems and programs | |
Hincapié-Ramos et al. | SmartColor: Real-time color correction and contrast for optical see-through head-mounted displays | |
Menk et al. | Visualisation techniques for using spatial augmented reality in the design process of a car | |
JP5615041B2 (en) | Image processing apparatus and image processing method | |
JP6550138B2 (en) | Video processing device | |
Menk et al. | Truthful color reproduction in spatial augmented reality applications | |
JP2009159580A (en) | Apparatus and method for image quality evaluation | |
McCann | Capturing a black cat in shade: past and present of Retinex color appearance models | |
JP2020504809A (en) | Method and apparatus for determining hair color uniformity | |
CN109565577A (en) | Colour correcting apparatus, color calibration system, colour correction hologram, color correcting method and program | |
JP5824423B2 (en) | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program | |
JP2012028973A (en) | Illumination light estimation device, illumination light estimation method, and illumination light estimation program | |
Gaiani | Color Acquisition, Management, rendering, and assessment in 3D reality-based models construction | |
JP4615430B2 (en) | Image generation apparatus, image generation method, and image generation program | |
CN112673418A (en) | Method for measuring a person-specific color space and method for correcting a digital image according to a person-specific color space | |
JP7134532B1 (en) | Image synthesis display device, method, and program | |
Delahunt et al. | Perceptual image quality: Effects of tone characteristics | |
Gabrijelčič Tomc et al. | Colorimetric Accuracy of Color Reproductions in the 3D Scenes | |
Darling et al. | Seeing virtual objects: simulating reflective surfaces on emissive displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080513 |