JP2020016546A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 物体を撮像して物体の色を評価する場合、物体の形状や撮像条件に応じて、撮像によって取得される色が異なってしまう。人間の視覚に基づいた解像度の制御を行っていないため、実際には視覚的に認識しない微妙なテクスチャの色の違いを再現し、見た目と違う結果になってしまう。【解決手段】 撮像対象を撮像する撮像装置から前記撮像対象までの距離を示す情報と、前記撮像装置のセンサの特性を示す情報と、前記撮像装置の光学特性を示す情報と、人間の視覚のコントラスト応答を示す情報とに基づいて、前記撮像装置で撮像された撮像画像に対して、加重平均を算出するフィルタを使って補正を行う。【選択図】 図２

Description

本発明は、物体の色を評価するための画像処理に関する。

従来、デジタルカメラ等から取得された撮像画像を用いて、撮像対象物の色を評価する技術が知られている。特許文献１は、撮像によって得られた検査物の色度分布を基準物の色度分布と比較することにより、色のテクスチャ（色の分布）の違いを検査する技術を開示している。

特開２０１６−１６４５５９号公報

物体を撮像して物体の色を評価する場合、物体の形状や撮像条件に応じて、撮像によって取得される色が異なってしまう。しかしながら、特許文献１のような従来の色評価技術においては、人間の視覚に基づいた解像度の制御を行っていないため、実際には視覚的に認識しない微妙なテクスチャの色の違いを再現し、見た目と違う結果になってしまうという課題があった。

本発明は、上記課題に鑑みてなされたものであり、人間の見た目に近い色の評価を行うための処理を提供することを目的とする。

上記課題を解決するため、本願発明の画像処理装置は、撮像対象を撮像する撮像装置から前記撮像対象までの距離を示す情報と、前記撮像装置のセンサの特性を示す情報と、前記撮像装置の光学特性を示す情報と、人間の視覚のコントラスト応答を示す情報とに基づいて、前記撮像装置で撮像された撮像画像に対して、加重平均を算出するフィルタを使って補正を行う補正手段を有することを特徴とする。

本発明によれば、人間の見た目に近い色の評価を行うことができる。

ハードウェア構成を示す図 機能構成を示すブロック図 画像処理装置の処理を示すフローチャート ボケ画像生成の処理を示すフローチャート ボケ量を算出する方法を示した図 ボケ量に応じたフィルタの例を示す図 ＵＩの例を示した図 評価画像データの作成処理を示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜色評価システムの構成＞
図１は、画像処理装置１、撮像装置２、表示装置３のハードウェア構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。

ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１２などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、表示装置３が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置２が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１１を介して、ＨＤＤ１１２や各種記録メディアの読み書きを行う汎用ドライブ１１３が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１２や汎用ドライブ１１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）を表示装置３に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。

＜画像処理装置１の機能構成＞
図２は、本実施形態における画像処理装置１の機能構成を示す図である。画像処理装置１は、画像データ取得部１１、撮影距離入力部１２、ボケ画像生成部１３、評価領域入力部１４、評価画像作成部１５、画像データ出力部１６を有する。

画像データ取得部１１は、撮像装置２よって撮像された撮像画像データを取得する。もしくは、ＨＤＤ１１２に予め保存されていた撮像画像データを、ＨＤＤ１１２から取得する。更に画像データ取得部１１は、撮像装置のセンサの特性を示す情報と撮像装置の光学特性を示す情報とを取得する。撮像装置のセンサの特性を示す情報は、撮像装置のセンサのサイズとセンサの画素数などを示す情報である。撮像装置の光学特性を示す情報は、撮像装置のレンズの焦点距離を示す情報である。距離入力部１２は、撮像装置２から撮影対象までの距離を示す情報を入力する。

ボケ画像生成部１３は、各種情報に基づいて、撮像画像を補正することによりボケ画像を示すボケ画像データを生成する。この各種情報は、撮像装置から撮像対象までの距離を示す情報と、撮像装置のセンサの特性を示す情報と、撮像装置の光学特性を示す情報と、人間の視覚特性のコントラスト応答を示す情報である。

評価領域入力部１４は、ユーザからの入力を受け付けることにより、ボケ画像内の評価領域および基準位置を指定する。

評価画像作成部１５は、指定された評価領域および基準位置に従って評価画像を示す評価画像データを作成する。

画像データ出力部１６は、評価画像作成部１５で作成した評価画像データを、ＶＣ１０４を介して表示装置３に出力する。

表示装置３は、評価画像データが示す評価画像データを表示する。この表示された評価画像データをユーザが確認することにより撮像された撮像画像を評価する。

＜画像処理装置１が実行する処理＞
図３は、画像処理装置１が実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ１において、画像データ取得部１１は、撮像装置２の撮像によって得られた撮像画像データを取得する。もしくは、ＨＤＤ１１２に予め保存されていた撮像画像データを、ＨＤＤ１１２から取得する。またＳ１において、撮像装置のセンサの特性を示す情報と撮像装置の光学特性を示す情報とを取得する。

Ｓ２において、撮影距離入力部１２は、撮像装置２から撮影対象までの距離を示す情報を入力する。

Ｓ３において、ボケ画像生成部１３は、各種情報に基づいて撮像画像を補正することによりボケ画像を示すボケ画像データを生成する。この各種情報は、撮像装置から撮像対象までの距離を示す情報と、撮像装置のセンサの特性を示す情報と、撮像装置の光学特性を示す情報と、後述する人間の視覚特性のコントラスト応答を示す情報である。ボケ画像の生成方法の詳細は後述する。

Ｓ４において、評価領域入力部１４は、ユーザからの入力を受け付けることにより、ボケ画像内の評価領域および基準位置を指定する。指定方法の詳細は後述する。

Ｓ５において、評価画像作成部１５は、指定された評価領域および基準位置に従って評価画像を示す評価画像データを作成する。評価画像の作成方法の詳細は後述する。

Ｓ６において、画像データ出力部１６は、評価画像作成部１５で作成した評価画像データを、ＶＣ１０４を介して表示装置３に出力する。

＜Ｓ３における処理＞
図４は、ボケ画像生成部１３におけるボケ画像データの生成処理を示すフローチャートである。

Ｓ３１において、撮影対象面で感度最大となる画素数を算出する。図５は画素数の算出例を示す図である。人間の視覚特性として、５ｃｙｃ／ｄｅｇのサイクルの波に対する応答（コントラスト応答）が、１番感度が最大（１番はっきり見える）となり、それよりも細かくなると感度が落ちてくる（ボケて見える、コントラスト応答が落ちる）。本実施形態では、この人間の視覚のコントラスト応答を考慮した画像処理を実現するため、５ｃｙｃ／ｄｅｇの波の１ｃｙｃが撮像装置２の何画素に相当するかを求める。

例えば、撮像装置２のセンサのサイズを３５ｍｍ、画素数を６０００ｐｉｘとし、５０ｍｍレンズを用いて１０００ｍｍの距離にある撮影対象を撮影するとする。この場合、撮影対象面の撮像範囲ｈは、以下のように計算される。

７００ｍｍの範囲が６０００ｐｉｘで撮像されることとなる。

次に１０００ｍｍ離れた位置にある撮影対象を１ｄｅｇの視野で見た場合、１ｄｅｇに相当するサイズｓは、以下のように計算される。

この範囲に相当する画素数ｐは、以下のように計算される。

人間の視覚のコントラスト応答が最も良いのが５ｃｙｃなので１ｃｙｃの画素数は約２９ｐｉｘとなる。つまり、人間にとって１番感度が高くなる画素数は２９ｐｉｘであり、それよりも細かい画素数はボケて見える。

Ｓ３２において、算出した画素数に応じたＬＰＦ（Ｌｏｗ−Ｐａｓｓ Ｆｉｌｔｅｒ）を作成する。図６は作成したフィルタの例である。たとえば、画素数が２９と算出された場合、図６に示すように２９ｘ２９のＬＰＦ（加重平均を算出するフィルタ、平均値フィルタ）を作成する。

Ｓ３３において、作成したフィルタを撮像画像に適用する。例えば元の画像がＲＧＢ画像であった場合、ＣＩＥＳＲＧＢで規定されている式に基づいてＣＩＥＬＡＢに変換し、Ｌ値にのみにフィルタを適用し、適用後に逆変換を行ってＲＧＢ画像に戻す。

＜Ｓ４における処理＞
図７に表示装置３のユーザーインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ，ＵＩ）の例を示す。７１は撮像画像、７２は評価範囲、７３は基準位置、７４は評価値の指定例、７５は評価値の最大値、７６は評価値スケール、７７は評価画像、７８は撮影距離の指定例である。

上記ＵＩを表示装置３に表示させ、ユーザがマウスなどの入力装置を用いて評価範囲の左上と右下を指定することにより、評価範囲７２が指定される。

例えば、ユーザがある位置からの色差を評価したいときに、その基準となる点（基準点７３）を指定する。指定方法はマウスなどの入力装置を使用する。

評価値７４として、図４の例ではΔＥを示しているが、他にΔａ、Δｂ、ΔＣ、ΔＨなどを指定してもよい。

評価値の最大値７５は、評価画像７７を表示する際の評価値の最大値を指定する。

評価値スケール７６は、評価値の最大値７５から最小値（＝０）までの色を例えば白（Ｒ、Ｇ、Ｂ）＝（２５５、２５５、２５５）から黒（Ｒ、Ｇ、Ｂ）＝（０、０、０）まで、表現する。

後述する方法により評価画像７７は作成され、表示される。

＜Ｓ５における処理＞
図８は、評価画像作成部１５における評価画像データの作成処理を示すフローチャートである。

Ｓ５１において、ボケ画像中の指定された評価範囲を切り出す。

Ｓ５２において、切り出されたボケ画像の一部の値をＬａｂ値に変換する。もともとＲＧＢ画像である場合、ＣＩＥＳＲＧＢで規定されている式に従って、ＣＩＥＬＡＢ値に変換する。

Ｓ５３において、基準位置のＬａｂ値（Ｌ１、ａ１、ｂ１）を算出する。Ｓ４で指定した基準位置に対応する画素のＬａｂ値をＬ１、ａ１、ｂ１とする。

Ｓ５４において、先に切り出した画像から一画素取得する。

Ｓ５５において、評価値を算出する。例えば評価値（色差）をΔＥとし、取得した画素のＬａｂ値を（Ｌ２、ａ２、ｂ２）とするとき、評価値ΔＥは、

で算出される。

Ｓ５６において、表示色を算出する。算出の際、例えば評価値の最大値７５を１０としたとき、先に算出したΔＥ≧１０のとき、（Ｒ、Ｇ、Ｂ）＝（２５５、２５５、２５５）とし、ΔＥ＝０のとき、（Ｒ、Ｇ、Ｂ）＝（０、０、０）とし、０＜ΔＥ＜１０の時は線形に値を取るようにする。

Ｓ５７において、全画素終了したかどうかを判断し、終了していれば処理終了、終了していなければ、Ｓ５４に戻り、次の処理対象の一画素を取得する。

＜効果＞
以上説明したように、本実施形態における画像処理装置は、人間の視覚に基づいた解像度の制御を行うことにより、人間の見た目に近い色の評価をすることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
２ 撮像装置
３ 表示装置

Claims (5)

1. 撮像対象を撮像する撮像装置から前記撮像対象までの距離を示す情報と、前記撮像装置のセンサの特性を示す情報と、前記撮像装置の光学特性を示す情報と、人間の視覚のコントラスト応答を示す情報とに基づいて、前記撮像装置で撮像された撮像画像に対して、加重平均を算出するフィルタを使って補正を行う補正手段を有することを特徴とする画像処理装置。
2. 前記撮像装置のセンサの特性を示す情報は、前記撮像装置のセンサのサイズとセンサの画素数とを示す情報であることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像装置の光学特性を示す情報は、前記撮像装置のレンズの焦点距離を示す情報であることを特徴とする請求項１に記載の画像処理装置。
4. 撮像対象を撮像する撮像装置から前記撮像対象までの距離を示す情報と、前記撮像装置のセンサの特性を示す情報と、前記撮像装置の光学特性を示す情報と、人間の視覚のコントラスト応答を示す情報とに基づいて、前記撮像装置で撮像された撮像画像に対して、加重平均を算出するフィルタを使って補正を行う補正工程を有することを特徴とする画像処理方法。
5. コンピュータを、
   撮像対象を撮像する撮像装置から前記撮像対象までの距離を示す情報と、前記撮像装置のセンサの特性を示す情報と、前記撮像装置の光学特性を示す情報と、人間の視覚のコントラスト応答を示す情報とに基づいて、前記撮像装置で撮像された撮像画像に対して、加重平均を算出するフィルタを使って補正を行う補正手段として機能させるためのプログラム。