JP2004101552A

JP2004101552A - Image processing system, projector, program, information storage medium, and monochrome expanding processing method

Info

Publication number: JP2004101552A
Application number: JP2002259012A
Authority: JP
Inventors: Kazunori Hiramatsu; 平松　和憲
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-09-04
Filing date: 2002-09-04
Publication date: 2004-04-02

Abstract

<P>PROBLEM TO BE SOLVED: To improve image quality in the case of performing monochrome expansion to video signals, especially, to provide an image processing system capable of properly processing an image including a non-natural image, a projector, a program, an information storage medium, and a monochrome expansion processing method. <P>SOLUTION: The monochrome expansion processing is carried out by using a brightness histogram generation part 142 for generating a brightness histogram presenting a distribution of the number of pixels in each predetermined brightness segment in an image based on an input video signal; a brightness distribution analysis part 144 for deciding, based on the brightness histogram, whether or not the number of brightness segments indicating a predetermined frequency or more exceeds a threshold; and an expansion ratio setting part 146 and an expansion processing part 148 which perform monochrome expansion processing when decided that the number does not exceed the threshold, and do not perform the monochrome expansion processing when decided to be exceeding. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号に対して白伸長および黒伸長の少なくとも一方を行う画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸長処理方法に関する。
【０００２】
【背景技術および発明が解決しようとする課題】
入力映像信号の最黒部分が所定レベルよりも浮いている場合、当該最黒部分が所定レベルになるように黒方向に伸長することが行われている。また、入力映像信号の最白部分が所定レベルよりも沈んでいる場合、当該最白部分が所定レベルになるように白方向に伸長することが行われている。
【０００３】
また、近年の画像表示装置の画像ソースは、従来からの自然画に限らず、コンピュータグラフィックス画像やテキスト画像等の非自然画や自然画と非自然画が混在した画像が増えてきている。
【０００４】
自然画に対してコントラストを向上させるために白黒伸長処理を行うが、非自然画に対して同様の白黒伸長処理を行った場合、疑似輪郭の発生等によって却って画像が劣化する場合がある。
【０００５】
これは、テキスト画像等は、画像を構成する画素の階調が一様であり、白黒伸長処理によってノイズが目立つようになったり、微妙な階調変化が際立ってしまい、それが画像中の広い面積にわたって発生することによる。
【０００６】
このような課題を解決するため、特開２０００−３２２０４７号公報では、輝度分布のダイナミックレンジの範囲における広がり過ぎを防止して、映像の輝度分布の偏り具合に応じて最適な階調補正を行うことを目的とした階調補正装置が提案されている。
【０００７】
当該階調補正装置は、入力輝度信号の輝度レベル各々の頻度データを所定の期間毎に作成して記憶するヒストグラムメモリと、入力輝度信号の輝度分布を所定のダイナミックレンジの範囲に拡大するように複数の輝度レベル毎の補正輝度レベルを前記ヒストグラムメモリの頻度データに基づいて作成して記憶する拡大補正テーブルメモリと、ヒストグラムメモリの頻度データに応じて輝度分布の分散値を算出し、前記分散値に基づいて混合比を設定する手段と、複数の輝度レベル毎にその輝度レベルとそれに対応する拡大補正テーブルメモリの前記補正輝度レベルとを前記混合比にて混合する混合手段と、混合手段によって混合されたレベルを複数の輝度レベル各々に対応するテーブルデータとして記憶するルックアップテーブルメモリと、入力輝度信号の輝度レベルに対応するレベルデータをルックアップテーブルメモリから読み出してそれを階調補正輝度信号として出力する構成である。
【０００８】
また、上記混合手段は、分散値が大きい場合には前記補正輝度レベルの混合割合を小さくする混合比を設定し、前記分散値が小さい場合には補正輝度レベルの混合割合を大きくする混合比を設定するように構成されている。
【０００９】
また、当該公報の明細書の段落番号００２３において、このような構成を採用することにより、分散値が大きい場合にはダイナミックレンジの範囲にほとんど拡大しない輝度信号を出力することができるという作用効果が記載されている。
【００１０】
しかし、分散値は、平均値に基づくデータであるため、例えば、輝度分布において１区分だけ極端に度数が多く、その他の区分の度数が少ない画像の場合、分散値は大きくなり、ダイナミックレンジの範囲にほとんど拡大しない輝度信号を出力することになってしまう。
【００１１】
具体的には、例えば、ほとんどが自然画で一部に単色のテキスト画像を含む画像の場合、自然画のコントラストを強調するため、白黒伸長処理を行ったほうがよいが、上記公報の手法では白黒伸長処理をほとんど行わないことになる。
【００１２】
したがって、自然画とテキスト画像が混在するような画像に対しては、上記公報に記載された階調補正装置は適切な階調補正を行うことができない。
【００１３】
本発明は、上記課題に鑑みなされたものであり、その目的は、映像信号に対して白伸長および黒伸長の少なくとも一方（白黒伸長）を行う場合の画質を向上させること、特に、非自然画を含む画像を適切に処理することのできる画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸長処理方法を提供することにある。
【００１４】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、映像信号を処理する画像処理システムにおいて、
入力映像信号に基づき、画像における所定の輝度区分ごとの画素数の分布を示す輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、
当該輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超えるかどうかを判定する輝度分布分析手段と、
しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わない白黒伸長処理手段と、
を含むことを特徴とする。
【００１５】
また、本発明に係るプロジェクタは、上記画像処理システムを含むことを特徴とする。
【００１６】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
入力映像信号に基づき、画像における所定の輝度区分ごとの画素数の分布を示す輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、
当該輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超えるかどうかを判定する輝度分布分析手段と、
しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わない白黒伸長処理手段として機能させることを特徴とする。
【００１７】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
【００１８】
また、本発明に係る白黒伸長処理方法は、入力映像信号に基づき、画像における所定の輝度区分ごとの画素数の分布を示す輝度ヒストグラムを生成し、
当該輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超えるかどうかを判定し、
しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わないことを特徴とする。
【００１９】
本発明によれば、画像処理システム等は、輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超える場合に限って白黒伸長処理を行わないことにより、自然画と非自然画を適切に白黒伸長処理することができる。
【００２０】
また、本発明に係る画像処理システムは、映像信号を処理する画像処理システムにおいて、
入力映像信号に基づき、画像における所定の色区分ごとの画素数の分布を示す色ヒストグラムを生成する色ヒストグラム生成手段と、
当該色ヒストグラムに基づき、度数が所定値以上の色区分数がしきい値を超えるかどうかを判定する色分布分析手段と、
しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わない白黒伸長処理手段と、
を含むことを特徴とする。
【００２１】
また、本発明に係るプロジェクタは、上記画像処理システムを含むことを特徴とする。
【００２２】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
入力映像信号に基づき、画像における所定の色区分ごとの画素数の分布を示す色ヒストグラムを生成する色ヒストグラム生成手段と、
当該色ヒストグラムに基づき、度数が所定値以上の色区分数がしきい値を超えるかどうかを判定する色分布分析手段と、
しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わない白黒伸長処理手段として機能させることを特徴とする。
【００２３】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
【００２４】
また、本発明に係る白黒伸長処理方法は、入力映像信号に基づき、画像における所定の色区分ごとの画素数の分布を示す色ヒストグラムを生成し、
当該色ヒストグラムに基づき、度数が所定値以上の色区分数がしきい値を超えるかどうかを判定し、
しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わないことを特徴とする。
【００２５】
本発明によれば、画像処理システム等は、色ヒストグラムに基づき、度数が所定値以上の色区分数がしきい値を超える場合に限って白黒伸長処理を行わないことにより、自然画と非自然画を適切に白黒伸長処理することができる。
【００２６】
【発明の実施の形態】
以下、本発明を、映像信号の一種であるＲＧＢ信号を入力し、各信号の輝度（「輝度値」または「輝度レベル」ともいう。）の白黒伸長処理を行う画像処理システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２７】
（システム全体の説明）
以下、本発明を液晶プロジェクタの画像処理システムに適用した場合を例に採り、説明する。
【００２８】
図１は、本実施形態の一例に係るプロジェクタ２０の概略説明図である。
【００２９】
スクリーン１０のほぼ正面に設けられたプロジェクタ２０は、自然画、非自然画、自然画と非自然画が混在した画像を投写する。
【００３０】
プレゼンター３０は、スクリーン１０上の画像表示領域１２の画像の所望の位置をレーザーポインタ５０から投射したスポット光で指し示しながら、第三者に対するプレゼンテーションを行う。
【００３１】
このようなプレゼンテーション画像等を投写する場合、プロジェクタ２０は、白黒伸長処理を行うことにより、コントラストが強調された画像を投写することができる。
【００３２】
しかし、非自然画のみで構成される画像の場合や、非自然画と自然画が混在した画像の場合に白黒伸長処理を行ってしまうと、投写画像に疑似輪郭が現れてしまう場合がある。
【００３３】
図２は、輝度分布の一例を示す図であり、図２（Ａ）は、輝度分布が連続的である場合の一例を示す図であり、図２（Ｂ）は、輝度分布が狭い場合の一例を示す図である。また、図３は、白黒伸長時の輝度の変化の一例を示す図である。
【００３４】
例えば、図３において、破線が白黒伸長を行わない場合の輝度変換特性を示し、実線が白黒伸長を行った場合の輝度変換特性を示す。
【００３５】
このように、白黒伸長を行うことにより、白側（例えば高輝度側）または黒側（例えば低輝度側）に輝度が伸長され、コントラストが強調された画像を表示することが可能となる。
【００３６】
例えば、自然画の場合、図２（Ａ）に示すように輝度分布が連続的となり、白黒伸長を行っても疑似輪郭は発生せず、適切な画像を表示することができる。
【００３７】
しかし、例えば、非自然画の場合、画像を構成する画素の階調数が少なく同一階調の画素数が多いため、図２（Ｂ）に示すように輝度分布が狭くなり、白黒伸長を行うと疑似輪郭等の発生により、適切な画像を表示することができない。これは、同一階調の画素が多い画像中の、画像上に階調が一様である領域が、白黒伸長処理によってノイズが目立つようになったり、微妙な階調変化が際立ってしまい、それが画像中の広い面積にわたって発生することによる。
【００３８】
本実施の形態では、画像を構成する画素の階調数が少ないことを、輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超えることによって判定し、この場合に白黒伸長処理を行わないようにプロジェクタ２０を構成している。
【００３９】
次に、このような機能を実現するためのプロジェクタ２０の画像処理部の機能ブロックについて説明する。
【００４０】
図４は、本実施形態の一例に係る画像処理部の機能ブロック図である。
【００４１】
プロジェクタ２０内の画像処理部は、入力映像信号であるＲＧＢ信号をＹＵＶ信号に変換するＲＧＢ−ＹＵＶ変換部１１０と、ＹＵＶ信号を補正する補正部１２０と、補正されたＹ’Ｕ’Ｖ’信号をＲ’Ｇ’Ｂ’信号に変換するＹＵＶ−ＲＧＢ変換部１３０と、Ｒ’Ｇ’Ｂ’信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。
【００４２】
また、補正部１２０は、白黒伸長処理部１４０を含んで構成されている。より具体的には、白黒伸長処理部１４０は、Ｙ信号（輝度信号）に基づき、画像における所定の輝度区分ごとの画素数の分布を示す輝度ヒストグラムを生成する輝度ヒストグラム生成部１４２と、当該輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超えるかどうかを判定する輝度分布分析部１４４と、しきい値以下と判定された場合に白黒伸長処理を行い、しきい値を超えると判定された場合に白黒伸長処理を行わない白黒伸長処理手段として機能する伸長倍率設定部１４６および伸長処理部１４８とを含んで構成されている。
【００４３】
また、画像投写部１９０は、空間光変調器１９２と、Ｒ’Ｇ’Ｂ’信号に基づき、空間光変調器１９２を駆動する駆動部１９４と、空間光変調器１９２に光を出力する光源１９６と、空間光変調器１９２で変調された光を投写するレンズ１９８とを含んで構成されている。
【００４４】
このようにしてプロジェクタ２０は、白黒伸長処理を行って画像を投写する。
【００４５】
以下、本願の特徴的な構成である白黒伸長処理部１４０に含まれる各部を用いた白黒伸長処理の流れについて説明する。
【００４６】
図５は、本実施形態の一例に係る白黒伸長処理のフローチャートである。
【００４７】
輝度ヒストグラム生成部１４２は、Ｙ信号に基づき、輝度ヒストグラムを生成する（ステップＳ１）。
【００４８】
そして、輝度分布分析部１４４は、輝度ヒストグラムに基づき、所定の輝度区分（例えば、３２階調の場合３２区分）における度数が第１の所定値以上の区分数が第２の所定値以上かどうかを判定する（ステップＳ２）。
【００４９】
ここで、第１の所定値としては、例えば０．１２５Ｓ等が該当し、第２の所定値としては、例えば４等が該当する。ここでＳとは、表示画像の総画素数である。０．１２５ＳつまりＳの０．１２５倍とは、３２階調の２５％である８階調に輝度分布が集中した時の、１輝度区分当りの平均度数に相当する。また、４とは、階調数８の５０％に相当する。なお、これらの数値は、あくまでも、第１の所定値および第２の所定値の一例である。
【００５０】
所定の輝度区分における度数が第１の所定値以上の区分数が第２の所定値以上の場合、伸長倍率設定部１４６は、通常とは異なる白黒伸長効果のない伸長倍率（例えば１倍）に設定を変更する（ステップＳ３）。
【００５１】
また、所定の輝度区分における度数が第１の所定値以上の区分数が第２の所定値以上ではない場合、伸長倍率設定部１４６は、通常の白黒伸長効果のある伸長倍率に設定を変更する（ステップＳ４）。
【００５２】
そして、伸長処理部１４８は、伸長倍率設定部１４６によって設定された伸長倍率に基づき、白黒伸長処理を行う（ステップＳ５）。
【００５３】
これにより、例えば、白黒伸長効果のない伸長倍率の場合（ステップＳ３）、図３の破線に示すように白黒伸長効果のない、すなわち、白黒伸長を行わない輝度変換特性となり、白黒伸長効果のある伸長倍率の場合（ステップＳ４）、図３の実線に示すように白黒伸長効果のある輝度変換特性となる。
【００５４】
なお、上述した画像処理システムの各部の機能を実現するためのハードウェアとしては、例えば以下のものを適用できる。
【００５５】
図６は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
【００５６】
例えば、ＲＧＢ−ＹＵＶ変換部１１０、ＹＵＶ−ＲＧＢ変換部１３０としては、例えば画像処理回路９７０等、輝度ヒストグラム生成部１４２としては、例えばＲＡＭ９５０、画像処理回路９７０等、輝度分布分析部１４４、伸長倍率設定部１４６、伸長処理部１４８としては、例えばＣＰＵ９１０とＲＯＭ９６０等、空間光変調器１９２としては、例えば液晶パネル９２０等を用いて実現できる。
【００５７】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００５８】
また、これらの各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【００５９】
さらに、白黒伸長処理部１４０としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って白黒伸長処理部１４０の機能をコンピュータに実現させてもよい。
【００６０】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００６１】
また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
【００６２】
以上のように、本実施の形態によれば、本実施形態の画像処理システムは、輝度ヒストグラムに基づき、度数が所定値以上の輝度区分数がしきい値を超える場合に限って白黒伸長処理を行わないことにより、自然画と非自然画を適切に白黒伸長処理することができる。
【００６３】
特に、本実施形態の画像処理システムは、分散値に基づいて判定するのではなく、度数が所定値以上の輝度区分数がしきい値を超えるかどうかを判定している。
【００６４】
これにより、本実施形態の画像処理システムは、度数が所定値以上の輝度区分数が極端に少ない場合には白黒伸長処理を行うことにより、例えば、自然画の一部にテキスト文字が描かれている場合には、白黒伸長処理を行うことにより、自然画のコントラストを強調することができる。
【００６５】
また、本実施形態の画像処理システムは、度数が所定値以上の輝度区分数が極端に少なくない場合に白黒伸長処理を行わないことにより、自然画と非自然画が混在し、非自然画の割合が多い場合には白黒伸長処理を行わない。
【００６６】
以上のように、本実施形態の画像処理システムは、自然画と非自然画の混在する割合を考慮して適切な白黒伸長処理を行うことができる。
【００６７】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【００６８】
例えば、度数が所定値以上の輝度区分数がしきい値を超える場合としては、図２（Ｂ）に示す輝度分布が所定の輝度範囲に集中している場合だけでなく、輝度分布が離散的になっている場合も該当する。このような場合であっても、画像処理システムは、白黒伸長処理を行わないように処理することが可能である。
【００６９】
また、画像処理システムは、輝度に代えて色を判定基準として用いてもよい。具体的には、画像処理システムを、色ヒストグラムに基づき、度数が所定値以上の色区分数がしきい値を超える場合に限って白黒伸長処理を行わないように構成してもよい。
【００７０】
画像処理システムは、色を判定基準として用いた場合であっても、非自然画と自然画が混在する場合等において、適切に白黒伸長処理を行うことが可能である。
【００７１】
また、上述した白黒伸長処理部１４０の機能を複数の装置に分散して白黒伸長処理を行ってもよい。
【００７２】
また、上述した白黒伸長処理を実行する画像処理システムは、プロジェクタ２０のような液晶プロジェクタに限定されず、例えば、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）を用いたプロジェクタ、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、ＦＥＤ（Ｆｉｅｌｄ　Ｅｍｉｓｓｉｏｎ　Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）、直視型液晶表示装置等の種々の表示装置に実装してもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【図面の簡単な説明】
【図１】本実施形態の一例に係るプロジェクタの概略説明図である。
【図２】輝度分布の一例を示す図であり、図２（Ａ）は、輝度分布が連続的である場合の一例を示す図であり、図２（Ｂ）は、輝度分布が狭い場合の一例を示す図である。
【図３】白黒伸長時の輝度の変化の一例を示す図である。
【図４】本実施形態の一例に係る画像処理部の機能ブロック図である。
【図５】本実施形態の一例に係る白黒伸長処理のフローチャートである。
【図６】本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【符号の説明】
１４２　輝度ヒストグラム生成部、　１４４　輝度分布分析部
１４６　伸長倍率設定部（白黒伸長処理手段）
１４８　伸長処理部（白黒伸長処理手段）、　９００　情報記憶媒体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing system that performs at least one of white extension and black extension on a video signal, a projector, a program, an information storage medium, and a monochrome extension processing method.
[0002]
BACKGROUND ART AND PROBLEMS TO BE SOLVED BY THE INVENTION
When the blackest portion of the input video signal is floating above a predetermined level, the blackout portion is extended in the black direction so that the blackest portion becomes the predetermined level. Further, when the whitest part of the input video signal is lower than a predetermined level, the input video signal is expanded in the white direction so that the whitest part becomes the predetermined level.
[0003]
In addition, the image source of the image display device in recent years is not limited to a conventional natural image, and non-natural images such as computer graphics images and text images, and images in which natural images and non-natural images are mixed are increasing.
[0004]
Although black-and-white extension processing is performed on a natural image to improve contrast, if similar black-and-white extension processing is performed on a non-natural image, the image may be rather deteriorated due to the occurrence of a pseudo contour or the like.
[0005]
This is because, in a text image or the like, the gradation of the pixels constituting the image is uniform, noise becomes noticeable due to the black-and-white expansion processing, or a subtle gradation change is conspicuous. By occurring over the area.
[0006]
In order to solve such a problem, Japanese Patent Application Laid-Open No. 2000-322047 discloses a technique of performing optimal gradation correction in accordance with the degree of deviation of the luminance distribution of an image while preventing the luminance distribution from being excessively expanded in the dynamic range. There has been proposed a tone correction device aiming at this.
[0007]
The gradation correction device includes a histogram memory that creates and stores frequency data of each luminance level of an input luminance signal for each predetermined period, and expands a luminance distribution of the input luminance signal to a predetermined dynamic range. An enlargement correction table memory for creating and storing corrected brightness levels for each of a plurality of brightness levels based on the frequency data of the histogram memory, and calculating a variance value of the brightness distribution according to the frequency data of the histogram memory; Means for setting a mixing ratio based on the mixing ratio, mixing means for mixing the brightness level and the corrected brightness level of the corresponding enlarged correction table memory at the mixing ratio for each of a plurality of brightness levels, and mixing by the mixing means. A look-up table memory for storing the level as table data corresponding to each of the plurality of luminance levels; Reads the level data corresponding to the luminance level of the force luminance signal from the look-up table memory is configured to output as the gradation corrected luminance signal.
[0008]
Further, the mixing means sets a mixing ratio that reduces the mixing ratio of the corrected luminance level when the variance value is large, and sets a mixing ratio that increases the mixing ratio of the corrected luminance level when the variance value is small. It is configured to be set.
[0009]
Further, in paragraph number 0023 of the specification of the publication, by adopting such a configuration, it is possible to output a luminance signal that hardly expands to the dynamic range when the variance is large. Has been described.
[0010]
However, since the variance value is data based on the average value, for example, in the case of an image in which the frequency is extremely high in one section and the frequency in other sections is low in the luminance distribution, the variance value becomes large, and the dynamic range Output a luminance signal that hardly expands.
[0011]
Specifically, for example, in the case of an image that is mostly a natural image and partially includes a single-color text image, it is better to perform black-and-white expansion processing to enhance the contrast of the natural image. Decompression processing is hardly performed.
[0012]
Therefore, for an image in which a natural image and a text image are mixed, the gradation correction device described in the above publication cannot perform appropriate gradation correction.
[0013]
The present invention has been made in view of the above problems, and an object of the present invention is to improve image quality when at least one of white extension and black extension (black and white extension) is performed on a video signal. It is an object of the present invention to provide an image processing system, a projector, a program, an information storage medium, and a black-and-white decompression processing method capable of appropriately processing an image including the image.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, an image processing system according to the present invention is an image processing system that processes a video signal,
A luminance histogram generation unit that generates a luminance histogram indicating a distribution of the number of pixels for each predetermined luminance section in the image based on the input video signal;
Based on the luminance histogram, a luminance distribution analysis unit that determines whether the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
Black-and-white decompression processing means for performing black-and-white decompression processing when determined to be equal to or less than the threshold, and not performing black-and-white decompression processing when determined to exceed the threshold;
It is characterized by including.
[0015]
Further, a projector according to the invention includes the image processing system described above.
[0016]
The program according to the present invention is a computer-readable program,
Computer
A luminance histogram generation unit that generates a luminance histogram indicating a distribution of the number of pixels for each predetermined luminance section in the image based on the input video signal;
Based on the luminance histogram, a luminance distribution analysis unit that determines whether the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
A black-and-white decompression process is performed when it is determined to be less than or equal to the threshold value, and a black-and-white decompression process unit that does not perform the black-and-white decompression process when it is determined to exceed the threshold value.
[0017]
Further, the information storage medium according to the present invention is a computer-readable information storage medium,
The program is stored.
[0018]
Further, the black-and-white extension processing method according to the present invention generates a luminance histogram indicating a distribution of the number of pixels for each predetermined luminance section in an image based on an input video signal,
Based on the luminance histogram, determine whether the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold,
Black-and-white extension processing is performed when it is determined to be equal to or less than the threshold value, and black-and-white extension processing is not performed when it is determined to exceed the threshold value.
[0019]
According to the present invention, the image processing system or the like does not perform the black-and-white expansion process only when the number of luminance sections whose frequency is equal to or more than the predetermined value exceeds the threshold value based on the luminance histogram, so that the natural image and the non-natural The image can be appropriately subjected to black and white expansion processing.
[0020]
Further, the image processing system according to the present invention is an image processing system for processing a video signal,
A color histogram generation unit that generates a color histogram indicating a distribution of the number of pixels for each predetermined color segment in the image based on the input video signal;
Based on the color histogram, a color distribution analysis unit that determines whether the number of color segments whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
Black-and-white decompression processing means for performing black-and-white decompression processing when determined to be equal to or less than the threshold, and not performing black-and-white decompression processing when determined to exceed the threshold;
It is characterized by including.
[0021]
Further, a projector according to the invention includes the image processing system described above.
[0022]
The program according to the present invention is a computer-readable program,
Computer
A color histogram generation unit that generates a color histogram indicating a distribution of the number of pixels for each predetermined color segment in the image based on the input video signal;
Based on the color histogram, a color distribution analysis unit that determines whether the number of color segments whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
A black-and-white decompression process is performed when it is determined to be less than or equal to the threshold value, and a black-and-white decompression process unit that does not perform the black-and-white decompression process when it is determined to exceed the threshold value.
[0023]
Further, an information storage medium according to the present invention is an information storage medium readable by a computer, wherein the program is stored.
[0024]
Further, the black-and-white decompression processing method according to the present invention generates a color histogram indicating a distribution of the number of pixels for each predetermined color segment in an image based on an input video signal,
Based on the color histogram, it is determined whether the number of color segments whose frequency is equal to or more than a predetermined value exceeds a threshold,
Black-and-white extension processing is performed when it is determined to be equal to or less than the threshold value, and black-and-white extension processing is not performed when it is determined to exceed the threshold value.
[0025]
According to the present invention, based on the color histogram, the image processing system and the like do not perform the black-and-white expansion process only when the number of color segments whose frequency is equal to or more than a predetermined value exceeds the threshold value, so that a natural image and an unnatural The image can be appropriately subjected to black and white expansion processing.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a case in which the present invention is applied to an image processing system that receives an RGB signal, which is a kind of video signal, and performs black-and-white expansion processing of the luminance (also referred to as “luminance value” or “luminance level”) of each signal. An example will be described with reference to the drawings. The embodiments described below do not limit the contents of the invention described in the claims. In addition, all of the configurations described in the following embodiments are not necessarily essential as means for solving the invention described in the claims.
[0027]
(Description of the whole system)
Hereinafter, a case where the present invention is applied to an image processing system of a liquid crystal projector will be described as an example.
[0028]
FIG. 1 is a schematic explanatory diagram of a projector 20 according to an example of the present embodiment.
[0029]
The projector 20 provided substantially in front of the screen 10 projects a natural image, a non-natural image, or an image in which a natural image and a non-natural image are mixed.
[0030]
The presenter 30 gives a presentation to a third party while pointing a desired position of an image in the image display area 12 on the screen 10 with a spotlight projected from the laser pointer 50.
[0031]
When projecting such a presentation image or the like, the projector 20 can project an image with enhanced contrast by performing black-and-white extension processing.
[0032]
However, if a monochrome expansion process is performed on an image composed of only a non-natural image or an image in which a non-natural image and a natural image are mixed, a pseudo contour may appear in a projected image.
[0033]
2A and 2B are diagrams illustrating an example of a luminance distribution, FIG. 2A is a diagram illustrating an example of a case where the luminance distribution is continuous, and FIG. 2B is a diagram illustrating an example of a case where the luminance distribution is narrow. It is a figure showing an example. FIG. 3 is a diagram illustrating an example of a change in luminance during black-and-white expansion.
[0034]
For example, in FIG. 3, the broken line indicates the luminance conversion characteristic when black-and-white extension is not performed, and the solid line indicates the luminance conversion characteristic when black-and-white extension is performed.
[0035]
As described above, by performing the black-and-white extension, the luminance is extended to the white side (for example, the high luminance side) or the black side (for example, the low luminance side), and an image in which the contrast is enhanced can be displayed.
[0036]
For example, in the case of a natural image, the luminance distribution becomes continuous as shown in FIG. 2A, and a pseudo image is not generated even if black-and-white expansion is performed, so that an appropriate image can be displayed.
[0037]
However, for example, in the case of a non-natural image, since the number of pixels constituting an image is small and the number of pixels having the same gradation is large, the luminance distribution becomes narrow as shown in FIG. Therefore, an appropriate image cannot be displayed due to the occurrence of a false contour or the like. This is because, in an image where there are many pixels with the same gradation, in a region where the gradation is uniform on the image, noise is noticeable due to the black-and-white expansion processing, and subtle gradation changes are noticeable. Occur over a large area in the image.
[0038]
In the present embodiment, it is determined that the number of gradations of pixels constituting an image is small based on the luminance histogram when the number of luminance sections whose frequency is equal to or more than a predetermined value exceeds a threshold value. The projector 20 is configured not to perform the processing.
[0039]
Next, functional blocks of an image processing unit of the projector 20 for realizing such a function will be described.
[0040]
FIG. 4 is a functional block diagram of an image processing unit according to an example of the present embodiment.
[0041]
An image processing unit in the projector 20 includes an RGB-YUV conversion unit 110 that converts an RGB signal that is an input video signal into a YUV signal, a correction unit 120 that corrects a YUV signal, and a corrected Y′U′V ′ signal. Is converted to an R′G′B ′ signal, and an image projection unit 190 that projects an image based on the R′G′B ′ signal.
[0042]
The correction unit 120 includes a black-and-white extension processing unit 140. More specifically, the black-and-white expansion processing section 140 includes a luminance histogram generation section 142 that generates a luminance histogram indicating a distribution of the number of pixels for each predetermined luminance section in the image based on the Y signal (luminance signal); A luminance distribution analyzer 144 for determining whether or not the number of luminance sections whose frequency is equal to or more than a predetermined value exceeds a threshold based on the histogram; , And a decompression magnification setting unit 146 and a decompression processing unit 148 functioning as a black and white decompression processing unit that does not perform the black and white decompression processing when it is determined to exceed.
[0043]
The image projection unit 190 includes a spatial light modulator 192, a driving unit 194 that drives the spatial light modulator 192 based on the R′G′B ′ signal, and a light source 196 that outputs light to the spatial light modulator 192. And a lens 198 for projecting the light modulated by the spatial light modulator 192.
[0044]
In this manner, the projector 20 performs the black-and-white extension processing and projects an image.
[0045]
Hereinafter, a flow of the black-and-white decompression process using each unit included in the black-and-white decompression processing unit 140, which is a characteristic configuration of the present application, will be described.
[0046]
FIG. 5 is a flowchart of the black-and-white decompression process according to an example of the present embodiment.
[0047]
The luminance histogram generation unit 142 generates a luminance histogram based on the Y signal (Step S1).
[0048]
Then, based on the luminance histogram, the luminance distribution analysis unit 144 determines whether the frequency in a predetermined luminance section (for example, 32 sections in the case of 32 gradations) is equal to or greater than a first predetermined value and equal to or greater than a second predetermined value. Is determined (step S2).
[0049]
Here, the first predetermined value corresponds to, for example, 0.125S, and the second predetermined value corresponds to, for example, 4 or the like. Here, S is the total number of pixels of the display image. 0.125S, that is, 0.125 times S, corresponds to the average frequency per luminance section when the luminance distribution is concentrated on 8 gradations, which is 25% of 32 gradations. In addition, 4 corresponds to 50% of the number of gradations 8. These numerical values are merely examples of the first predetermined value and the second predetermined value.
[0050]
If the frequency in the predetermined luminance section is equal to or more than the first predetermined value and the number of sections is equal to or more than the second predetermined value, the expansion magnification setting unit 146 sets the expansion magnification (for example, 1) which is different from normal and has no black and white expansion effect. The setting is changed (step S3).
[0051]
When the number of frequencies in the predetermined luminance section is equal to or greater than the first predetermined value and is not equal to or greater than the second predetermined value, the expansion ratio setting unit 146 changes the setting to an expansion ratio having a normal black-and-white expansion effect. (Step S4).
[0052]
Then, the decompression processing unit 148 performs a black-and-white decompression process based on the decompression ratio set by the decompression ratio setting unit 146 (step S5).
[0053]
Thereby, for example, in the case of the expansion ratio without the black-and-white expansion effect (step S3), as shown by the broken line in FIG. 3, the brightness conversion characteristic has no black-and-white expansion effect, that is, the black-and-white expansion is not performed, and the black-and-white expansion effect is obtained. In the case of the expansion ratio (step S4), the luminance conversion characteristic has a black-and-white expansion effect as shown by the solid line in FIG.
[0054]
Note that, for example, the following can be applied as hardware for realizing the function of each unit of the image processing system described above.
[0055]
FIG. 6 is a hardware block diagram of the projector 20 according to an example of the present embodiment.
[0056]
For example, as the RGB-YUV conversion unit 110 and the YUV-RGB conversion unit 130, for example, an image processing circuit 970 and the like, and as the luminance histogram generation unit 142, for example, a RAM 950, an image processing circuit 970, and the like, a luminance distribution analysis unit 144, an expansion ratio The setting unit 146 and the decompression processing unit 148 can be realized by using, for example, the CPU 910 and the ROM 960, and the spatial light modulator 192 can be realized by using, for example, a liquid crystal panel 920.
[0057]
These units can exchange information with each other via a system bus 980.
[0058]
These units may be realized by hardware like a circuit, or may be realized by software like a driver.
[0059]
Further, the function of the black-and-white decompression processing unit 140 may be realized by reading a program from the information storage medium 900 storing a program for causing the computer to function as the black-and-white decompression processing unit 140.
[0060]
As such an information storage medium 900, for example, a CD-ROM, a DVD-ROM, a ROM, a RAM, an HDD, and the like can be applied, and the method of reading the program may be a contact method or a non-contact method. Good.
[0061]
In addition, instead of the information storage medium 900, it is also possible to realize each function described above by downloading a program or the like for realizing each function described above from a host device or the like via a transmission path.
[0062]
As described above, according to the present embodiment, the image processing system according to the present embodiment performs the black-and-white extension processing based on the luminance histogram only when the number of luminance sections whose frequency is equal to or more than the predetermined value exceeds the threshold value. By not performing the processing, the natural image and the non-natural image can be appropriately subjected to the black-and-white expansion processing.
[0063]
In particular, the image processing system according to the present embodiment does not make a determination based on the variance but determines whether or not the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold.
[0064]
Accordingly, the image processing system according to the present embodiment performs the black-and-white expansion process when the number of luminance sections whose frequency is equal to or more than the predetermined value is extremely small, so that, for example, text characters are drawn in a part of a natural image. In this case, the contrast of the natural image can be enhanced by performing the black-and-white extension processing.
[0065]
Further, the image processing system of the present embodiment does not perform the black-and-white expansion processing when the number of luminance sections whose frequency is equal to or more than the predetermined value is not extremely small, so that natural images and non-natural images are mixed, and non-natural images are mixed. If the ratio is large, the black-and-white extension processing is not performed.
[0066]
As described above, the image processing system according to the present embodiment can perform appropriate black-and-white decompression processing in consideration of the mixture ratio of a natural image and a non-natural image.
[0067]
(Modification)
The preferred embodiment to which the present invention is applied has been described above, but the application of the present invention is not limited to the above-described embodiment.
[0068]
For example, the case where the number of luminance sections whose frequency is equal to or more than a predetermined value exceeds the threshold value is not only when the luminance distribution shown in FIG. 2B is concentrated in a predetermined luminance range, but also when the luminance distribution is discrete. This also applies to Even in such a case, the image processing system can perform processing so as not to perform the black-and-white expansion processing.
[0069]
Further, the image processing system may use a color as a criterion instead of the luminance. Specifically, the image processing system may be configured such that the black-and-white extension process is not performed only when the number of color segments whose frequency is equal to or more than a predetermined value exceeds a threshold based on the color histogram.
[0070]
The image processing system can appropriately perform the black-and-white decompression process in a case where a non-natural image and a natural image are mixed even when color is used as a criterion.
[0071]
Further, the function of the above-described black-and-white decompression processing unit 140 may be distributed to a plurality of devices to perform the black-and-white decompression processing.
[0072]
The image processing system that executes the above-described black-and-white decompression processing is not limited to a liquid crystal projector such as the projector 20. It may be mounted on various display devices such as a display panel (FED), a field emission display (FED), an electro luminescence (EL) device, and a direct-view liquid crystal display device. DMD is a trademark of Texas Instruments of the United States.
[Brief description of the drawings]
FIG. 1 is a schematic explanatory diagram of a projector according to an example of an embodiment.
2A and 2B are diagrams illustrating an example of a luminance distribution, FIG. 2A is a diagram illustrating an example of a case where the luminance distribution is continuous, and FIG. 2B is a diagram illustrating an example of a case where the luminance distribution is narrow; It is a figure showing an example.
FIG. 3 is a diagram illustrating an example of a change in luminance during black and white expansion.
FIG. 4 is a functional block diagram of an image processing unit according to an example of the embodiment.
FIG. 5 is a flowchart of a black-and-white decompression process according to an example of the present embodiment.
FIG. 6 is a hardware block diagram of a projector according to an example of the embodiment.
[Explanation of symbols]
142 brightness histogram generation unit, 144 brightness distribution analysis unit 146 expansion magnification setting unit (black and white expansion processing means)
148 decompression processing unit (monochrome decompression processing means), 900 information storage medium

Claims

In an image processing system for processing a video signal,
A luminance histogram generation unit that generates a luminance histogram indicating a distribution of the number of pixels for each predetermined luminance section in the image based on the input video signal;
Based on the luminance histogram, a luminance distribution analysis unit that determines whether the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
Black-and-white decompression processing means for performing black-and-white decompression processing when determined to be equal to or less than the threshold, and not performing black-and-white decompression processing when determined to exceed the threshold
An image processing system comprising:

In an image processing system for processing a video signal,
A color histogram generation unit that generates a color histogram indicating a distribution of the number of pixels for each predetermined color segment in the image based on the input video signal;
Based on the color histogram, a color distribution analysis unit that determines whether the number of color segments whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
Black-and-white decompression processing means for performing black-and-white decompression processing when determined to be equal to or less than the threshold, and not performing black-and-white decompression processing when determined to exceed the threshold
An image processing system comprising:

A projector comprising the image processing system according to claim 1.

A computer readable program,
Computer
A luminance histogram generation unit that generates a luminance histogram indicating a distribution of the number of pixels for each predetermined luminance section in the image based on the input video signal;
Based on the luminance histogram, a luminance distribution analysis unit that determines whether the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
A program that functions as a black-and-white decompression processing unit that performs black-and-white decompression processing when it is determined to be less than or equal to the threshold value, and does not perform black-and-white decompression processing when it is determined that the threshold value is exceeded.

A computer readable program,
Computer
A color histogram generation unit that generates a color histogram indicating a distribution of the number of pixels for each predetermined color segment in the image based on the input video signal;
Based on the color histogram, a color distribution analysis unit that determines whether the number of color segments whose frequency is equal to or greater than a predetermined value exceeds a threshold value,
A program that functions as a black-and-white decompression processing unit that performs black-and-white decompression processing when it is determined to be less than or equal to the threshold value, and does not perform black-and-white decompression processing when it is determined that the threshold value is exceeded.

An information storage medium readable by a computer,
An information storage medium storing the program according to claim 4.

Based on the input video signal, generate a luminance histogram indicating the distribution of the number of pixels for each predetermined luminance section in the image,
Based on the luminance histogram, determine whether the number of luminance sections whose frequency is equal to or greater than a predetermined value exceeds a threshold,
A black-and-white decompression processing method comprising: performing black-and-white decompression processing when it is determined to be equal to or less than a threshold; and not performing black-and-white decompression processing when it is determined to exceed the threshold.

Based on the input video signal, generate a color histogram indicating the distribution of the number of pixels for each predetermined color segment in the image,
Based on the color histogram, it is determined whether the number of color segments whose frequency is equal to or more than a predetermined value exceeds a threshold,
A black-and-white decompression processing method comprising: performing black-and-white decompression processing when it is determined to be equal to or less than a threshold; and not performing black-and-white decompression processing when it is determined to exceed the threshold.