JP2021145317A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】リニアマトリクス演算において、色再現性を確保しながら誤作動を防止することができる画像処理装置を提供すること。【解決手段】画像処理装置は、入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行うリニアマトリクス演算部を備える。好ましくは、前記リニアマトリクス演算部は、互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、前記演算部の演算結果が所定の条件を満たすか否かを判定する判定部と、前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、を有する。【選択図】図４

Description

本開示は、画像処理装置、及び画像処理方法に関する。

従来、観察対象を撮像装置により撮像して生成された画像信号に画像処理を施す画像処理装置が知られている。撮像装置の分光特性は、理想的なＲＧＢ特性からは乖離しているため、ＲＧＢ信号を補正せずにそのまま用いると色再現性がよくない。そのため、画像処理装置は、ＲＧＢ信号を３×３のマトリクスにより変換し、理想的なＲＧＢ特性に近づけるリニアマトリクス演算を行う（例えば、特許文献１参照）。

特開２０１３−２６９８７号公報

しかしながら、リニアマトリクス演算では、全ての色を理想的なＲＧＢに近づける最適解は存在しない。そして、ある色を理想的なＲＧＢに近づけると、他の色が実在しない色（例えば、輝度Ｙが負になる）となる場合がある。このようなエラーが発生した場合に、従来の画像処理装置では、リニアマトリクス演算における補正係数を小さくする制御を行って誤作動を防止していたため、十分に色再現性を確保できない場合があった。

本開示は、上記に鑑みてなされたものであって、リニアマトリクス演算において、色再現性を確保しながら誤作動を防止することができる画像処理装置、及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示の一態様に係る画像処理装置は、入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行うリニアマトリクス演算部を備える。

また、本開示の一態様に係る画像処理装置は、前記リニアマトリクス演算部は、互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、前記演算部の演算結果が所定の条件を満たすか否かを判定する判定部と、前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、を有する。

また、本開示の一態様に係る画像処理装置は、前記所定の条件は、前記演算部の演算結果を用いて算出される輝度が負であるか否かである。

また、本開示の一態様に係る画像処理装置は、前記所定の条件は、前記演算部の演算結果を用いて算出される輝度と前記演算部の演算結果を用いて算出される色差とが、所定の条件を満たすか否かである。

また、本開示の一態様に係る画像処理装置は、前記リニアマトリクス演算部は、互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、前記演算部の演算結果に応じて前記演算部の演算結果を合成する比率を算出する算出部と、前記算出部が算出した比率に基づいて、前記演算部の演算結果を合成して出力する制御部と、を有する。

また、本開示の一態様に係る画像処理装置は、前記リニアマトリクス演算部は、前記画像信号が所定の条件を満たすか否かを判定する判定部と、互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、を有する。

また、本開示の一態様に係る画像処理装置は、前記所定の条件は、前記画像信号を前記演算部に入力した場合の演算結果を用いて算出される輝度が負であるか否かである。

また、本開示の一態様に係る画像処理装置は、前記所定の条件は、前記画像信号を前記演算部に入力した場合の演算結果を用いて算出される輝度と前記画像信号を前記演算部に入力した場合の演算結果とを用いて算出される色差とが、所定の条件を満たすか否かである。

また、本開示の一態様に係る画像処理装置は、前記リニアマトリクス演算部は、互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、前記画像信号に応じて前記演算部の演算結果を合成する比率を算出し、前記比率に基づいて、前記演算部の演算結果を合成して出力する制御部と、を有する。

また、本開示の一態様に係る画像処理装置は、前記リニアマトリクス演算部は、前記画像信号が所定の条件を満たすか否かを判定する判定部と、前記画像信号にリニアマトリクス演算を行う演算部と、前記判定部の判定結果に応じて前記演算部のマトリクス係数を変調させる係数変調部と、を有する。

また、本開示の一態様に係る画像処理装置は、前記リニアマトリクス演算部は、前記画像信号が所定の条件を満たす場合、前記画像信号を出力する。

また、本開示の一態様に係る画像処理方法は、入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行う。

本開示によれば、リニアマトリクス演算において、色再現性を確保しながら誤作動を防止することができる画像処理装置、及び画像処理方法を実現することができる。

図１は、実施の形態１に係る画像処理装置を含む観察装置の構成を示す模式図である。 図２は、制御装置の構成を示すブロック図である。 図３は、画像処理部の構成を示すブロック図である。 図４は、図３に示すリニアマトリクス演算部の構成を説明する図である。 図５は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。 図６は、実施の形態２に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。 図７は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。 図８は、実施の形態３に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。 図９は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。 図１０は、実施の形態４に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。 図１１は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。 図１２は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。 図１３は、実施の形態５に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。 図１４は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。

以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態１）
〔観察システムの構成〕
図１は、実施の形態１に係る画像処理装置を含む観察装置の構成を示す模式図である。観察装置１は、医療分野において用いられ、生体内を観察する装置である。この観察装置１は、図１に示すように、挿入部２と、光源装置３と、ライトガイド４と、カメラヘッド５と、第１伝送ケーブル６と、表示装置７と、第２伝送ケーブル８と、制御装置９と、第３伝送ケーブル１０と、を備える。

挿入部２は、本実施の形態では、硬性内視鏡で構成されている。すなわち、挿入部２は、全体が硬質、又は一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部２内には、１又は複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。ただし、挿入部２は、軟性内視鏡であってもよい。

光源装置３は、ライトガイド４の一端が接続され、制御装置９による制御の下、当該ライトガイド４の一端に生体内を照明するための光を供給する。なお、本実施の形態では、光源装置３は、制御装置９とは別体で構成されているが、これに限らず、当該制御装置９内部に設けられた構成を採用しても構わない。

ライトガイド４は、一端が光源装置３に着脱自在に接続されるとともに、他端が挿入部２に着脱自在に接続される。そして、ライトガイド４は、光源装置３から供給された光を一端から他端に伝達し、挿入部２に供給する。挿入部２に供給された光は、当該挿入部２の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光（被写体像）は、挿入部２内の光学系により集光される。

カメラヘッド５は、挿入部２の基端（接眼部２１（図１））に着脱自在に接続される。そして、カメラヘッド５は、制御装置９による制御の下、挿入部２にて集光された被写体像を撮像し、当該撮像による画像信号（ＲＡＷ信号）を出力する。当該画像信号は、例えば、４Ｋ以上の画像信号である。

第１伝送ケーブル６は、一端がコネクタＣＮ１（図１）を介して制御装置９に着脱自在に接続され、他端がコネクタＣＮ２（図１）を介してカメラヘッド５に着脱自在に接続される。そして、第１伝送ケーブル６は、カメラヘッド５から出力される画像信号等を制御装置９に伝送するとともに、制御装置９から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド５にそれぞれ伝送する。なお、第１伝送ケーブル６を介したカメラヘッド５から制御装置９への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１伝送ケーブル６を介した制御装置９からカメラヘッド５への制御信号、同期信号、クロックの伝送も同様である。

表示装置７は、液晶又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示ディスプレイで構成され、制御装置９による制御の下、当該制御装置９からの映像信号に基づく画像を表示する。

第２伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第２伝送ケーブル８は、制御装置９にて処理された映像信号を表示装置７に伝送する。

制御装置９は、本実施の形態１に係る画像処理装置に相当する。この制御装置９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含んで構成され、光源装置３、カメラヘッド５、及び表示装置７の動作を統括的に制御する。なお、制御装置９の詳細な構成については、後述する。

第３伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第３伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。

〔制御装置の構成〕
次に、制御装置９の構成について図２を参照しながら説明する。図２は、制御装置の構成を示すブロック図である。制御装置９は、図２に示すように、通信部９１と、画像処理部９２と、表示制御部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７と、を備える。

通信部９１は、第１伝送ケーブル６を介して、カメラヘッド５から出力される画像信号（ＲＡＷ信号（デジタル信号））を受信するレシーバとして機能する。この通信部９１は、例えば、カメラヘッド５との間で、１Ｇｂｐｓ以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。

画像処理部９２は、制御部９４による制御の下、カメラヘッド５から出力され、通信部９１にて受信した画像信号（ＲＡＷ信号（デジタル信号））に画像処理を施す。なお、画像処理部９２の詳細な構成については、後述する。

表示制御部９３は、制御部９４による制御の下、画像処理部９２にて画像処理が施された画像信号（Ｙ，Ｃｂ，Ｃｒ）に基づく表示用の映像信号を生成する。そして、表示制御部９３は、第２伝送ケーブル８を介して、当該映像信号を表示装置７に出力する。これにより、表示装置７は、当該映像信号に基づく画像を表示する。

制御部９４は、例えば、ＣＰＵ等を用いて構成され、第１〜第３伝送ケーブル６，８，１０を介して制御信号を出力することで、光源装置３、カメラヘッド５、及び表示装置７の動作を制御するとともに、制御装置９全体の動作を制御する。

入力部９５は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部９５は、当該ユーザ操作に応じた操作信号を制御部９４に出力する。

出力部９６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。

記憶部９７は、制御部９４が実行するプログラムや、制御部９４の処理に必要な情報等を記憶する。

〔画像処理部の機能構成〕
次に、画像処理部９２の構成について図３を参照しながら説明する。図３は、画像処理部の構成を示すブロック図である。図３に示すように、画像処理部９２は、リニアマトリクス演算部９２４と、ガンマ補正部９２７と、ＹＣ変換部９２８と、を有する。なお、画像処理部９２において、ホワイトバランスの調整、輪郭補正処理、ノイズ成分を低減させるノイズリダクション処理、オフセット成分を除去するクランプ処理、白傷等による欠陥を補正する欠陥補正処理、デモザイク処理、色差信号に対する色差補正処理等の画像処理を行ってもよい。

リニアマトリクス演算部９２４は、入力される画像信号に対して、リニアマトリクス演算を行う機能を有する。具体的には、リニアマトリクス演算部９２４は、入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。リニアマトリクス演算は、カメラヘッド５が出力するＲＧＢ信号を理想的なＲＧＢ特性に近づけ、色再現性を向上させるために行う演算である。例えば、リニアマトリクス演算部９２４は、カメラヘッド５から通信部９１を経由して入力されたＲＧＢの画像信号に対して、マトリクス係数を乗算するリニアマトリクス演算を行う。そして、リニアマトリクス演算部９２４は、リニアマトリクス演算後の画像信号をガンマ補正部９２７へ出力する。なお、リニアマトリクス演算部９２４の詳細な構成については、後述する。

ガンマ補正部９２７は、入力される画像信号に対して、ガンマ補正を行う機能を有する。例えば、ガンマ補正部９２７は、リニアマトリクス演算部９２４から入力される画像信号に対して、表示装置７のガンマ特性の逆関数にて補正するガンマ補正を行う。そして、ガンマ補正部９２７は、ガンマ補正後の画像信号をＹＣ変換部９２８へ出力する。

ＹＣ変換部９２８は、入力される画像信号から輝度信号（以下において、「輝度Ｙ」ともいう。）を生成する機能を有する。例えば、ＹＣ変換部９２８は、ガンマ補正部９２７から入力される画像信号に含まれるＲＧＢ信号を輝度信号に変換する変換処理を行う。また、ＹＣ変換部９２８は、入力される画像信号から色差信号を生成する機能を有する。例えば、ＹＣ変換部９２８は、ガンマ補正部９２７から入力される画像信号に含まれるＲＧＢ信号を色差信号に変換する変換処理を行う。そして、ＹＣ変換部９２８は、生成した画像信号（Ｙ，Ｃｂ，Ｃｒ）を表示制御部９３へ出力する。

〔リニアマトリクス演算部の構成〕
次に、リニアマトリクス演算部９２４の構成について図４を参照しながら説明する。図４は、図３に示すリニアマトリクス演算部の構成を説明する図である。図４に示すように、リニアマトリクス演算部９２４は、第１演算部９２４１と、第２演算部９２４２と、判定部９２４３と、制御部９２４４と、を有する。

第１演算部９２４１は、所定のマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。第１演算部９２４１のマトリクス係数は、色再現性を十分に高める値に設定されていることが好ましい。以下の式（１）におけるｍ_１１−ｍ_３３がリニアマトリクス係数であり、ＲＧＢ信号である入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）に対してリニアマトリクス係数を乗算すると演算結果（Ｒ_ｌｍｔ，Ｇ_ｌｍｔ，Ｂ_ｌｍｔ）が算出される。

第２演算部９２４２は、所定のマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。第２演算部９２４２のマトリクス係数は、第１演算部９２４１と異なる値であれば特に限定されないが、輝度Ｙが負になるなどの誤作動を防止する値に設定されていることが好ましい。誤作動を防止するマトリクス係数とは、例えば以下の式（２）に示す単位行列である。

第２演算部９２４２が単位行列である場合、演算結果が実在しない色になることがなく、誤作動が生じない。なお、第２演算部９２４２は、単位行列を乗算せずに入力された画像信号をそのまま出力してもよい。すなわち、リニアマトリクス演算部９２４は、画像信号をそのまま出力してもよい。

判定部９２４３は、演算部の演算結果が実在しない色空間となる場合や、色再現が現実と乖離してしまっている場合を検出するため、演算部の演算結果が所定の条件を満たすか否かを判定する。判定部９２４３は、例えば、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負であるか否かを判定する。具体的には、判定部９２４３は、リニアマトリクス演算部９２４が第１演算部９２４１の演算結果を出力し、ガンマ補正部９２７、ＹＣ変換部９２８がそれぞれ演算を行った結果として生成される画像信号（Ｙ，Ｃｂ，Ｃｒ）の輝度Ｙが負となるか否かを判定する。輝度Ｙが負となる計算例は後述する。

制御部９２４４は、判定部９２４３の判定結果に応じて選択した演算部（第１演算部９２４１又は第２演算部９２４２のどちらか一方）の演算結果を出力する。具体的には、制御部９２４４は、判定部９２４３が第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負ではないと判定した場合、第１演算部９２４１の演算結果をガンマ補正部９２７に出力する。一方、制御部９２４４は、判定部９２４３が第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負であると判定した場合、第２演算部９２４２の演算結果をガンマ補正部９２７に出力する。

〔輝度が負となる計算例〕
次に、輝度Ｙが負となる計算例について説明する。まず、第１演算部９２４１のマトリクス係数は、以下の式（３）に示す値であるものとする。

例えば、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）＝（１，０，０）である場合、第１演算部９２４１により演算結果（Ｒ_lｍｔ，Ｇ_ｌｍｔ，Ｂ_ｌｍｔ）＝（０．６，−０．４，０）が得られる。

この演算結果（Ｒ_ｌｍｔ，Ｇ_ｌｍｔ，Ｂ_ｌｍｔ）は、ガンマ補正部９２７においてガンマ処理を施され、信号（Ｒ_ｇａｍ，Ｇ_ｇａｍ，Ｂ_ｇａｍ）となる。ガンマ処理は、映像フォーマットＢＴ．２０２０において規定されている計算式によりｆ_ｇａｍ（）と表すと、Ｒ_ｇａｍ＝ｆ_ｇａｍ（Ｒ_ｌｍｔ）＝ｆ_ｇａｍ（０．６）＝０．７７４、Ｇ_ｇａｍ＝ｆ_ｇａｍ（Ｇ_ｌｍｔ）＝ｆ_ｇａｍ（−０．４）＝−０．６２８と算出される。なお、ガンマ処理において、入力が負である場合の規定がないので、入力が負である場合、符号を反転して計算し、再度符号を反転して出力するものとした。

さらに、算出したＲ_ｇａｍ，Ｇ_ｇａｍ，Ｂ_ｇａｍを用いて、映像フォーマットＢＴ．２０２０において規定されている以下の式（４）によりＹ，Ｃｂ，Ｃｒを計算する。

すると、輝度Ｙは、以下の式（５）により負になる。

以上説明したように、輝度Ｙが負になる場合があり、このような場合には、判定部９２４３は、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負であると判定する。

〔リニアマトリクス演算処理〕
図５は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。図５に示すように、まず、第１演算部９２４１及び第２演算部９２４２は、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ１）。

続いて、判定部９２４３は、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負であるか否かを判定する（ステップＳ２）。

判定部９２４３が、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負ではないと判定した場合（ステップＳ２：Ｎｏ）、制御部９２４４は、第１演算部９２４１の演算結果をガンマ補正部９２７に出力する（ステップＳ３）。

一方、判定部９２４３が、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負であると判定した場合（ステップＳ２：Ｙｅｓ）、制御部９２４４は、第２演算部９２４２の演算結果をガンマ補正部９２７に出力する（ステップＳ４）。

以上説明した実施の形態１によれば、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負ではない場合には、第１演算部９２４１の演算結果がガンマ補正部９２７に出力されるため、色再現性が十分よく、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負である場合には、第２演算部９２４２の演算結果がガンマ補正部９２７に出力されるため、輝度Ｙが負になる誤作動を防止することができる。

なお、図５のステップＳ２では、判定部９２４３が、輝度Ｙが負になるか否かを判定したが、これに代えて、第１演算部９２４１の演算結果（Ｒ_ｌｍｔ１，Ｇ_ｌｍｔ１，Ｂ_ｌｍｔ１）が、Ｒ_ｌｍｔ１＞Ｒ_ｍａｘ×δ１、Ｇ_ｌｍｔ１＞Ｇ_ｍａｘ×δ１、かつＢ_ｌｍｔ１＞Ｂ_ｍａｘ×δ１を満たすか否かを判定してもよい。なお、Ｒ_ｍａｘ，Ｇ_ｍａｘ，Ｂ_ｍａｘは、各色（赤色、緑色、青色）の画像信号における最大値である。例えば、１０ｂｉｔの場合、リニアマトリクス演算部９２４に入力される画像信号は、０〜１０２３の範囲となるので、Ｒ_ｍａｘ，Ｇ_ｍａｘ，Ｂ_ｍａｘはいずれも１０２３となる。また、δ１は、比率であって、例えば、０．８〜０．９５に設定する。

また、図５のステップＳ２では、判定部９２４３は、第１演算部９２４１の演算結果（Ｒ_ｌｍｔ１，Ｇ_ｌｍｔ１，Ｂ_ｌｍｔ１）が、Ｒ_ｌｍｔ１＜Ｒ_ｍａｘ×δ２、Ｇ_ｌｍｔ１＜Ｇ_ｍａｘ×δ２、かつＢ_ｌｍｔ１＜Ｂ_ｍａｘ×δ２を満たすか否かを判断してもよい。なお、δ２は、比率であって、例えば、０．０５〜０．２に設定する。

また、図５のステップＳ２では、判定部９２４３が、Ｒ_ｌｍｔ１＞Ｒ_ｍａｘ×δ１、Ｇ_ｌｍｔ１＞Ｇ_ｍａｘ×δ１、かつＢ_ｌｍｔ１＞Ｂ_ｍａｘ×δ１を満たさない、かつ、Ｒ_ｌｍｔ１＜Ｒ_ｍａｘ×δ２、Ｇ_ｌｍｔ１＜Ｇ_ｍａｘ×δ２、かつＢ_ｌｍｔ１＜Ｂ_ｍａｘ×δ２を満たさないと判定した場合（ステップＳ２：Ｎｏ）、制御部９２４４は、第１演算部９２４１の演算結果をガンマ補正部９２７に出力する（ステップＳ３）。一方、判定部９２４３が、Ｒ_ｌｍｔ１＞Ｒ_ｍａｘ×δ１、Ｇ_ｌｍｔ１＞Ｇ_ｍａｘ×δ１、かつＢ_ｌｍｔ１＞Ｂ_ｍａｘ×δ１を満たす、もしくは、Ｒ_ｌｍｔ１＜Ｒ_ｍａｘ×δ２、Ｇ_ｌｍｔ１＜Ｇ_ｍａｘ×δ２、かつＢ_ｌｍｔ１＜Ｂ_ｍａｘ×δ２を満たすと判定した場合（ステップＳ２：Ｙｅｓ）、制御部９２４４は、第２演算部９２４２の演算結果をガンマ補正部９２７に出力する（ステップＳ４）。このようにすることで、暗い被写体、明るい被写体であっても、不要な色付きを防止することができる。

また、図５のステップＳ２では、判定部９２４３が、輝度Ｙが負になるか否かを判定したが、これに代えて、輝度Ｙと色差信号Ｃｒ、Ｃｂとが所定の条件を満たすか否かを判定してもよい。具体的には、判定部９２４３が、ε１×Ｙ_ｍａｘ＜Ｙ＜ε２×Ｙ_ｍａｘ、Ｃｂ＞ε３×Ｃｂ_max、かつε４×Ｃｒ_max＜Ｃｒ＜ε５×Ｃｒ_maxを満たすか否かを判定してもよい。なお、Ｙ_ｍａｘは輝度Ｙの最大値である。例えば、１０ｂｉｔの場合、輝度Ｙは、０〜１０２３となるので、Ｙ_ｍａｘは１０２３となる。また、Ｃｂ_ｍａｘは色差信号Ｃｂの最大値である。例えば、１０ｂｉｔの場合、色差信号Ｃｂは−５１２〜＋５１１となるので、Ｃｂ_ｍａｘは、＋５１１となる。Ｃｒ_ｍａｘは、色差信号Ｃｒの最大値である。例えば、１０ｂｉｔの場合、色差信号Ｃｂは−５１２〜＋５１１となるので、Ｃｒ_ｍａｘは、＋５１１となる。また、ε１，ε２，ε３、ε４、ε５は、比率であって、例えば、ε１＝０．５，ε２＝０．６，ε３＝０．８，ε４＝−０．２，ε５＝０．２に設定する。

判定部９２４３が、ε１×Ｙ_ｍａｘ＜Ｙ＜ε２×Ｙ_ｍａｘ、Ｃｂ＞ε３×Ｃｂ_max、かつε４×Ｃｒ_max＜Ｃｒ＜ε５×Ｃｒ_maxを満たさないと判定した場合（ステップＳ２：Ｎｏ）、制御部９２４４は、第１演算部９２４１の演算結果をガンマ補正部９２７に出力する（ステップＳ３）。一方、判定部９２４３が、ε１×Ｙ_ｍａｘ＜Ｙ＜ε２×Ｙ_ｍａｘ、Ｃｂ＞ε３×Ｃｂ_max、かつε４×Ｃｒ_max＜Ｃｒ＜ε５×Ｃｒ_maxを満たすと判定した場合（ステップＳ２：Ｙｅｓ）、制御部９２４４は、第２演算部９２４２の演算結果をガンマ補正部９２７に出力する（ステップＳ４）。このようにすることで、ある特定の色再現だけが悪い場合に、それを低減することができる。

（実施の形態２）
実施の形態２に係る画像処理装置において、リニアマトリクス演算部以外の構成は、実施の形態１と同様であるから説明を省略する。

〔リニアマトリクス演算部の構成〕
図６は、実施の形態２に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。図６に示すように、リニアマトリクス演算部９２４Ａは、算出部９２４３Ａと、制御部９２４４Ａと、を有する。なお、実施の形態１と同様の構成には実施の形態１と同一の符号を付し、説明を省略する。

算出部９２４３Ａは、演算部の演算結果に応じて演算部の演算結果を合成する比率を算出する。算出部９２４３Ａは、例えば、第１演算部９２４１の演算結果を用いて算出される輝度Ｙに応じて演算部の演算結果を合成する比率を算出する。具体的には、算出部９２４３Ａは、リニアマトリクス演算部９２４Ａが第１演算部９２４１の演算結果を出力し、ガンマ補正部９２７、ＹＣ変換部９２８がそれぞれ演算を行った結果として生成される画像信号（Ｙ，Ｃｂ，Ｃｒ）の輝度Ｙに応じて演算部の演算結果を合成する比率を算出する。算出部９２４３Ａは、輝度Ｙが負である場合、第２演算部９２４２の比率を１００％と算出する。また、算出部９２４３Ａは、輝度Ｙがゼロ以上である場合、輝度Ｙが大きいほど第１演算部９２４１の比率を大きくするように合成する比率を算出する。

制御部９２４４Ａは、算出部９２４３Ａが算出した比率に基づいて、演算部（第１演算部９２４１及び第２演算部９２４２）の演算結果を合成して出力する。

制御部９２４４Ａは、合成部９２４４Ａａを有する。合成部９２４４Ａａは、第１演算部９２４１及び第２演算部９２４２の演算結果を合成する。例えば、第１演算部９２４１の比率が８０％、第２演算部９２４２の比率が２０％であり、第１演算部９２４１の演算結果（Ｒ_ｌｍｔ１，Ｇ_ｌｍｔ１，Ｂ_ｌｍｔ１）、第２演算部９２４２の演算結果（Ｒ_ｌｍｔ２，Ｇ_ｌｍｔ２，Ｂ_ｌｍｔ２）が入力された場合、合成部９２４４Ａａは、合成結果（Ｒ_ｌｍｔ３，Ｇ_ｌｍｔ３，Ｂ_ｌｍｔ３）＝（０．８×Ｒ_ｌｍｔ１＋０．２×Ｒ_ｌｍｔ２，０．８×Ｇ_ｌｍｔ１＋０．２×Ｇ_ｌｍｔ２，０．８×Ｂ_ｌｍｔ１＋０．２×Ｂ_ｌｍｔ２）をガンマ補正部９２７に出力する。

〔リニアマトリクス演算処理〕
図７は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。図７に示すように、まず、第１演算部９２４１及び第２演算部９２４２は、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ１１）。

続いて、算出部９２４３Ａは、第１演算部９２４１の演算結果を用いて算出される輝度Ｙに応じて演算部の演算結果を合成する比率を算出する（ステップＳ１２）。

その後、制御部９２４４Ａは、算出部９２４３Ａが算出した比率に基づいて、第１演算部９２４１及び第２演算部９２４２の演算結果を合成してガンマ補正部９２７に出力する（ステップＳ１３）。

以上説明した実施の形態２によれば、第１演算部９２４１の演算結果を用いて算出される輝度Ｙがゼロ以上の場合、輝度Ｙが大きいほど第１演算部９２４１の比率を大きくするため、滑らかに色を変えることにより自然に色を表現でき、色再現性をさらに向上させることができる。また、実施の形態２によれば、第１演算部９２４１の演算結果を用いて算出される輝度Ｙが負の場合、第２演算部９２４２の比率を１００％として演算結果を出力するため、輝度Ｙが負になる誤作動を防止することができる。

（実施の形態３）
実施の形態３に係る画像処理装置において、リニアマトリクス演算部以外の構成は、実施の形態１と同様であるから説明を省略する。

〔リニアマトリクス演算部の構成〕
図８は、実施の形態３に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。図８に示すように、リニアマトリクス演算部９２４Ｂは、判定部９２４３Ｂと、制御部９２４４Ｂと、を有する。なお、実施の形態１と同様の構成には実施の形態１と同一の符号を付し、説明を省略する。

判定部９２４３Ｂは、画像信号が所定の条件を満たすか否かを判定する。判定部９２４３Ｂは、例えば、画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負であるか否かを判定する。その結果、判定部９２４３Ｂは、予め輝度Ｙを負にする画像信号を検出する。なお、第１演算部９２４１のマトリクス係数を用いて、予め輝度Ｙを負にする画像信号を計算しておくことができる。この計算結果をテーブルとして記憶部９７に記憶し、判定部９２４３Ｂは、このテーブルを参照することにより判定を行うことができる。

制御部９２４４Ｂは、判定部９２４３Ｂの判定結果に応じて選択した演算部（第１演算部９２４１又は第２演算部９２４２のどちらか一方）の演算結果を出力する。具体的には、制御部９２４４Ｂは、判定部９２４３Ｂが画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負ではないと判定した場合、第１演算部９２４１の演算結果をガンマ補正部９２７に出力する。一方、制御部９２４４Ｂは、判定部９２４３Ｂが画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負であると判定した場合、第２演算部９２４２の演算結果をガンマ補正部９２７に出力する。

〔リニアマトリクス演算処理〕
図９は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。図９に示すように、まず、判定部９２４３Ｂは、画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負であるか否かを判定する（ステップＳ２１）。

判定部９２４３Ｂが、画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負ではないと判定した場合（ステップＳ２１：Ｎｏ）、第１演算部９２４１は、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ２２）。

その後、制御部９２４４Ｂは、第１演算部９２４１の演算結果をガンマ補正部９２７に出力する（ステップＳ２３）。

ステップＳ２１において、判定部９２４３Ｂが、画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負であると判定した場合（ステップＳ２１：Ｙｅｓ）、第２演算部９２４２は、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ２４）。

その後、制御部９２４４Ｂは、第２演算部９２４２の演算結果をガンマ補正部９２７に出力する（ステップＳ２５）。

以上説明した実施の形態３によれば、画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負ではない場合には、第１演算部９２４１の演算結果がガンマ補正部９２７に出力されるため、色再現性が十分よく、画像信号を第１演算部９２４１に入力した場合の演算結果を用いて算出される輝度Ｙが負である場合には、第２演算部９２４２の演算結果がガンマ補正部９２７に出力されるため、輝度Ｙが負になる誤作動を防止することができる。

なお、図９のステップＳ２１では、判定部９２４３Ｂが、輝度Ｙが負になるか否かを判定したが、実施の形態１に示すように、Ｒ_ｌｍｔ１＞Ｒ_ｍａｘ×δ１、Ｇ_ｌｍｔ１＞Ｇ_ｍａｘ×δ１、かつＢ_ｌｍｔ１＞Ｂ_ｍａｘ×δ１を満たすか否かを判定してもよいし、Ｒ_ｌｍｔ１＜Ｒ_ｍａｘ×δ２、Ｇ_ｌｍｔ１＜Ｇ_ｍａｘ×δ２、かつＢ_ｌｍｔ１＜Ｂ_ｍａｘ×δ２を満たすか否かを判定してもよい。また、判定部９２４３Ｂが、ε１×Ｙ_ｍａｘ＜Ｙ＜ε２×Ｙ_ｍａｘ、Ｃｂ＞ε３×Ｃｂ_max、かつε４×Ｃｒ_max＜Ｃｒ＜ε５×Ｃｒ_maxを満たすか否かを判定してもよい。

実施の形態３に示すように、演算部に入力される画像信号を用いて、どの演算部の演算結果を出力するかを判定してもよい。同様に、実施の形態２のように制御部が合成部を有する場合においても、演算部に入力される画像信号を用いて、演算部の演算結果を合成する比率を算出してもよい。

（実施の形態４）
実施の形態４に係る画像処理装置において、リニアマトリクス演算部以外の構成は、実施の形態１と同様であるから説明を省略する。

〔リニアマトリクス演算部の構成〕
図１０は、実施の形態４に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。図１０に示すように、リニアマトリクス演算部９２４Ｃは、第１演算部９２４１Ｃと、第２演算部９２４２Ｃと、第３演算部９２４３Ｃと、判定部９２４４Ｃと、制御部９２４５Ｃと、を有する。

第１演算部９２４１Ｃは、所定のマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。第１演算部９２４１Ｃのマトリクス係数は、例えば赤色について最適化した係数に設定されている。以下において、第１演算部９２４１Ｃが最適化した色を第１色（Ｒ_ｍｔｘ１，Ｇ_ｍｔｘ１１，Ｂ_ｍｔｘ１）とする。

第２演算部９２４２Ｃは、所定のマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。第２演算部９２４２Ｃのマトリクス係数は、例えば青色について最適化した係数に設定されている。以下において、第２演算部９２４２Ｃが最適化した色を第２色（Ｒ_ｍｔｘ２，Ｇ_ｍｔｘ２，Ｂ_ｍｔｘ２）とする。

第３演算部９２４３Ｃは、所定のマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。第３演算部９２４３Ｃのマトリクス係数は、例えば赤色及び青色以外の色について最適化した係数に設定されている。ただし、第３演算部９２４３Ｃのマトリクス係数は、単位行列とされていてもよい。

判定部９２４４Ｃは、画像信号が所定の条件を満たすか否かを判定する。判定部９２４４Ｃは、例えば、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１、又はＲ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たすか否かを判定する。また、判定部９２４４Ｃは、第１色（Ｒ_ｍｔｘ１，Ｇ_ｍｔｘ１，Ｂ_ｍｔｘ１）、第２色（Ｒ_ｍｔｘ２，Ｇ_ｍｔｘ２，Ｂ_ｍｔｘ２）、及び画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）をベクトルとして扱い、第１色（Ｒ_ｍｔｘ１，Ｇ_ｍｔｘ１，Ｂ_ｍｔｘ１）と画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）との距離Ｌ１、又は第２色（Ｒ_ｍｔｘ２，Ｇ_ｍｔｘ２，Ｂ_ｍｔｘ２）と画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）との距離Ｌ２が所定の閾値以下であるか否かを判定してもよい。この距離Ｌ１は、Ｌ１＝√（（Ｒ_ｍｔｘ１−Ｒ_ｉｍｇ）^２＋（Ｇ_ｍｔｘ１−Ｇ_ｉｍｇ）^２＋（Ｂ_ｍｔｘ１−Ｂ_ｉｍｇ）^２）により算出され、距離Ｌ２は、Ｌ２＝√（（Ｒ_ｍｔｘ２−Ｒ_ｉｍｇ）^２＋（Ｇ_ｍｔｘ２−Ｇ_ｉｍｇ）^２＋（Ｂ_ｍｔｘ２−Ｂ_ｉｍｇ）^２）により算出される。距離Ｌ１又は距離Ｌ２が所定の閾値以下であるか否かを判定することにより、第１演算部９２４１Ｃが最適化した第１色、又は第２演算部９２４２Ｃが最適化した第２色に比較的近い色であるか否かを判定することができる。

制御部９２４５Ｃは、判定部９２４４Ｃの判定結果に応じて選択した演算部（第１演算部９２４１Ｃ、第２演算部９２４２Ｃ又は第３演算部９２４３Ｃのいずれか１つ）の演算結果を出力する。具体的には、制御部９２４５Ｃは、判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１を満たすと判定した場合、第１演算部９２４１Ｃの演算結果をガンマ補正部９２７に出力する。また、制御部９２４５Ｃは、判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たすと判定した場合、第２演算部９２４２Ｃの演算結果をガンマ補正部９２７に出力する。また、制御部９２４５Ｃは、判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１及びＲ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２のどちらも満たさないと判定した場合、第３演算部９２４３Ｃの演算結果をガンマ補正部９２７に出力する。また、制御部９２４５Ｃは、距離Ｌ１が所定の閾値以下である場合、第１演算部９２４１Ｃの演算結果をガンマ補正部９２７に出力し、距離Ｌ２が所定の閾値以下である場合、第２演算部９２４２Ｃの演算結果をガンマ補正部９２７に出力し、距離Ｌ１及び距離Ｌ２の双方が所定の閾値より大きい場合、第３演算部９２４３Ｃの演算結果をガンマ補正部９２７に出力してもよい。

〔リニアマトリクス演算処理〕
図１１は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。図１１に示すように、まず、判定部９２４４Ｃは、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１を満たすか否かを判定する（ステップＳ３１）。なお、判定部９２４４Ｃは、距離Ｌ１が第１閾値Ｔ_ｏ１以下になるか否かを判定してもよい。具体的には、判定部９２４４Ｃは、距離Ｌ１が第１閾値Ｔ_ｏ１以下の場合、Ｒ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１を満たすと判定し、距離Ｌ１が第１閾値Ｔ_ｏ１より大きい場合、Ｒ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１を満たさないと判定する。

判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１を満たすと判定した場合（ステップＳ３１：Ｙｅｓ）、第１演算部９２４１Ｃは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ３２）。

その後、制御部９２４５Ｃは、第１演算部９２４１Ｃの演算結果をガンマ補正部９２７に出力する（ステップＳ３３）。

ステップＳ３１において、判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ１，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ１，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ１を満たさないと判定した場合（ステップＳ３１：Ｎｏ）、判定部９２４４Ｃは、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たすか否かを判定する（ステップＳ３４）。なお、判定部９２４４Ｃは、距離Ｌ２が第２閾値Ｔ_ｏ２以下になるか否かを判定してもよい。具体的には、判定部９２４４Ｃは、距離Ｌ２が第２閾値Ｔ_ｏ２以下の場合、Ｒ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たすと判定し、距離Ｌ２が第２閾値Ｔ_ｏ２より大きい場合、Ｒ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たさないと判定する。

判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たすと判定した場合（ステップＳ３４：Ｙｅｓ）、第２演算部９２４２Ｃは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ３５）。

その後、制御部９２４５Ｃは、第２演算部９２４２Ｃの演算結果をガンマ補正部９２７に出力する（ステップＳ３６）。

ステップＳ３４において、判定部９２４４Ｃが、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）がＲ_ｉｍｇ≒Ｒ_ｍｔｘ２，Ｇ_ｉｍｇ≒Ｇ_ｍｔｘ２，Ｂ_ｉｍｇ≒Ｂ_ｍｔｘ２を満たさないと判定した場合（ステップＳ３４：Ｎｏ）、第３演算部９２４３Ｃは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ３７）。

その後、制御部９２４５Ｃは、第３演算部９２４３Ｃの演算結果をガンマ補正部９２７に出力する（ステップＳ３８）。

以上説明した実施の形態３によれば、入力色に応じて最適なマトリクス係数を用いてリニアマトリクス演算を行うことができるため、さらに色再現性を向上させることができる。なお、実施の形態３では、３つの演算部を有する例を説明したが、演算部は４つ以上であってもよい。

また、実施の形態２のように、演算部の演算結果を合成する場合にも、複数の演算部の演算結果を合成してもよい。この場合におけるリニアマトリクス演算部９２４Ｃが実行する処理の概要を示すフローチャートを図１２に示す。なお、リニアマトリクス演算部の構成は、略同じのため説明を省略する。

図１２に示すように、まず、判定部９２４４Ｃは、距離Ｌ１が第１閾値Ｔ_ｏ１以内であるか否かを判定する（ステップＳ５１）。

判定部９２４４Ｃが、距離Ｌ１が第１閾値Ｔ_ｏ１以内であると判定した場合（ステップＳ５１：Ｙｅｓ）、判定部９２４４Ｃは、距離Ｌ１が第３閾値Ｔ_ｉ１（Ｔ_ｉ１＜Ｔ_ｏ１）以内であるか否かを判定する（ステップＳ５２）。

判定部９２４４Ｃが、距離Ｌ１が第３閾値Ｔ_ｉ１以内であると判定した場合（ステップＳ５２：Ｙｅｓ）、第１演算部９２４１Ｃは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ５３）。

その後、制御部９２４５Ｃは、第１演算部９２４１Ｃの演算結果をガンマ補正部９２７に出力する（ステップＳ５４）。

判定部９２４４Ｃは、距離Ｌ１が第３閾値Ｔ_ｉ１より大きいと判定した場合（ステップＳ５２：Ｎｏ）、第１演算部９２４１Ｃと第３演算部９２４３Ｃとは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ５５）。

その後、制御部９２４５Ｃは、第１演算部９２４１Ｃ及び第３演算部９２４３Ｃの演算結果を合成するための合成比率α（０≦α≦１）を、距離Ｌ１に基づいて算出する（ステップＳ５６）。例えば、合成比率αは、距離Ｌ１が大きいほど小さくなるような値に設定する。

制御部９２４５Ｃは、合成比率αに基づき、第１演算部９２４１Ｃの演算結果（Ｒ_{ｌｍｔｏｕｔ}１，Ｇ_{ｌｍｔｏｕｔ}１，Ｂ_{ｌｍｔｏｕｔ}１）と第３演算部９２４３Ｃの演算結果（Ｒ_{ｌｍｔｏｕｔ}３，Ｇ_{ｌｍｔｏｕｔ}３，Ｂ_{ｌｍｔｏｕｔ}３）とを合成し、合成結果｛Ｒ_{ｌｍｔｏｕｔ}１×α＋Ｒ_{ｌｍｔｏｕｔ}３×（１−α），Ｇ_{ｌｍｔｏｕｔ}１×α＋Ｇ_{ｌｍｔｏｕｔ}３×（１−α），Ｂ_{ｌｍｔｔｏｕ}１×α＋Ｂ_{ｌｍｔｏｕｔ}３×（１−α）｝をガンマ補正部９２７に出力する（ステップＳ５７）。

判定部９２４４Ｃが、距離Ｌ１が第１閾値Ｔ_ｏ１よりも大きいと判定した場合（ステップＳ５１：Ｎｏ）、距離Ｌ２が第２閾値Ｔ_ｏ２以内であるか否かを判定する（ステップＳ５８）。

判定部９２４４Ｃが、距離Ｌ２が第２閾値Ｔ_ｏ２以内であると判定した場合（ステップＳ５８：Ｙｅｓ）、判定部９２４４Ｃは、距離Ｌ２が第４閾値Ｔ_ｉ２（Ｔ_ｉ２＜Ｔ_ｏ２）以内であるか否かを判定する（ステップＳ５９）。

判定部９２４４Ｃが、距離Ｌ２が第４閾値Ｔ_ｉ２以内であると判断した場合（ステップＳ５９：Ｙｅｓ）、第２演算部９２４２Ｃは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ６０）。

その後、制御部９２４５Ｃは、第２演算部９２４２Ｃの演算結果をガンマ補正部９２７に出力する（ステップＳ６１）。

判定部９２４４Ｃが、距離Ｌ２が第４閾値Ｔ_ｉ２をより大きいと判断した場合（ステップＳ５９：Ｎｏ）、第２演算部９２４２Ｃと第３演算部９２４３Ｃとは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ６２）。

その後、制御部９２４５Ｃは、第２演算部９２４２Ｃ及び第３演算部９２４３Ｃの演算結果を合成するための合成比率β（０≦β≦１）を、距離Ｌ２に基づいて算出する（ステップＳ６３）。例えば、合成比率βは、距離Ｌ２が大きいほど小さくなるような値に設定する。

制御部９２４５Ｃは、合成比率βに基づき、第２演算部９２４２Ｃの演算結果（Ｒ_{ｌｍｔｏｕｔ}２，Ｇ_{ｌｍｔｏｕｔ}２，Ｂ_{ｌｍｔｔｏｕ}２）と第３演算部９２４３Ｃの演算結果（Ｒ_{ｌｍｔｏｕｔ}３，Ｇ_{ｌｍｔｏｕｔ}３，Ｂ_{ｌｍｔｏｕｔ}３）とを合成し、合成結果｛Ｒ_{ｌｍｔｏｕｔ}２×β＋Ｒ_{ｌｍｔｏｕｔ}３×（１−β），Ｇ_{ｌｍｔｏｕｔ}２×β＋Ｇ_{ｌｍｔｏｕｔ}３×（１−β），Ｂ_{ｌｍｔｏｕｔ}２×β＋Ｂ_{ｌｍｔｏｕｔ}３×（１−β）｝をガンマ補正部９２７に出力する（ステップＳ６４）。

判定部９２４４Ｃが、距離Ｌ２が第２閾値Ｔ_ｏ２よりも大きいと判定した場合（ステップＳ５８：Ｎｏ）、第３演算部９２４３Ｃは、ＲＧＢ信号である入力された画像信号に対して、マトリクス係数を乗算するマトリクス演算を行う（ステップＳ６５）。

その後、制御部９２４５Ｃは、第３演算部９２４３Ｃの演算結果をガンマ補正部９２７に出力する（ステップＳ６６）。

このように、入力された画像信号（Ｒ_ｉｍｇ，Ｇ_ｉｍｇ，Ｂ_ｉｍｇ）が、第１色（Ｒ_ｍｔｘ１，Ｇ_ｍｔｘ１，Ｂ_ｍｔｘ１）もしくは第２色（Ｒ_ｍｔｘ２，Ｇ_ｍｔｘ２，Ｂ_ｍｔｘ２）と、どの程度近い色かによって、合成比率（α，β）を算出する。また、算出した合成比率によって演算部（第１演算部９２４１Ｃ、第２演算部９２４２Ｃ、第３演算部９２４３Ｃ）からの出力を、合成するので、さらに色再現性を向上させることができる。

（実施の形態５）
実施の形態５に係る画像処理装置において、リニアマトリクス演算部以外の構成は、実施の形態１と同様であるから説明を省略する。

〔リニアマトリクス演算部の構成〕
図１２は、実施の形態５に係る画像処理装置におけるリニアマトリクス演算部の構成を説明する図である。図１２に示すように、リニアマトリクス演算部９２４Ｄは、判定部９２４１Ｄと、演算部９２４２Ｄと、係数変調部９２４３Ｄと、を有する。

判定部９２４１Ｄは、画像信号が所定の条件を満たすか否かを判定する。判定部９２４１Ｄは、例えば、画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負であるか否かを判定する。その結果、判定部９２４１Ｄは、予め輝度Ｙを負にする画像信号を検出する。なお、演算部９２４２Ｄの予め設定されているマトリクス係数を用いて、予め輝度Ｙを負にする画像信号を計算しておくことができる。この計算結果をテーブルとして記憶部９７に記憶し、判定部９２４１Ｄは、このテーブルを参照することにより判定を行うことができる。

演算部９２４２Ｄは、所定のマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。具体的には、演算部９２４２Ｄは、予め設定されたマトリクス係数、又は係数変調部９２４３Ｄが変調させたマトリクス係数を用いて画像信号にリニアマトリクス演算を行う。

係数変調部９２４３Ｄは、判定部９２４１Ｄの判定結果に応じて係数変調部９２４３Ｄのマトリクス係数を変調させる。具体的には、係数変調部９２４３Ｄは、判定部９２４１Ｄが画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負ではないと判定した場合、演算部９２４２Ｄのマトリクス係数の変調は行わない。一方、係数変調部９２４３Ｄは、判定部９２４１Ｄが画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負であると判定した場合、演算部９２４２Ｄのマトリクス係数を変調させる。このとき、係数変調部９２４３Ｄは、演算部９２４２Ｄのマトリクス係数を例えば単位行列に変調するが、変調の態様は特に限定されない。

〔リニアマトリクス演算処理〕
図１３は、リニアマトリクス演算部が実行する処理の概要を示すフローチャートである。図１３に示すように、まず、判定部９２４１Ｄは、画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負であるか否かを判定する（ステップＳ４１）。

判定部９２４１Ｄが、画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負ではないと判定した場合（ステップＳ４１：Ｎｏ）、演算部９２４２Ｄは、ＲＧＢ信号である入力された画像信号に対して、予め設定されたマトリクス係数を乗算するマトリクス演算を行う（ステップＳ４２）。

演算部９２４２Ｄが、画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負であると判定した場合（ステップＳ４１：Ｙｅｓ）、係数変調部９２４３Ｄは、演算部９２４２Ｄのマトリクス係数を例えば単位行列に変調させる（ステップＳ４３）。

その後、演算部９２４２Ｄは、ＲＧＢ信号である入力された画像信号に対して、係数変調部９２４３Ｄが変調させたマトリクス係数を乗算するマトリクス演算を行う（ステップＳ４２）。

以上説明した実施の形態５によれば、画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負ではない場合には、予め設定されたマトリクス係数による演算結果がガンマ補正部９２７に出力されるため、色再現性が十分よく、画像信号を演算部９２４２Ｄに入力した場合の演算結果を用いて算出される輝度Ｙが負である場合には、単位行列であるマトリクス係数による演算結果がガンマ補正部９２７に出力されるため、輝度Ｙが負になる誤作動を防止することができる。実施の形態５に示すように、マトリクス係数を変調させる場合、演算部は１つとしてもよい。

なお、図１３のステップＳ４１では、判定部９２４１Ｄが、輝度Ｙが負になるか否かを判定したが、実施の形態１と同様に、判定部９２４１Ｄが、演算部９２４２Ｄの演算結果（Ｒ_ｌｍｔ，Ｇ_ｌｍｔ，Ｂ_ｌｍｔ）がＲ_ｌｍｔ＞Ｒ_ｍａｘ×δ１、Ｇ_ｌｍｔ＞Ｇ_ｍａｘ×δ１、かつＢ_ｌｍｔ＞Ｂ_ｍａｘ×δ１を満たすか否かを判定してもよいし、Ｒ_ｌｍｔ＜Ｒ_ｍａｘ×δ２、Ｇ_ｌｍｔ＜Ｇ_ｍａｘ×δ２、かつＢ_ｌｍｔ＜Ｂ_ｍａｘ×δ２を満たすか否かを判定してもよい。

また、判定部９２４１Ｄが、輝度Ｙが負になるか否かを判定したが、これに代えて、ε１×Ｙ_ｍａｘ＜Ｙ＜ε２×Ｙ_ｍａｘ、Ｃｂ＞ε３×Ｃｂ_max、かつε４×Ｃｒ_max＜Ｃｒ＜ε５×Ｃｒ_maxを満たすか否かを判定してもよい。

また、上述した実施の形態では、内視鏡により撮像された画像信号が入力され、この画像信号に画像処理を施す画像処理装置に適用する例を説明したが、カメラやビデオ、顕微鏡等の撮像装置により撮像された画像信号に画像処理を施す画像処理装置に適用してもよい。

以上、添付図面を参照しながら本開示の好適な実施の形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部又は全部が別々の装置として実現されても良い。例えば、制御装置９は、単独の装置として実現されてもよい。また、例えば、制御装置９が、表示装置７とネットワーク等で接続されたサーバ装置として実現されてもよい。

また、本明細書において説明した制御装置９は、各構成要素の一部又は全部が別々の装置として実現されることでシステムとして構成されてもよい。例えば、制御装置９は光源及び撮像装置を備え、制御部は外部装置により実現されるシステムであってもよい。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行うリニアマトリクス演算部を備える画像処理装置。
（２）
前記リニアマトリクス演算部は、
互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
前記演算部の演算結果が所定の条件を満たすか否かを判定する判定部と、
前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、
を有する前記（１）に記載の画像処理装置。
（３）
前記所定の条件は、前記演算部の演算結果を用いて算出される輝度が負であるか否かである前記（２）に記載の画像処理装置。
（４）
前記所定の条件は、前記演算部の演算結果を用いて算出される輝度と前記演算部の演算結果を用いて算出される色差とが、所定の条件を満たすか否かである前記（２）に記載の画像処理装置。
（５）
前記リニアマトリクス演算部は、
互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
前記演算部の演算結果に応じて前記演算部の演算結果を合成する比率を算出する算出部と、
前記算出部が算出した比率に基づいて、前記演算部の演算結果を合成して出力する制御部と、
を有する前記（１）に記載の画像処理装置。
（６）
前記リニアマトリクス演算部は、
前記画像信号が所定の条件を満たすか否かを判定する判定部と、
互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、
を有する前記（１）に記載の画像処理装置。
（７）
前記所定の条件は、前記画像信号を前記演算部に入力した場合の演算結果を用いて算出される輝度が負であるか否かである前記（６）に記載の画像処理装置。
（８）
前記所定の条件は、前記画像信号を前記演算部に入力した場合の演算結果を用いて算出される輝度と前記画像信号を前記演算部に入力した場合の演算結果とを用いて算出される色差とが、所定の条件を満たすか否かである前記（６）に記載の画像処理装置。
（９）
前記リニアマトリクス演算部は、
互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
前記画像信号に応じて前記演算部の演算結果を合成する比率を算出し、前記比率に基づいて、前記演算部の演算結果を合成して出力する制御部と、
を有する前記（１）に記載の画像処理装置。
（１０）
前記リニアマトリクス演算部は、
前記画像信号が所定の条件を満たすか否かを判定する判定部と、
前記画像信号にリニアマトリクス演算を行う演算部と、
前記判定部の判定結果に応じて前記演算部のマトリクス係数を変調させる係数変調部と、
を有する前記（１）に記載の画像処理装置。
（１１）
前記リニアマトリクス演算部は、前記画像信号が所定の条件を満たす場合、前記画像信号を出力する前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行う画像処理方法。

１ 観察装置
２ 挿入部
３ 光源装置
４ ライトガイド
５ カメラヘッド
６ 第１伝送ケーブル
７ 表示装置
８ 第２伝送ケーブル
９ 制御装置
１０ 第３伝送ケーブル
２１ 接眼部
９１ 通信部
９２ 画像処理部
９３ 表示制御部
９４ 制御部
９５ 入力部
９６ 出力部
９７ 記憶部
２００ 表示装置
９２４、９２４Ａ、９２４Ｂ、９２４Ｃ、９２４Ｄ リニアマトリクス演算部
９２７ ガンマ補正部
９２８ ＹＣ変換部
１０００ 観察システム
９２４１、９２４１Ｃ 第１演算部
９２４２、９２４２Ｃ 第２演算部
９２４２Ｄ 係数変調部
９２４３、９２４３Ｂ、９２４４Ｃ、９２４１Ｄ 判定部
９２４３Ａ 算出部
９２４３Ｃ 第３演算部
９２４３Ｄ 演算部
９２４４、９２４４Ａ、９２４４Ｂ、９２４５Ｃ 制御部
９２４４Ａａ 合成部

Claims (12)

1. 入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行うリニアマトリクス演算部を備える画像処理装置。
2. 前記リニアマトリクス演算部は、
   互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
   前記演算部の演算結果が所定の条件を満たすか否かを判定する判定部と、
   前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、
   を有する請求項１に記載の画像処理装置。
3. 前記所定の条件は、前記演算部の演算結果を用いて算出される輝度が負であるか否かである請求項２に記載の画像処理装置。
4. 前記所定の条件は、前記演算部の演算結果を用いて算出される輝度と前記演算部の演算結果を用いて算出される色差とが、所定の条件を満たすか否かである請求項２に記載の画像処理装置。
5. 前記リニアマトリクス演算部は、
   互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
   前記演算部の演算結果に応じて前記演算部の演算結果を合成する比率を算出する算出部と、
   前記算出部が算出した比率に基づいて、前記演算部の演算結果を合成して出力する制御部と、
   を有する請求項１に記載の画像処理装置。
6. 前記リニアマトリクス演算部は、
   前記画像信号が所定の条件を満たすか否かを判定する判定部と、
   互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
   前記判定部の判定結果に応じて選択した前記演算部の演算結果を出力する制御部と、
   を有する請求項１に記載の画像処理装置。
7. 前記所定の条件は、前記画像信号を前記演算部に入力した場合の演算結果を用いて算出される輝度が負であるか否かである請求項６に記載の画像処理装置。
8. 前記所定の条件は、前記画像信号を前記演算部に入力した場合の演算結果を用いて算出される輝度と前記画像信号を前記演算部に入力した場合の演算結果とを用いて算出される色差とが、所定の条件を満たすか否かである請求項６に記載の画像処理装置。
9. 前記リニアマトリクス演算部は、
   互いに異なるマトリクス係数により前記画像信号にリニアマトリクス演算を行う複数の演算部と、
   前記画像信号に応じて前記演算部の演算結果を合成する比率を算出し、前記比率に基づいて、前記演算部の演算結果を合成して出力する制御部と、
   を有する請求項１に記載の画像処理装置。
10. 前記リニアマトリクス演算部は、
    前記画像信号が所定の条件を満たすか否かを判定する判定部と、
    前記画像信号にリニアマトリクス演算を行う演算部と、
    前記判定部の判定結果に応じて前記演算部のマトリクス係数を変調させる係数変調部と、
    を有する請求項１に記載の画像処理装置。
11. 前記リニアマトリクス演算部は、前記画像信号が所定の条件を満たす場合、前記画像信号を出力する請求項１に記載の画像処理装置。
12. 入力された画像信号に応じてマトリクス係数を設定し、設定したマトリクス係数を用いて前記画像信号にリニアマトリクス演算を行う画像処理方法。

Images