JP2021170767A - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

Abstract

【課題】画像の品質の低下を抑制できる画像処理装置を提供する。【解決手段】画像処理装置１０は、イメージセンサから得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出する演算部１２と、第１の複数の色の信号値を用いて、第１の複数の色の少なくとも１つが飽和しているか否かを判定する飽和判定部１４と、飽和判定部１４によって第１の複数の色の少なくとも１つが飽和していると判定された場合、第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する補正部１６とを備える。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、および画像処理システムに関する。

従来、全波長を透過する白画素と、第１の波長より高い波長領域をカットする多層膜またはフォトニック結晶を有する第１の色分離画素と、第１の波長より高い第２の波長より高い波長領域をカットする多層膜またはフォトニック結晶を有する第２の色分離画素とを備える装置が開示されている（特許文献１参照）。

特開２００８−２０５９４０号公報

しかしながら、上記特許文献１の装置では、色飽和が発生すると、生成された画像が実際の色とは異なる色に着色され、画像の品質が低下するという課題がある。

そこで、本開示は、画像の品質の低下を抑制できる画像処理装置、画像処理方法、および画像処理システムを提供する。

本開示の一態様に係る画像処理装置は、イメージセンサから得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出する演算部と、前記第１の複数の色の信号値を用いて、前記第１の複数の色の少なくとも１つが飽和しているか否かを判定する飽和判定部と、前記飽和判定部によって前記第１の複数の色の少なくとも１つが飽和していると判定された場合、前記第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する補正部とを備える。

本開示の一態様に係る画像処理方法は、イメージセンサから得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出し、前記第１の複数の色の信号値を用いて、前記第１の複数の色の少なくとも１つが飽和しているか否かを判定し、前記第１の複数の色の少なくとも１つが飽和していると判定された場合、前記第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する。

本開示の一態様に係る画像処理システムは、上記の画像処理装置を複数備え、前記複数の画像処理装置は、互いに露光時間の異なる撮像によって得られた複数の露光画像であって、前記第１の複数の色の信号値によって形成される複数の露光画像を処理する。

本開示の画像処理装置、画像処理方法、および画像処理システムは、画像の品質の低下を抑制できる。

図１は、実施の形態１における画像処理装置を示すブロック図である。 図２は、図１の画像処理装置の補正部による補正について説明するための図であり、補正の対象とならない１以上の色の信号値の平均値を、補正の対象となる色の補正後の信号値とする場合について説明するための図である。 図３は、図１の画像処理装置の補正部による補正について説明するための図であり、補正の対象となる色の信号値を、補正の対象となる色の補正後の信号値とする場合について説明するための図である。 図４は、図１の画像処理装置の飽和判定部の動作の一例を示すフロー図である。 図５は、図１の画像処理装置の補正部の動作の一例を示すフロー図である。 図６は、実施の形態２における画像処理装置を示すブロック図である。 図７は、図６の画像処理装置の平滑化フィルタによる空間方向の平滑化処理を説明するための図である。 図８は、図６の画像処理装置の平滑化フィルタによる時間方向の平滑化処理を説明するための図である。 図９は、実施の形態３における画像処理システムを示すブロック図である。 図１０は、実施の形態４における画像処理システムを示すブロック図である。 図１１は、補間フィルタの一例を説明するための図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
実施の形態１における画像処理装置１０について説明する。

図１は、実施の形態１における画像処理装置１０を示すブロック図である。図１を参照して、画像処理装置１０の機能構成について説明する。

図１に示すように、画像処理装置１０は、演算部１２と、飽和判定部１４と、補正部１６とを備える。たとえば、演算部１２、飽和判定部１４、および補正部１６は、回路等によって実現される。

演算部１２は、イメージセンサ（図示せず）から得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出する。信号値とは、色空間を表現する成分の値であり、たとえば、輝度および色差等である。また、たとえば、色空間は、ＲＧＢ色空間、およびＹＵＶ色空間等である。

イメージセンサは、並んで配列される複数の画素（図示せず）を有している。複数の画素はそれぞれ、受光した光の光量に応じた信号値を出力する。実施の形態１では、複数の画素は、複数の赤画素、複数の青画素、および複数の白画素で構成されている。赤画素は、赤色の波長領域の光を透過させるフィルタを透過した光を受光し、受光した光の光量に応じた信号値を出力する。青画素は、青色の波長領域の光を透過させるフィルタを透過した光を受光し、受光した光の光量に応じた信号値を出力する。白画素は、全波長領域の光を透過させるフィルタを透過した光を受光し、受光した光の光量に応じた信号値を出力する。なお、白画素は、フィルタを透過していない光を受光し、受光した光の光量に応じた信号値を出力してもよい。たとえば、赤色の波長領域は、６２０ｎｍ〜７５０ｎｍであり、青色の波長領域は、４５０ｎｍ〜４９５ｎｍであり、全波長領域は、可視光の波長領域の全領域である。

演算部１２は、イメージセンサの赤画素から出力される赤色の信号値、およびイメージセンサの青画素から出力される青色の信号値を取得する。また、演算部１２は、イメージセンサの白画素から出力される信号値であって、全波長領域の光を透過させるフィルタを透過しかつイメージセンサに受光された光の色の信号値を取得する。このように、実施の形態１では、第１の複数の色は、赤色、青色、および全波長領域の光を透過させるフィルタを透過しかつイメージセンサに受光された光の色である。なお、以下の説明では、全波長領域の光を透過させるフィルタを透過しかつイメージセンサに受光された光の色を、クリアと呼ぶ場合がある。

演算部１２は、イメージセンサから取得した赤色の信号値、青色の信号値、およびクリアの信号値を用いて、赤色の信号値、青色の信号値、および緑色の信号値を算出する。このように、実施の形態１では、第２の複数の色は、赤色、青色、および緑色であり、演算部１２は、イメージセンサから得られる第１の複数の色の信号値を用いて、第１の複数の色にはない色の信号値を算出する。なお、以下の説明では、第１の複数の色のうち、赤色の信号値をＲで示し、青色の信号値をＢで示し、クリアの信号値をＣで示す場合がある。また、以下の説明では、第２の複数の色のうち、赤色の信号値をＲ１で示し、青色の信号値をＢ１で示し、緑色の信号値をＧ１で示す場合がある。

演算部１２は、Ｒ、Ｂ、およびＣを用いて、以下の式

によって、Ｒ１、Ｂ１、およびＧ１を算出する。このように、演算部１２は、Ｒ、Ｂ、およびＣを用いて、行列演算（マトリックス演算）を行う。上述した式において、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｂ０、ｂ１、およびｂ２は、定数であり、たとえば、Ｒ＝Ｒ１となりかつＢ＝Ｂ１となるように設定される。

飽和判定部１４は、イメージセンサから出力されて演算部１２に入力される第１の複数の色の信号値を用いて、第１の複数の色の少なくとも１つが飽和しているか否かを判定する。実施の形態１では、飽和判定部１４は、クリアの信号値を用いて、クリアが飽和しているか否かを判定する。具体的には、飽和判定部１４は、クリアの信号値が所定の閾値以上か否かを判定し、クリアの信号値が所定の閾値以上であれば、クリアが飽和していると判定し、クリアの信号値が所定の閾値以上でなければ、クリアが飽和していないと判定する。たとえば、クリアの信号値が８ビットの値である場合、所定の閾値は、２５５に設定される。この場合、飽和判定部１４は、クリアの信号値が２５５以上か否かを判定し、クリアの信号値が２５５以上であればクリアが飽和していると判定し、クリアの信号値が２５５以上でなければクリアが飽和していないと判定する。

補正部１６は、飽和判定部１４によって第１の複数の色の少なくとも１つが飽和していると判定された場合、演算部１２によって算出された第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する。具体的には、補正部１６は、第２の複数の色のうち第１の複数の色にない色であって、飽和している色の信号値を用いて算出される色の信号値を補正する。実施の形態１では、補正部１６は、飽和判定部１４によってクリアが飽和していると判定された場合、第２の複数の色のうち緑色の信号値を補正し、当該緑色の補正後の信号値を出力する。このように、実施の形態１では、第２の複数の色のうち補正の対象となる色は緑色である。なお、以下の説明では、第２の複数の色のうち緑色の補正後の信号値を、Ｇ２で示す場合がある。

補正部１６は、平均値算出部１８と、最大値選択部２０とを有する。

平均値算出部１８は、第２の複数の色のうち補正の対象とならない１以上の色の信号値の平均値を算出する。実施の形態１では、第２の複数の色のうち補正の対象とならない１以上の色は、赤色および青色であり、平均値算出部１８は、第２の複数の色のうち赤色の信号値および青色の信号値を用いて、赤色の信号値および青色の信号値の平均値を算出する。

最大値選択部２０は、第２の複数の色のうち補正の対象となる色の信号値と、第２の複数の色のうち補正の対象とならない１以上の色の信号値の平均値すなわち平均値算出部１８によって算出された平均値とを比較し、当該補正の対象となる色の信号値および当該平均値のうち大きい方を選択する。実施の形態１では、最大値選択部２０は、第２の複数の色のうち緑色の信号値と、第２の複数の色のうち赤色の信号値および青色の信号値の平均値とを比較し、これらのうち大きい方を選択する。

補正部１６は、飽和判定部１４によってクリアが飽和していると判定された場合（図１のｙｅｓ参照）、最大値選択部２０によって選択された値を、Ｇ２として出力する。

一方、補正部１６は、飽和判定部１４によってクリアが飽和していないと判定された場合（図１のｎｏ参照）、Ｇ１を、Ｇ２として出力する。

図２は、図１の画像処理装置１０の補正部１６による補正について説明するための図であり、補正の対象とならない１以上の色の信号値の平均値を、補正の対象となる色の補正後の信号値とする場合について説明するための図である。図３は、図１の画像処理装置１０の補正部１６による補正について説明するための図であり、補正の対象となる色の信号値を、補正の対象となる色の補正後の信号値とする場合について説明するための図である。図２および図３を参照して、補正部１６による補正について説明する。

たとえば、図２の（ａ）に示すようにクリアが飽和している場合、演算部１２によって算出されるＲ１、Ｂ１、およびＧ１は、図２の（ｂ）に示すような値になる。しかし、本来、Ｒ１、Ｂ１、およびＧ１は、図２の（ｃ）に示すような値になるべきである。このように、図２の（ａ）に示すようにクリアが飽和している場合、演算部１２によって算出されるＧ１と、本来算出されるべきＧ１とは異なっている。これによって、本来は白っぽい色であったにも拘わらず、画像においてはマゼンタ色に着色されたような色になってしまう。

そこで、図２の（ｄ）に示すように、補正部１６は、Ｒ１およびＢ１の平均値を、Ｇ２として出力する。Ｇ２は、演算部１２によって算出されるＧ１（図２の（ｂ）参照）よりも、本来のＧ１（図２の（ｃ）参照）に近い値であることがわかる。したがって、画像を本来の色に近づけることができる。

また、たとえば、図３の（ａ）に示すように、図２の（ａ）に示す場合よりもＲおよびＢが小さい状態においてクリアが飽和している場合、演算部１２によって算出されるＲ１、Ｂ１、およびＧ１は、図３の（ｂ）に示すような値になる。この場合、本来、Ｒ１、Ｂ１、およびＧ１は、図３の（ｃ）に示すような値になるべきである。このように、図３の（ａ）に示すようにクリアが飽和している場合においても、演算部１２によって算出されるＧ１と、本来算出されるべきＧ１とは異なっている。

ここで、図３の（ｄ）に示すように、上述した場合と同様、Ｒ１およびＢ１の平均値を、Ｇ２として出力すると、Ｇ２は、演算部１２によって算出されるＧ１（図３の（ｂ）参照）よりも小さい値となり、当該Ｇ１よりも、本来のＧ１（図３の（ｃ）参照）に遠い値であることがわかる。このように、Ｒ１およびＢ１の平均値を、Ｇ２として出力すると、Ｇ２が、演算部１２によって算出されるＧ１（図３の（ｂ）参照）よりも、本来のＧ１（図３の（ｃ）参照）に遠い値になってしまう場合がある。

以上のことから、補正部１６は、Ｒ１とＢ１との平均値が演算部１２によって算出されたＧ１よりも大きい場合、当該平均値をＧ２として出力する。一方、補正部１６は、演算部１２によって算出されたＧ１がＲ１とＢ１との平均値よりも大きい場合、当該Ｇ１をＧ２として出力する。

以上、本実施の形態における画像処理装置１０の構成について説明した。

次に、本実施の形態における画像処理装置１０の動作について説明する。

図４は、画像処理装置１０の飽和判定部１４の動作の一例を示すフロー図である。図４を参照して、飽和判定部１４の動作の一例について説明する。

図４に示すように、まず、飽和判定部１４は、第１の複数の色のうちクリアの信号値が所定の閾値以上か否かを判定する（ステップＳ１）。所定の閾値は、予め設定され、メモリ（図示せず）等に記憶されている。上述したように、たとえば、クリアの信号値が８ビットの値である場合、所定の閾値は、２５５に設定される。この場合、飽和判定部１４は、クリアの信号値が２５５以上か否かを判定する。

飽和判定部１４は、第１の複数の色のうちクリアの信号値が所定の閾値以上である場合（ステップＳ１でＹｅｓ）、クリアが飽和していると判定する（ステップＳ２）。たとえば、所定の閾値が２５５に設定されている場合、飽和判定部１４は、クリアの信号値が２５５以上であれば、クリアが飽和していると判定する。

一方、飽和判定部１４は、クリアの信号値が所定の閾値以上でない場合（ステップＳ１でＮｏ）、クリアが飽和していないと判定する（ステップＳ３）。たとえば、所定の閾値が２５５に設定されている場合、飽和判定部１４は、クリアの信号値が２５５以上でなければ、クリアが飽和していないと判定する。

図５は、画像処理装置１０の補正部１６の動作の一例を示すフロー図である。図５を参照して、補正部１６の動作の一例について説明する。

図５に示すように、まず、補正部１６は、クリアが飽和していると判定されたか否かを判定する（ステップＳ１１）。具体的には、補正部１６は、飽和判定部１４によってクリアが飽和していると判定されたか否かを判定する。

補正部１６は、飽和判定部１４によってクリアが飽和していると判定された場合（ステップＳ１１でＹｅｓ）、第２の複数の色のうち赤色の信号値および青色の信号値の平均値を算出する（ステップＳ１２）。たとえば、赤色の信号値および青色の信号値が８ビットの値であり、赤色の信号値が１００であり、青色の信号値が１５０である場合、補正部１６は、１２５を平均値として算出する。

補正部１６は、第２の複数の色のうち赤色の信号値および青色の信号値の平均値を算出すると、第２の複数の色のうち緑色の信号値および当該平均値のうちの大きい方を、当該緑色の補正後の信号値として出力する（ステップＳ１３）。

補正部１６は、飽和判定部１４によってクリアが飽和していないと判定された場合（ステップＳ１１でＮｏ）、第２の複数の色のうち緑色の信号値を、当該緑色の補正後の信号値として出力する（ステップＳ１４）。

以上、本実施の形態における画像処理装置１０について説明した。

以上、本実施の形態における画像処理装置１０は、イメージセンサから得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出する演算部１２と、第１の複数の色の信号値を用いて、第１の複数の色の少なくとも１つが飽和しているか否かを判定する飽和判定部１４と、飽和判定部１４によって第１の複数の色の少なくとも１つが飽和していると判定された場合、第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する補正部１６とを備える。

これによれば、第１の複数の色の少なくとも１つが飽和することによって、第２の複数の色の少なくとも１つの信号値が本来算出されるべき値と異なっている場合に、当該信号値を補正して出力できる。したがって、第２の複数の色の信号値が本来算出されるべき値と異なることによって画像の色が実際の色と異なる色になることを抑制でき、画像の品質が低下することを抑制できる。

また、本実施の形態における画像処理装置１０において、補正部１６は、第２の複数の色のうち補正の対象となる色の信号値と、第２の複数の色のうち補正の対象とならない１以上の色の信号値の平均値とを比較し、当該補正の対象となる色の信号値および当該平均値のうち大きい方を、当該補正の対象となる色の補正後の信号値として出力する。

補正の対象とならない１以上の色の信号値の平均値が、補正の対象となる色の信号値よりも大きい場合、補正の対象となる色の本来算出されるべき信号値は、当該平均値に近い値になり易い。したがって、当該平均値を、補正の対象となる色の補正後の信号値として出力することによって、画像の色を本来の色に近づけ易くなる。

一方、補正の対象となる色の信号値が、補正の対象とならない１以上の色の信号値の平均値よりも大きい場合、補正の対象となる色の本来算出されるべき信号値は、補正の対象となる色の信号値に近い値になり易い。したがって、補正の対象となる色の信号値を、補正の対象となる色の補正後の信号値として出力することによって、画像の色を本来の色に近づけ易くなる。

これによって、画像の色が実際の色と異なる色になることを抑制でき、画像の品質が低下することをさらに抑制できる。

また、補正部１６は、第２の複数の色のうち補正の対象とならない１以上の色の信号値の平均値を、第２の複数の色のうち補正の対象となる色の補正後の信号値として出力する。

これによれば、本来は白っぽい色であった箇所が、画像において着色されることを抑制し易くなり、画像の品質が低下することをさらに抑制できる。

また、本実施の形態における画像処理装置１０において、第１の複数の色は、クリアを含む。

これによれば、多くの光を取り入れることができるので、夜間等に撮像された画像の品質が低下することを抑制できる。

また、本実施の形態における画像処理装置１０において、飽和判定部１４は、第１の複数の色のうちクリアが飽和しているか否かを判定する。

これによれば、クリアは、他の色に比べて飽和し易いので、第１の複数の色の少なくとも１つが飽和しているか否かを容易に判定できる。

また、本実施の形態における画像処理装置１０において、補正部１６は、第２の複数の色のうち第１の複数の色にない色の信号値を補正する。

第２の複数の色のうち第１の複数の色にない色の信号値は、第１の複数の色のうち飽和している色の信号値を用いて算出される場合がある。この場合、第１の複数の色にない色の信号値は、本来算出されるべき値と異なり易い。したがって、第１の複数の色にない色の信号値を補正することによって、当該信号値を本来算出されるべき値に近づけ易くなり、画像の品質が低下することをさらに抑制できる。

また、本実施の形態における画像処理装置１０において、第１の複数の色は、赤色、青色、およびクリアであり、第２の複数の色は、赤色、青色、および緑色であり、補正部１６は、第２の複数の色のうち、緑色の信号値を補正し、赤色の信号値および青色の信号値を用いて平均値を算出する。

これによれば、第２の複数の色のうちの緑色を、赤色、青色、およびクリアを用いて算出できる。また、クリアが飽和している場合、緑色の信号値を、赤色の信号値および青色の信号値の平均値を用いて補正でき、画像の品質が低下することをさらに抑制できる。

（実施の形態２）
次に、実施の形態２における画像処理装置１０ａについて説明する。

図６は、実施の形態２における画像処理装置１０ａを示すブロック図である。画像処理装置１０ａは、平滑化フィルタ２２をさらに備えている点において、画像処理装置１０と主に異なっている。以下の説明では、画像処理装置１０との相違点について、主に説明する。

図６に示すように、画像処理装置１０ａは、平滑化フィルタ２２をさらに備える。平滑化フィルタ２２は、飽和判定部１４によって第１の複数の色の少なくとも１つが飽和していると判定された場合、補正部１６によって出力された緑色の補正後の信号値に対して、空間方向および時間方向の少なくとも一方に平滑化処理を行う。また、平滑化フィルタ２２は、演算部１２によって算出された赤色の信号値および青色の信号値に対しても、空間方向および時間方向の少なくとも一方に平滑化処理を行う。平滑化フィルタ２２は、平滑化処理後の赤色の信号値、青色の信号値、および緑色の信号値を出力する。以下の説明では、平滑化処理後の赤色の信号値をＲ３で示し、平滑化処理後の青色の信号値をＢ３で示し、平滑化処理後の緑色の信号値をＧ３で示す場合がある。

図７は、図６の画像処理装置１０ａの平滑化フィルタ２２による空間方向の平滑化処理を説明するための図である。図７に示すように、たとえば、ディスプレイの複数の画素が並んで配置されている場合、演算部１２は、複数の画素のそれぞれについて、Ｒ、Ｂ、およびＣを取得し、Ｒ１、Ｂ１、およびＧ１を算出する。飽和判定部１４は、複数の画素のそれぞれについて、クリアが飽和しているか否かを判定する。補正部１６は、複数の画素のそれぞれについて、Ｇ１を補正し、Ｇ２を出力する。

たとえば、平滑化フィルタ２２は、複数の画素のうち画素２４について、飽和判定部１４によってクリアが飽和していると判定された場合、画素２４についてのＲ１、Ｂ１、およびＧ２に対して、空間方向に平滑化処理を行う。具体的には、たとえば、平滑化フィルタ２２は、画素２４と隣り合う画素２６のＲ１、Ｂ１、およびＧ２、ならびに画素２８のＲ１、Ｂ１、およびＧ２を参照し、画素２４のＲ１、Ｂ１、およびＧ２に対して平滑化処理を行い、Ｒ３、Ｂ３、およびＧ３を出力する。このようにして、平滑化フィルタ２２は、Ｒ１、Ｂ１、およびＧ２に対して、空間方向に平滑化処理を行う。

図８は、図６の画像処理装置１０ａの平滑化フィルタ２２による時間方向の平滑化処理を説明するための図である。図８に示すように、たとえば、平滑化フィルタ２２は、複数の画素のうち画素２４ｂについて、飽和判定部１４によってクリアが飽和していると判定された場合、画素２４ｂについてのＲ１、Ｂ１、およびＧ２に対して、時間方向（図８の矢印Ａ参照）に平滑化処理を行う。具体的には、たとえば、平滑化フィルタ２２は、画素２４ｂの時間方向の前方の画素２４ａのＲ１、Ｂ１、およびＧ２、ならびに後方の画素２４ｃのＲ１、Ｂ１、およびＧ２を参照し、画素２４ｂのＲ１、Ｂ１、およびＧ２に対して平滑化処理を行い、Ｒ３、Ｂ３、およびＧ３を出力する。

以上、本実施の形態における画像処理装置１０ａについて説明した。

以上、本実施の形態における画像処理装置１０ａは、飽和判定部１４によって第１の複数の色の少なくとも１つが飽和していると判定された場合、補正部１６によって出力された補正後の信号値に対して、空間方向および時間方向の少なくとも一方に平滑化処理を行う平滑化フィルタ２２をさらに備える。

これによれば、飽和判定部１４によって第１の複数の色の少なくとも１つが飽和していると判定された場合、平滑化フィルタ２２によって補正後の信号値に対して平滑化処理が行われるので、画像の品質が低下することを抑制できる。

（実施の形態３）
次に、実施の形態３における画像処理システム１００について説明する。

図９は、実施の形態３における画像処理システム１００を示すブロック図である。図９に示すように、画像処理システム１００は、複数の画像処理装置１０ｂ〜１０ｄを備える。複数の画像処理装置１０ｂ〜１０ｄは、上記の画像処理装置１０と同様の構成である。つまり、言い換えると、画像処理システム１００は、上記の画像処理装置１０を複数備える。

複数の画像処理装置１０ｂ〜１０ｄは、並列に並べて配置されており、互いに露光時間の異なる撮像によって得られた複数の露光画像であって、第１の複数の色の信号値によって形成される複数の露光画像を処理する。上述したように、複数の画像処理装置１０ｂ〜１０ｄはそれぞれ、画像処理装置１０と同様の構成であるので、上述した画像処理装置１０の説明を参照することにより、複数の画像処理装置１０ｂ〜１０ｄの詳細な説明を省略する。

画像処理装置１０ｂは、複数の露光画像のうちの第１の露光時間によって撮像された第１の露光画像を処理する。具体的には、画像処理装置１０ｂは、第１の露光画像を形成する第１の複数の色の信号値を取得し、当該第１の複数の色の信号値を処理することによって、第１の露光画像を処理する。当該第１の複数の色の信号値は、赤色の信号値（図９のＲａ参照）、青色の信号値（図９のＢａ参照）、およびクリアの信号値（図９のＣａ参照）である。画像処理装置１０ｂは、当該第１の複数の色の信号値を用いて、実施の形態１で説明した画像処理装置１０と同様の処理を行い、第２の複数の色のうちの赤色の信号値（図９のＲ１ａ参照）、青色の信号値（図９のＢ１ａ参照）、および緑色の補正後の信号値（図９のＧ２ａ参照）を出力する。このように、画像処理装置１０ｂは、第１の露光画像を形成する第１の複数の色の信号値を処理することによって、第１の露光画像を処理する。

画像処理装置１０ｃは、複数の露光画像のうちの第２の露光時間によって撮像された第２の露光画像を処理する。具体的には、画像処理装置１０ｃは、第２の露光画像を形成する第１の複数の色の信号値を取得し、当該第１の複数の色の信号値を処理することによって、第２の露光画像を処理する。当該第１の複数の色の信号値は、赤色の信号値（図９のＲｂ参照）、青色の信号値（図９のＢｂ参照）、およびクリアの信号値（図９のＣｂ参照）である。画像処理装置１０ｃは、当該第１の複数の色の信号値を用いて、実施の形態１で説明した画像処理装置１０と同様の処理を行い、第２の複数の色のうちの赤色の信号値（図９のＲ１ｂ参照）、青色の信号値（図９のＢ１ｂ参照）、および緑色の補正後の信号値（図９のＧ２ｂ参照）を出力する。このように、画像処理装置１０ｃは、第２の露光画像を形成する第１の複数の色の信号値を処理することによって、第２の露光画像を処理する。たとえば、第２の露光時間は、第１の露光時間よりも長い。

画像処理装置１０ｄは、複数の露光画像のうちの第３の露光時間によって撮像された第３の露光画像を処理する。具体的には、画像処理装置１０ｄは、第３の露光画像を形成する第１の複数の色の信号値を取得し、当該第１の複数の色の信号値を処理することによって、第３の露光画像を処理する。当該第１の複数の色の信号値は、赤色の信号値（図９のＲｃ参照）、青色の信号値（図９のＢｃ参照）、およびクリアの信号値（図９のＣｃ参照）である。画像処理装置１０ｄは、当該第１の複数の色の信号値を用いて、実施の形態１で説明した画像処理装置１０と同様の処理を行い、第２の複数の色のうちの赤色の信号値（図９のＲ１ｃ参照）、青色の信号値（図９のＢ１ｃ参照）、および緑色の補正後の信号値（図９のＧ２ｃ参照）を出力する。このように、画像処理装置１０ｄは、第３の露光画像を形成する第１の複数の色の信号値を処理することによって、第３の露光画像を処理する。たとえば、第３の露光時間は、第１の露光時間よりも長く、かつ第２の露光時間よりも長い。

なお、実施の形態３では、複数の画像処理装置が３個である場合について説明したが、これに限定されない。たとえば、複数の画像処理装置は、２個であってもよいし、４個以上であってもよい。

また、実施の形態３では、画像処理システム１００が、複数の画像処理装置１０を備える場合について説明したが、これに限定されない。たとえば、画像処理システムは、複数の画像処理装置１０ａを備えていてもよい。

以上、本実施の形態における画像処理システム１００について説明した。

以上、本実施の形態における画像処理システム１００は、上記の画像処理装置１０を複数備え、複数の画像処理装置１０は、互いに露光時間の異なる撮像によって得られた複数の露光画像であって、第１の複数の色の信号値によって形成される複数の露光画像を処理する。

これによれば、互いに露光時間の異なる撮像が行われた場合に、当該撮像によって得られる複数の露光画像を、複数の画像処理装置１０によって処理することができる。

（実施の形態４）
次に、実施の形態４における画像処理装置１０ｅについて説明する。

図１０は、実施の形態４における画像処理装置１０ｅを示すブロック図である。画像処理装置１０ｅは、デモザイク処理部３０をさらに備えている点において、画像処理装置１０と主に異なっている。以下の説明では、画像処理装置１０との相違点について、主に説明する。

図１０に示すように、画像処理装置１０ｅは、演算部１２の前段にデモザイク処理部３０をさらに備える。デモザイク処理部３０は、イメージセンサ（図示せず）から取得した原画像データ（ＲＡＷ画像）に対して補間フィルタを用いてデモザイク処理を施して、第１の複数の色の信号値を算出する。デモザイク処理部３０は、算出した第１の複数の色の信号値を演算部１２に出力する。

本実施の形態では、第１の複数の色は、赤色、青色、およびクリアであり、デモザイク処理部３０は、イメージセンサから取得したＲＡＷ画像に補間フィルタを用いて、赤色の信号値、青色の信号値、およびクリアの信号値を算出する。具体的には、デモザイク処理部３０は、イメージセンサの複数の画素のそれぞれに注目し、複数の画素のそれぞれに対応する第１の複数の色の信号値を算出する。以下の説明では、イメージセンサの複数の画素のうち、デモザイク処理部３０が注目している画素を、注目画素と呼ぶ場合がある。補間フィルタは、たとえば、注目画素において第１の複数の色の信号値を算出する場合、注目画素の色と異なる色の信号値については、注目画素に隣接しかつ相互に同じ色の画素同士の値を用いて算出する。

図１１は、補間フィルタの一例を説明するための図である。

図１１の（ａ）は、注目画素が赤画素である場合を説明する図である。図１１の（ａ）に示すように、注目画素から出力される赤色の信号値がＲＩであり、当該注目画素に隣接する複数の青画素から出力される青色の信号値がＢＩ，ＢＩＩ，ＢＩＩＩ，ＢＩＶであり、当該注目画素に隣接する複数の白画素から出力されるクリアの信号値がＣＩ，ＣＩＩ，ＣＩＩＩ，ＣＩＶである。この場合、デモザイク処理部３０は、第１の複数の色のうち、赤色の信号値としてＲＩを出力し、青色の信号値として注目画素と隣接している複数の青画素から出力されるＢＩ，ＢＩＩ，ＢＩＩＩ，ＢＩＶの平均値を出力し、クリアの信号値として注目画素と隣接している複数の白画素から出力されるＣＩ，ＣＩＩ，ＣＩＩＩ，ＣＩＶの平均値を出力する。つまり、デモザイク処理部３０は、Ｒ＝ＲＩとし、Ｂ＝（ＢＩ＋ＢＩＩ＋ＢＩＩＩ＋ＢＩＶ）／４とし、Ｃ＝（ＣＩ＋ＣＩＩ＋ＣＩＩＩ＋ＣＩＶ）／４として、演算部１２に出力する。

図１１の（ｂ）は、注目画素が青画素である場合を説明する図である。図１１の（ｂ）に示すように、注目画素から出力される青色の信号値がＢＩであり、当該注目画素に隣接する複数の赤画素から出力される赤色の信号値がＲＩ，ＲＩＩ，ＲＩＩＩ，ＲＩＶであり、当該注目画素に隣接する複数の白画素から出力されるクリアの信号値がＣＩ，ＣＩＩ，ＣＩＩＩ，ＣＩＶである。この場合、デモザイク処理部３０は、第１の複数の色のうち、青色の信号値としてＢＩを出力し、赤色の信号値として注目画素と隣接している複数の赤画素から出力されるＲＩ，ＲＩＩ，ＲＩＩＩ，ＲＩＶの平均値を出力し、クリアの信号値として注目画素と隣接している複数の白画素から出力されるＣＩ，ＣＩＩ，ＣＩＩＩ，ＣＩＶの平均値を出力する。つまり、デモザイク処理部３０は、Ｂ＝ＢＩとし、Ｒ＝（ＲＩ＋ＲＩＩ＋ＲＩＩＩ＋ＲＩＶ）／４とし、Ｃ＝（ＣＩ＋ＣＩＩ＋ＣＩＩＩ＋ＣＩＶ）／４として、演算部１２に出力する。

図１１の（ｃ）は、注目画素が白画素である場合を説明する図である。図１１の（ｃ）に示すように、注目画素から出力されるクリアの信号値がＣＩＩＩであり、当該注目画素に隣接する複数の赤画素から出力される赤色の信号値がＲＩ，ＲＩＩであり、当該注目画素に隣接する複数の青画素から出力される青色の信号値がＢＩ，ＢＩＩである。この場合、デモザイク処理部３０は、第１の複数の色のうち、クリアの信号値としてＣＩＩＩを出力し、赤色の信号値として注目画素と隣接している複数の赤画素から出力されるＲＩ，ＲＩＩの平均値を出力し、青色の信号値として注目画素と隣接している複数の青画素から出力されるＢＩ，ＢＩＩの平均値を出力する。つまり、デモザイク処理部３０は、Ｃ＝ＣＩＩＩとし、Ｒ＝（ＲＩ＋ＲＩＩ）／２とし、Ｂ＝（ＢＩ＋ＢＩＩ）／２として、演算部１２に出力する。

なお、デモザイク処理部３０は、注目画素と隣接する同じ色同士の画素から出力される信号値の差の大きさに応じて、補間フィルタを適応的に切替えてもよい。つまり、デモザイク処理部３０は、注目画素と隣接する２つの画素から出力されかつ相互に同じ色の信号値である２つの信号値の差に応じて、補間フィルタを切り替えてもよい。たとえば、第１の複数の色のうち、注目画素の色と異なる色の信号値を算出する場合に、注目画素と隣接する２つの画素であって、同じ色同士の２つの画素から出力される２つの信号値の差が所定の閾値以下の場合には、当該２つの信号値の平均値を出力し、当該２つの信号値の差が所定の閾値よりも大きい場合には、当該平均値より小さい値を出力する補間フィルタに切り替えてもよい。

また、平均値ではなく重みづけ平均で算出した値を出力する補間フィルタに切り替えてもよい。また、閾値は色ごとに設定してもよく、可変としてもよい。

以上、本実施の形態における画像処理装置１０ｅについて説明した。

以上、本実施の形態における画像処理装置１０ｅは、さらに、演算部１２の前段に、イメージセンサから取得したＲＡＷ画像に対して補間フィルタを用いてデモザイク処理を施して、第１の複数の色の信号値を算出するデモザイク処理部３０を備える。

これにより、ＲＡＷ画像より、第１の複数の色の信号値、つまり赤色の信号値、青色の信号値、およびクリアの信号値を取得することができる。

また、デモザイク処理部３０は、注目画素と隣接する２つの画素から出力されかつ相互に同じ色の信号値である２つの色の信号値の差に応じて、補間フィルタを切り替える。

これにより、エッジ部など、隣接画素との信号値の差が大きい画素について色のバランスが崩れることが低減される。そのため、後段の処理で得られる画像に対しての着色をさらに抑制することができる。

（他の実施の形態等）
以上、一つまたは複数の態様に係る画像処理装置、画像処理方法、および画像処理システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本開示の範囲内に含まれてもよい。

上述した実施の形態では、第１の複数の色が、赤色、青色、およびクリアである場合について説明したが、これに限定されない。第１の複数の色は、任意の２つ以上の色であればよい。

上述した実施の形態では、第２の複数の色が、赤色、青色、および緑色である場合について説明したが、これに限定されない。第２の複数の色は、任意の２つ以上の色であればよい。

上述した実施の形態では、演算部１２が、赤色の信号値、青色の信号値、およびクリアの信号値の３つの信号値を用いて、第２の複数の色の信号値を算出する場合について説明したが、これに限定されない。たとえば、演算部は、赤色の信号値、緑色の信号値、およびクリアの信号値の３つの信号値を用いて、青色を含む第２の複数の色の信号値を算出してもよいし、赤色の信号値、クリアの信号値、および他のクリアの信号値の３つの信号値を用いて、第２の複数の色の信号値を算出してもよい。また、演算部は、赤色の信号値、クリアの信号値、他のクリアの信号値、およびさらに他のクリアの信号値の４つの信号値を用いて、第２の複数の色の信号値を算出してもよい。また、演算部は、５つ以上の信号値を用いて、第２の複数の色の信号値を算出してもよい。

上述した実施の形態では、飽和判定部１４が、第１の複数の色のうちクリアが飽和しているか否かを判定する場合について説明したが、これに限定されない。たとえば、飽和判定部１４は、第１の複数の色のうちクリアおよび赤色の２つの色が飽和しているか否かを判定してもよい。この場合、たとえば、第１の複数の色のうちクリアおよび赤色の２つの色が飽和していると判定されれば、補正部１６は、第２の複数の色のうち赤色の信号値および緑色の信号値を補正してもよい。

本開示は、画像を撮像する撮像装置等に利用可能である。

１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ 画像処理装置
１２ 演算部
１４ 飽和判定部
１６ 補正部
１８ 平均値算出部
２０ 最大値選択部
２２ 平滑化フィルタ
３０ デモザイク処理部
１００ 画像処理システム

Claims (12)

1. イメージセンサから得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出する演算部と、
   前記第１の複数の色の信号値を用いて、前記第１の複数の色の少なくとも１つが飽和しているか否かを判定する飽和判定部と、
   前記飽和判定部によって前記第１の複数の色の少なくとも１つが飽和していると判定された場合、前記第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する補正部とを備える、
   画像処理装置。
2. 前記補正部は、前記第２の複数の色のうち補正の対象となる色の信号値と、前記第２の複数の色のうち補正の対象とならない１以上の色の信号値の平均値とを比較し、前記補正の対象となる色の信号値および前記平均値のうち大きい方を、前記補正の対象となる色の補正後の信号値として出力する、
   請求項１に記載の画像処理装置。
3. 前記補正部は、前記第２の複数の色のうち補正の対象とならない１以上の色の信号値の平均値を、前記第２の複数の色のうち補正の対象となる色の補正後の信号値として出力する、
   請求項１に記載の画像処理装置。
4. 前記第１の複数の色は、全波長領域の光を透過させるフィルタを透過しかつ前記イメージセンサに受光された光の色を含む、
   請求項２または３に記載の画像処理装置。
5. 前記飽和判定部は、前記第１の複数の色のうち前記フィルタを透過しかつ前記イメージセンサに受光された光の色が飽和しているか否かを判定する、
   請求項４に記載の画像処理装置。
6. 前記補正部は、前記第２の複数の色のうち前記第１の複数の色にない色の信号値を補正する、
   請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記第１の複数の色は、赤色、青色、および前記フィルタを透過しかつ前記イメージセンサに受光された光の色であり、
   前記第２の複数の色は、赤色、青色、および緑色であり、
   前記補正部は、前記第２の複数の色のうち、緑色の信号値を補正し、赤色の信号値および青色の信号値を用いて前記平均値を算出する、
   請求項４または５に記載の画像処理装置。
8. 前記飽和判定部によって前記第１の複数の色の少なくとも１つが飽和していると判定された場合、前記補正部によって出力された補正後の信号値に対して、空間方向および時間方向の少なくとも一方に平滑化処理を行う平滑化フィルタをさらに備える、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. さらに、前記演算部の前段に、前記イメージセンサから取得したＲＡＷ画像に対して補間フィルタを用いてデモザイク処理を施して、前記第１の複数の色の信号値を算出するデモザイク処理部を備える、
   請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記デモザイク処理部は、注目画素と隣接する２つの画素から出力されかつ相互に同じ色の信号値である２つの信号値の差に応じて、前記補間フィルタを切り替える、
    請求項９に記載の画像処理装置。
11. イメージセンサから得られる第１の複数の色の信号値を用いて、第２の複数の色の信号値を算出し、
    前記第１の複数の色の信号値を用いて、前記第１の複数の色の少なくとも１つが飽和しているか否かを判定し、
    前記第１の複数の色の少なくとも１つが飽和していると判定された場合、前記第２の複数の色の少なくとも１つの信号値を補正し、補正後の信号値を出力する、
    画像処理方法。
12. 請求項１から１０のいずれか１項に記載の画像処理装置を複数備え、
    前記複数の画像処理装置は、互いに露光時間の異なる撮像によって得られた複数の露光画像であって、前記第１の複数の色の信号値によって形成される複数の露光画像を処理する、
    画像処理システム。

Images