JP2016105044A - 画像処理装置 - Google Patents

Abstract

【課題】簡素で高品位な偏光画像を生成可能な画像処理装置を提供する。【解決手段】画像処理装置２０２は、リング状分割光源２１０から照射される２種類の偏光照明と、対物レンズ２０３、モザイク偏光板２０５とモノクロ撮像素子２０７からなるモノクロ偏光撮像素子２１１を備えており、画像処理部２０８での処理によってラップからのハレーションを除去して生鮮品を撮像できる。また画像伝送部２０９を備えてスマートフォンへ画像を無線伝送する。【選択図】図２

Description

本発明は、生体や生鮮物（果物、魚介類）の品質、鮮度、表面姓状などを種々の波長の光を用いて判定するための画像処理装置に関する。

従来、食材となる生鮮物をカメラにて撮像して画像処理でその品質や鮮度などを判定する際、被写体である生鮮物の表面での鏡面反射を除去したり、生鮮物の特徴である半透明性をうまく抽出したりするために特殊な照明と撮像に関する技術がある。たとえば、特許文献１では、ベルトコンベアで運搬される果物を上から照明光を当ててカラーカメラで撮影してその色から品質を判定しているが、その際、果物の表面での照明光のハレーションを除去するために照明を直線偏光として照射し、同時にカメラのレンズ前にも直線偏光板を設置して撮像する。両者の偏光板の偏光透過軸を直交させるといわゆる直交ニコル状態となり、照明の偏光状態を維持して戻ってくる表面からの鏡面反射、および表皮の浅い層から戻ってくる後方散乱光は除去されるため、表皮から深い層で照明光の偏光状態が崩れた非偏光光、すなわち真の色だけが受光される。このように果物の表皮のやや深い層からの反射光を画像化することによって照明の写りこみやハレーションなど表面状態に起因する問題を解決して果物の本来の色が撮像される。

また特許文献２では、生鮮品では無く透明パッケージで包装された錠剤の検査を実施しており、特許文献１と同様にベルトコンベア上を流れる透明パッケージとアルミ包装された錠剤に対して斜め２方向から偏光された照明光を照射し、直上から偏光板を取り付けたカメラで撮像する。錠剤が楕円体や直方体などの特殊形状では、偏光板の最適角度を設定するためモータで照明側と撮像側の偏光板を回転させている。

特許第４９１２０８３号公報 特開平８−２７１４３３号公報

生鮮品は、生産者から流通経路に従い、最終的にはスーパーなどの小売店舗において陳列されるが、この段階では、保湿などのため生鮮品は透明なラップまたはフィルムなどで覆われていることが多い。店舗スタッフや消費者が、この状態で品質や鮮度のチェックを画像で実施しようとすると、照明をラップ上から照射することになり、生鮮品表面の鏡面反射に加え、ラップからの高輝度のハレーションが広い範囲で発生することなる。これを、特許文献１に開示された従来技術で解決しようとすると以下の課題が発生する。

１）生鮮物の包装に使われる透明なラップやパック類に対して近距離から照明をあてて撮像する場合、非常に高輝度のハレーションが発生する。これを除去するためには照明と撮像側双方に十分高い消光比(１００：１〜１０００：１)を有する偏光板が必要であるが、一般的な可視光帯域の偏光カメラの消光比はこれほど高くないため、ハレーションが画像に消えずに残り、画像処理に悪影響を及ぼす。この問題は、ＵＶ（紫外）光など短波長帯域においては、偏光板の消光比性能が低下するため特に顕著である。

２）ラップからのハレーションを除去するため直交ニコル偏光撮像を実施するため、生鮮物自体の本来の半透明の表皮層の性質から、表層よりも深部での光散乱情報のみが観測されてしまい、生鮮物の表層での情報が取得できない。

本発明は、上記の課題を解決し、簡素で高品位な偏光画像を生成可能な画像処理装置を提供することを目的とする。

本発明の画像処理装置は、Ｐ種類の互いに交差する偏光透過軸を有する偏光板とＰチャンネルの発光素子を組み合わせた分割光源からなる偏光照明と、前記Ｐ種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、Ｐ個以上の異なる偏光透過方向に偏光したＰ種類以上の偏光画像を取得するように構成された偏光撮像素子と、を備え、前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の画像の画素ごとの最小値を算出するハレーション除去平行ニコル画像または、前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の画像の画素ごとの最小値を算出するハレーション除去直交ニコル画像のいずれかを得ることを特徴とする。

本発明では、１）分割光源の点灯によりラップ表面からの強いハレーションを全面的に除去できる。２）ラップ表面のハレーションを除去した上で、生鮮物の平行二コルと直交ニコル画像を両方取得でき、表皮層近くの光散乱の情報と深部層の情報を分離することができる。

生鮮品がラップ包装やパック包装されている状態を示す図。 本発明の第１の実施形態に関する画像処理装置を示す図。 第１の実施形態におけるリング状分割光源の構造を示す図。 第１の実施形態におけるモノクロ偏光撮像素子の構造を示す図。 第１の実施形態におけるハレーション除去の原理を示す図。 第１の実施形態におけるハレーション除去の原理を示す図。 第１の実施形態におけるハレーション除去のための光源の設計指針を示す図。 第１の実施形態におけるハレーション除去済み平行二コル画像とハレーション除去済み直交二コル画像の生成のための画像処理を説明する図。 第１の実施形態のモザイク型偏光素子の画素構造の画像処理を説明する図。 第１の実施形態の変形例１を説明する図。 第１の実施形態の変形例２に関するリング状分割照明の構造を示す図。 第１の実施形態の変形例２におけるハレーション除去済み平行二コル画像とハレーション除去済み直交二コル画像の生成のための画像処理の概念を示す図。 生鮮品としてパック包装されたミニトマトを撮影した例を示す図。 生鮮品としてラップ包装されたバナナを撮影した例を示す図。 本発明の第２の実施形態に関する画像処理装置を示す図。 第２の実施形態の画像処理装置の内視鏡先端部を示す図。 第２の実施形態の画像処理装置におけるハレーション除去偏光差分画像（ＭＩＮＳＰＩ）の生成のための画像処理を示す図。 第２の実施形態で撮影された検体（ブタ胃粘膜）の画像処理結果を示す図。 第２の実施形態で撮影された検体（ブタ胃粘膜）のＡＶＳＰＩ画像とＭＩＮＳＰＩ画像処理結果でそれぞれのハレーション発生を比較する図。

図１は生鮮物がラップにて包装されている状態を示す。図１（Ａ）は、立体的な果物１０１などが包装される場合で、それを包装するラップ１０２の表面形状は人工物のように一定ではない上、表面には皺なども発生するため形状は任意で複雑である。一方、図１（Ｂ）は平面的な魚介類１０３などがラップ包装される場合、あるいはプラスチック製の透明パックで包装される場合でありラップやパックの表面１０４は多くの場合平面的である。これらを品質や鮮度を判定するため上方から照明１０６を当ててカメラ１０５にて撮像するとラップやパック表面できわめて強い反射、いわゆるハレーションを発生する。本発明でのハレーションとは、このように撮影のために近距離から照明した光が直接鏡面反射してカメラに戻り、画像の画素を飽和させて白とびの高輝度領域を限定的、あるいは大域的に発生させる現象を表すものとする。このハレーションが発生した画像領域では、包装された生鮮品本体の色や輝度を用いる画像処理が全く不可能になってしまう。

偏光照明と偏光撮像を用いてハレーションを除去する技術、たとえば、ベルトコンベア上を流れるほぼ同程度の大きさの果物、あるいは全く同形状の人工物である錠剤表面パッケージなどの表面の反射に起因する鏡面反射を除去する技術では偏光照明とカメラ側の偏光板としてフィルム偏光板をガラス板に挟んだガラス偏光板など十分消光比性能を高いものを利用し、それらを一定角度（多くの場合には直交状態）で固定しておけば光の反射による偏光状態も一意的に固定できるため除去可能である。

しかしながら店頭における撮影では、撮影角度などを固定できないため、ワンショットで複数偏光軸での画像が撮影できる市販の偏光カメラが有効と思われる。しかし、これらの偏光カメラは消光比が低く、生鮮品自体の表面反射の除去には有効でも、ラップやパック表面からの直接反射光である高輝度ハレーションの完全除去はほとんど不可能であった。また生鮮物検査によく使われるＵＶ（紫外）光のように波長が短い場合は偏光板の消光比性能がさらに低下するためさらにハレーション除去が困難である。

本発明者らの実験によると通常使われる（ＨＤＲ撮像でない）８ｂｉｔ程度の消光比８０：１または２０：１程度の偏光カメラを用いた場合、ラップ表面からのハレーションは除去できず結果として情報欠落の領域が多く発生してしまった。そこで、本発明では市販の偏光カメラ程度の性能の偏光撮像系を使って生鮮品のラップや透明パックなどの包装からのハレーション除去可能な画像処理装置を提供することを目的とする。

（第１の実施形態）
図２は本発明の第１の実施形態を説明するための図であり、ハンディータイプのデジタルカメラまたはスマートフォン等の外付けカメラとしての画像処理装置を示す。図２（Ａ）は正面の概観図であり、スマートフォン２０１に外付けされた画像処理装置２０２を示す。図２（Ｂ）は２０２の側面の内部ブロック図である。この画像処理装置は、リング状分割光源２１０から照射される２種類の偏光照明と、対物レンズ２０３、モザイク偏光板２０６とモノクロ撮像素子２０７からなるモノクロ偏光撮像素子２１１を備えており、画像処理部２０８での処理によってラップからのハレーションを除去して生鮮品を撮像できる。また画像伝送部２０９を備えてスマートフォンへ画像を無線伝送できる。

図３は、図２におけるリング状分割光源２１０の構造を示す図である。図３（Ａ）は、リング状分割光源を上から見た概観図であり、図３（Ｂ）は同様に上から、偏光板を取り除いた内部の図を示している。図３（Ａ）に示すように、８個のリング状分割光源には、０°と９０°の偏光透過軸を有する偏光板が交互に設置されている。図３（Ｂ）で示すように、その下層には４個ずつの２チャンネル合計８個のＬＥＤ２０５がリング状に配置され交互に別の点灯制御が行われる。各ＬＥＤ上には０°と９０°の２種類の透過軸を有する偏光板２０４が配置されている。ＬＥＤの総数は８個に限らないが、一般に２Ｎ個でよいがＮは３以上が望ましい。これは１チャンネルごとに点灯した場合に対象物を均等に照射するために対物レンズ２０３を３個以上のＬＥＤにて取り囲むのが望ましいからである。これによってチャンネル１が点灯する場合０°の偏光照明光、チェンネル２が点灯する場合、９０°の偏光照明が生成され、同時にそれぞれの点灯位置が異なる(分割１、分割２の位置)照明が実現できる。

図４は、図２におけるモノクロ偏光撮像素子２１１の構造を示す図であり、図４（Ａ）のようにＣＣＤやＣＭＯＳモノクロ撮像素子２０７の上に０°と９０°の偏光透過軸が交互に配置されたモザイク偏光版２０６（偏光モザイクフィルタ）が設置されている。偏光モザイクフィルタは、図４（Ｂ）のように、画素サイズのほぼ正方形の単位領域ごとに０°と９０°の異なる偏光透過軸を有する偏光板が形成されている。このような技術としては、４ＤＴｅｃｈｎｏｌｏｇｙ社の偏光イメージングカメラＰｏｌａｒＣａｍに使われているマイクロワイヤーグリッドポラライザアレイがよく知られており、これは１画素のサイズ＝７．４μｍの４５°ずつ異なる方向の偏光軸の微細偏光子が集積したものである。本発明のように０°と９０°の照明を使う場合には、４５°の４方向の偏光モザイクを使うよりも０°と９０°のみのモザイクのほうが画素を有効活用できる。このような偏光モザイクフィルタが配置された撮像素子から得られる画像はその後に画素ごとに偏光画像処理を実施する。

図５Ａおよび図５Ｂは、本発明のハレーション除去の原理を示す図である。生鮮品５０１は果物、魚介類、など生物の表面断面を表す。これらの表面は滑らかで光を照射すると鏡面反射を発生しハレーションとなる。しかし生体表面は半透明の性質を有するものが多く、照射光は表層と深部層よりなる内部へと浸透する。このような生鮮品の上に一定距離の空気層をおいて透明なラップ層５０２が存在している。この状態で異なる位置にて発光する分割光源５０３、５０４から照明光が照射されて、人間またはカメラ５０８が反射光を観測する。

図５Ａでは、分割照明５０３が発光して分割照明５０４は消灯しているため、照明光５０３ａが照射され、ラップ層５０２にて反射しラップ反射光５０３ｂとなるがこれは５０８での観測によって画像上では高輝度ハレーション５０３ｃとなる。ラップ層を透過して生鮮品５０１まで到達するラップ透過光５０３ｃは一部が表層にて１回散乱されて表層反射光５０５となり、より深部層まで浸透した光５０６は多重散乱された後に再度空気中に出射して深部層反射光５０７となる。照明光５０３ａは偏光しているため、偏光状態につき検討すると、ラップ反射光５０３ｂとラップ透過光５０４ｃ、および表層反射光５０５は偏光光であるが、深部層反射光５０７は偏光が崩れた非偏光光になっている。

図５Ｂでは、分割照明５０４が発光して分割照明５０３は消灯しているため、照明光５０４ａが照射され、ラップ層５０２にて反射しラップ反射光５０４ｂとなるがこれは５０８での観測によって画像上では高輝度ハレーション５０４ｃとなる。ラップ層を透過して生鮮品５０１まで到達するラップ透過光５０４ｃは基本的には、図５Ａと同様の経路をたどる。これは、分割光源５０３、５０４のいずれから照射された光でも、生鮮品５０１に照射されて散乱される場合には、照明光としてはほぼ同一の効果となるためである。偏光状態につき検討すると、ラップ反射光５０４ｂとラップ透過光５０４ｃ、および表層反射光５０５は偏光光である。また正確には表層と空気の境界面において鏡面反射する成分も存在するが、ここではラップと生鮮品の距離が近いことを考慮してラップからのハレーションと同一視している。

ここで偏光状態の違いに着目すると市販偏光カメラなど撮像側の偏光板の消光比が低い場合は、高輝度ハレーション５０３ｃ、５０４ｃは偏光では分離できずに画像上に残ってしまう。しかし画像上で各々のハレーションの位置が異なるという特徴があるため分割照明５０３と５０４のみをそれぞれ点灯して撮影した２枚の画像を画素を合致させて画素値のＭＩＮ演算（Ｍｉｎｕｍ：最小値）をすることによってハレーション除去画像を生成することができるという効果を有する。またこの処理を使えば偏光処理と独立にラップからのハレーションを除去できるため、同じ偏光状態の５０３ｂと５０５、あるいは５０４ｂと５０５とを分離できるという別の利点もある。すなわちラップからのハレーションを除去しつつ生鮮物の表層反射光５０５を観測でき生鮮物の深部情報のみならず表層情報も取得でき、偏光の直交ニコル撮像を使うとラップからのハレーションが除去できるが同時に生鮮物の表層情報も除去されて深部反射光のみしか観測できない、といった課題を解決してハレーション除去された偏光画像であるハレーション除去平行ニコル画像とハレーション除去直交ニコル画像を生成することができる。

図６は、ハレーション除去のための分割光源の設計指針を示す図である。本発明では、分割光源から発した照明光がラップ等の表面５０２から直接反射して対物レンズに入射する現象をハレーションと定義しているので、分割光源からのハレーションが画像上で互いに位置が異なり分離していることが前提条件となる。隣り合う分割光源どうしの実距離をＤ、照明とラップ等の透明反射物体までの距離をＬ、画角をθ、画素数をＮとするとき、ラップ上にハレーションとして移る２つの光の距離Ｄ／２が少なくとも画像の２画素程度が必要と考えると（数１）となり、分割光源どうしの距離Ｄを一定距離だけ離すことが必要となる。同時に分割光源どうしの距離Ｄをなるべく小さくした場合には、距離Ｌ、画角θをなるべく小さく、解像度Ｎをなるべく大きくすることが求められる。

図７は、ハレーション除去済み平行二コル画像とハレーション除去済み直交二コル画像の生成のための画像処理を説明する図である。まず、図３の分割光源のチャンネルごとに点灯して直線偏光である照明Ｌを交互に０°と９０°に切り替える（Ｌ０とＬ９０）。それぞれに対して撮像する受光側では、０°と９０°の偏光撮像を実施する（Ｃ０とＣ９０）。それぞれの組み合わせにてＬ０Ｃ０、Ｌ０Ｃ９０、Ｌ９０Ｃ０、Ｃ９０Ｌ９０の４枚の画像が撮像される。そして平行ニコルの対であるＬ０Ｃ０とＬ９０Ｃ９０の２枚の画像からＭＩＮ演算を実施してハレーション除去画平行ニコル画像を得る。同時に直交ニコルの対であるＬ０Ｃ９０とＬ９０Ｃ０の２枚の画像からＭＩＮ演算を実施してハレーション除去画直交ニコル画像を得る。

図８は、撮像側で０°と９０°の偏光撮像を実施する際の詳細を説明する図であり、０°偏光照明（Ｌ０）と９０°偏光照明（Ｌ９０）をそれぞれ照射した場合に、それぞれモノクロ偏光イメージセンサにて偏光撮像される状況を説明している。

ハレーション除去平行ニコル画像は、図８（Ａ）および（Ｃ）の場合に得られる２種の平行ニコル画像からＭＩＮ演算したものである。偏光モザイクの０°と９０°が位置する２種類の画素サンプリング位置のズレが均等化される。同様に、ハレーション除去直交ニコル画像は、図８（Ｂ）および（Ｄ）の場合に得られる２種の直交ニコル画像からＭＩＮ演算したもので、偏光モザイクの０°と９０°が位置する２種類の画素サンプリング位置のズレが均等化される。

以上の処理により図８（Ｅ）（Ｆ）で示すようにハレーション除去平行ニコルでの仮想的画素サンプリング位置８００１とハレーション除去直交ニコルでの仮想的画素サンプリング位置８００２とが一致する効果をさらに有する。

この効果は、このハレーション除去平行ニコル画像とハレーション除去化直交ニコル画像との差分画像であるハレーション除去偏光差分画像ＭＩＮＳＰＩを生成する場合に有効となる。この画像は第２の実施形態で凹部検出部にて表面微細構造の溝を検出し、画像合成部にて溝の強調画像を生成するために使われる。

（第１の実施形態の変形例１）
図９（Ａ）は、第１の実施形態の変形例１の内部構造を示すものであり、カラー偏光撮像するためにモノクロ偏光撮像素子２１１を使う替わりに、ＢＳ(ビームスプリッタ)９０１を用いて光路を２分割して偏光板９０２、および９０３を透過させた後に単板カラー撮像素子９０４、および９０５にて２枚の偏光画像を同時に取得する画像処理装置９０１を示している。ＢＳと偏光板の替わりに偏光ＢＳを使ってもよい。図９（Ｂ）は単板カラー撮像素子９０４を真上から見た図であり、通常のベイヤー単板カラー撮像素子を利用できる。第１の実施形態では、白色照明とモノクロ偏光撮像素子を用いていたため、被写体の輝度情報しか得られなかった。そこで、白色照明を使ってカラー情報と偏光情報の両方を取得する方法とし既存の単板カラー撮像素子を２個用いてＢＳで光路を２分割する方法を採用すれば本実施形態となる。本変形例では、ＢＳという光学部品が増え、２枚の撮像素子を使うことが必要になるが、カラー偏光画像を生成できるためラップやパック包装からのハレーションを除去して被写体の生鮮物の本来の色自体を取得できるため品質や鮮度検査に極めて有効である。

（第１の実施形態の変形例２）
図１０と図１１は第１の実施形態の変形例２を説明するものであり、リング状分割光源の別の構造１００１を示す図である。図３と同様に４個ずつの２チャンネル合計８個のＬＥＤがリング状に配置され交互に別の点灯制御が行われるが、図３と異なり、各ＬＥＤ上には０°の透過軸を有する偏光板１００２のみが配置されている。これによってチャネル１が点灯する場合もチャネル２が点灯する場合も０°の偏光照明が生成され、点灯位置だけが異なる照明が実現できる。この分割照明に組み合わせて、図４で示したモノクロ偏光撮像素子を用いると、簡易的にハレーション除去済みの平行ニコル画像とハレーション除去済み直交ニコル画像を取得することができる。図１１は、この処理のブロック図であり、基本的には図７と同様の処理を実現できる。

（実験結果例）
図１２は、生鮮品としてプラスチック製パックに入っているミニトマトを撮影した例である。透明なプラスチック製パックはほぼ平面を形成するため直上からの照明の照射によって発生するハレーションは画面全体に発生してカメラの観測輝度を飽和させてしまう程の高輝度を有するため、通常撮像では画像処理は不可能である。この様子についてＬ０Ｃ０とＬ９０Ｃ９０という平行ニコルの偏光画像を利用して説明すると、いずれもハレーションが全面的に広がっているのがわかる。これらを分割照明１（分割１）と分割照明２（分割２）で照明した２つの画像からＭＩＮ演算を実施してハレーション除去済み平行ニコル画像を生成してもハレーション１２０１は全面に残ってしまう。これは偏光を使わない照明の場合でもほぼ同様である。

そこで偏光を利用して直交ニコル撮像をする。この場合、Ｌ０Ｃ９０とＬ９０Ｃ９０という２枚の画像が得られるが、それでも偏光撮像だけではハレーションを完全には除去できず画像上に２〜３箇所の円形のハレーションが異なる位置に残留している（１２０２）。これら２枚の画像からＭＩＮ演算をすることによってハレーション除去済みの直交ニコル画像を得ることができる。以上のように分割照明と偏光撮像の両方を組みあわせることによって十分なハレーション除去品質を得ることができる（１２０３）。

図１３は、生鮮品としてラップ包装されたバナナを撮影した例である。Ｌ０Ｃ０とＬ９０Ｃ９０の平行ニコル画像を見ると分割照明１（分割１）と分割照明２（分割２）によりハレーションが発生しており、これらからのＭＩＮ演算によってはハレーション除去済み平行ニコル画像を生成しても１３０１のようにハレーションが画面内に残ってしまう。これは偏光を使わない照明の場合でもほぼ同様である。

そこで偏光を利用して直交ニコル撮像をする。この場合、Ｌ０Ｃ９０とＬ９０Ｃ９０という２枚の画像が得られるが、これもいずれもハレーションを完全には除去できず画像上に６〜７箇所の楕円のハレーションが異なる位置に残留する（１３０２）。これら２枚の画像からＭＩＮ演算をすることによってハレーション除去済み直交ニコル画像を得ることができる（１３０３）。以上のように分割照明と偏光撮像の両方を組みあわせることによって十分なハレーション除去品質を得ることができる。

なお、ここで例としたバナナの場合、表面の半透明性がそれ程顕著ではないためハレーション除去済の平行ニコル画像とハレーション除去済みの直交ニコル画像とで表面の画像はほとんど差が無いが半透明性が顕著な魚介類たとえばイカなどの場合は顕著な差がでており、直交ニコル撮像がハレーション除去と生鮮品の観察の両方において有効であることが確認されている。

（第２の実施形態）
図１４から図１６は本発明の第２の実施形態の内視鏡を説明する図である。検査用内視鏡などで臓器の表面粘膜を観察する場合、従来より平行ニコル画像と直交ニコル画像の差分である偏光差分を用いると表面の微細構造を明瞭化することができることが知られている。しかしながらこの処理では平行ニコル画像の情報に粘膜表面を覆っている粘液等からの高輝度ハレーションが必ず含まれてしまうという課題があり、第２の実施形態はこの課題に対し本発明を適用して解決するものである。

図１４は、第２の実施形態における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、例えば検査用の内視鏡システムを実現し得る。本実施形態における画像処理装置は、軟性内視鏡システムを実現しており、生体に挿入されるフレキシブルに曲がる軟性内視鏡１４０１と、制御装置１４０２と、表示部１４１８とを備える。

本実施形態では、電場振動面の方位が０°と９０°の２種の直線偏光の白色（ホワイト）光１４０５を時間的に順次交互に被写体に照射して、被写体から反射した戻り光１４０７をビームスプリッタ９０６で２つの光路に分割する。そして、分割された戻り光１０７を、それぞれ、偏光板９０２、９０３を介して２枚の単板カラー撮像素子９０４および９０５によってカラー撮像を行う。この撮像と後述する偏光差分処理によって粘膜表面の微細構造が明瞭化されるという通常の白色照明を用いた場合には困難な効果を有する。

図１４では、カラー撮像素子９０４で０°、カラー撮像素子９０５で９０°の偏光透過角で偏光撮像が行われる。ビームスプリッタ９０６を偏光ビームスプリッタに交換することで、偏光板９０２、９０３は省略することもできる。本実施形態では、内視鏡１４０１の先端部に配置したＬＥＤなどで実現される光源２０５と、偏光板２０４とでリング状分割光源２１０（リング状分割偏光照明）を生成する。照明の偏光状態の切り替えと撮像のタイミングとは、照明・撮像同期部１１２で制御される。

図１５（Ａ）は内視鏡１４０１の先端部の斜視図、構造の一例を示す断面図、図１５（Ｂ）は、先端部の断面図である。光学的な構成は、図９に示したものと同一であるから説明は省略する。

図１６は、第２の実施形態の画像処理装置におけるハレーション除去偏光差分画像（ＭＩＮＳＰＩ）の生成のための画像処理を示す図であり、図７と異なる部分のみを説明する。

２種類の直交ニコル画像Ｌ０Ｃ９０とＬ９０Ｃ０とが画素ごとに最小値（画素値が小さい方を採用する）をとることによって、ハレーション除去直交ニコル画像となり、同様に２種類の平行ニコル画像Ｌ０Ｃ０とＬ９０Ｃ９０とが画素ごとに最小値をとることによって平行ニコル画像の対であるハレーション除去平行ニコル画像となるところまでは同一である。次にハレーション除去平行ニコル画像からハレーション除去直交ニコル画像を引き算（差分処理）することによってハレーション除去偏光差分画像（ＭＩＮＳＰＩ）を生成する。

このＭＩＮＳＰＩを生成すると、第１の実施形態におけるラップ表面からのハレーション除去と同様の原理によって、内視鏡で観察する臓器の表面上を覆っている透明な粘液の透明媒質からのハレーションを除去または弱める効果を有する。

再び、図１４において、時間的に交互に切り替えられた偏光照明を点灯して撮像された画像は、画像メモリＭ０、Ｍ１に格納され、次の照明の切り替えタイミングで撮像される画像との間で最小値処理、偏光差分生成が行われる。

すなわち、照明の偏光が０°の場合には、９０４の撮像素子で撮影された画像と、１つ前の照明で９０５の撮像素子で撮影されてＭ０で蓄積された画像とが平行ニコル画像どうしとなるから、最小値処理分１４１９にて両者の最小値が計算される。そして９０５の撮像素子で撮影された画像と、１つ前の照明で９０４の撮像素子で撮影されてＭ１で蓄積された画像とが直交ニコル画像どうしとなるから、最小値処理分１４１９にて両者の最小値が計算される。

このとき信号１４１５がハレーション除去平行ニコル画像Ｉａｖ（‖）を表現し、画像信号１４１６がハレーション除去直交ニコル画像Ｉａｖ（⊥）を表現している。

平均化偏光差分生成部１４１７では、画像信号１４１５から画像信号１４１６を減算するから、ハレーション除去偏光差分画像が生成される。

一方、照明の偏光方向が９０°の場合には、平均化平行ニコルＩａｖ（‖）および平均化直交ニコルＩａｖ（⊥）の役割が逆転し、画像信号１４１６がハレーション除去平行ニコル画像Ｉａｖ（‖）を表現し、画像信号１４１５がハレーション除去直交ニコルＩａｖ（⊥）を表現するから偏光差分生成部１４１７では、画像信号１４１６から画像信号１４１５を減算する。

この切り替え制御は、差分方向信号１４１７によって指定される。偏光差分生成部１４１７で生成された平均化偏光差分画像は凹領域検出部１４２８に送られる。凹領域検出部は、平均化偏光差分画像に基づいて被写体の表面微細構造から溝を検出する。画像合成部１４３０は、検出した溝を強調した画像を生成し、偏光撮像モードのカラー画像として表示部１４１８に表示することができる。

図１７と図１８は本発明の第２の実施形態の内視鏡で撮影された切除検体（ブタ胃の表面粘膜）の画像である。従来技術として平均化偏光差分画像（ＡＶＳＰＩ）を用いると輝度観測で困難であった表面微細構造の強調ができるということは本発明者らの実験によって知られている。しかし平均化偏光差分画像ＡＶＳＰＩでは粘膜表面の微細構造の強調がされると同時に粘膜表面の粘液などによる高輝度ハレーションもその領域面積が拡大してしまう難点があった。

そこで、平行ニコル偏光画像であるＬ０Ｃ０とＬ９０Ｃ９０の２枚の画像からＭＩＮ演算をした結果ＭＩＮ（‖）と、直交ニコル偏光画像であるＬ０Ｃ９０とＬ９０Ｃ０の２枚の画像からＭＩＮ演算をした結果ＭＩＮ（⊥）を得て、両者の差分結果ＭＩＮＳＰＩを生成する。これをＡＶＳＰＩと比するとハレーション領域がかなり縮小しており、粘膜表面の観察において情報欠落の領域が少なくなるという効果がある。

図１８は、別の画像でＡＶＳＰＩ画像とＭＩＮＳＰＩ画像の比較をした結果である。ＡＶＳＰＩで課題とされていたハレーション領域が大幅に縮小され又は除去されるのがわかる。

本発明の画像処理装置は、ラップやパッケージにて包装された生鮮物を撮影する場合の高輝度ハレーションを除去して正しく品質や鮮度検査をする場合に有用に利用される。さらに内視鏡など生体内を観察する機器において、臓器粘膜上の粘液などの透明な反射層からのハレーションを除去する場合にも利用可能である。

２０１ スマートフォン
２０２ 画像処理装置(スマートフォン外付け)
２０３ 対物レンズ
２０４ 偏光板
２０５ ＬＥＤ
２０６ モザイク偏光板
２０７ モノクロ撮像素子
２０８ 画像処理部
２０９ 画像伝送部
２１０ リング状分割光源
２１１ モノクロ偏光撮像素子

Claims (7)

1. Ｐ種類の互いに交差する偏光透過軸を有する偏光板とＰチャンネルの発光素子を異なる位置に配置した分割光源からなる偏光照明と、
   前記Ｐ種類の照明光で被写体が順次照射されるたびに、前記被写体からの戻り光の画像を取得する偏光撮像素子であって、Ｐ個以上の異なる偏光透過方向に偏光したＰ種類以上の偏光画像を取得するように構成された偏光撮像素子と、
   を備え、
   前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の画像の画素ごとの最小値を算出するハレーション除去直交ニコル画像のいずれかを得ることを特徴とする画像処理装置。
2. さらに前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の画像の画素ごとの最小値を算出するハレーション除去平行ニコル画像を得ることを特徴とする請求項１記載の画像処理装置。
3. カメラ座標系に対して０°と９０°の偏光透過軸を有する偏光板が交互に設置されており、その下層に時間的に交互に発光する２チャンネルのＬＥＤが２Ｎ個（Ｎ≧３）設置されていることを特徴とするリング状分割光源と、少なくとも０°と９０°の偏光透過軸を有するモザイク偏光板とモノクロ撮像素子からなるモノクロ偏光撮像素子を備えることを特徴とする請求項１記載の偏光画像処理装置。
4. カメラ座標系に対して０°の偏光透過軸を有する偏光照明Ｌ０と９０°の偏光透過軸を有する偏光照明Ｌ９０をそれぞれ照射した場合に偏光モザイクの０°と９０°の偏光透過軸を有する画素が位置する２種の画素を加算または平均化または最小値を採用する演算を実施することを特徴とする請求項１記載の画像処理装置。
5. 偏光撮像素子は光路を２分割するＢＳ(ビームスプリッタ)、および単板カラー撮像素子にて構成されることを特徴とする請求項１記載の画像処理装置。
6. リング状分割光源は、カメラ座標系に対して０°または９０°の偏光透過軸を有する偏光板が設置されており、その下層に時間的に交互に発光する２チャンネルのＬＥＤが２Ｎ個（Ｎ≧３）設置されていることを特徴とする請求項１記載の画像処理装置。
7. 前記照明光のＰ種類の偏光方向の各々に垂直な偏光透過方向に偏光した光によって撮像されたＰ種の画像の画素ごとの最小値を算出するハレーション除去直交ニコル画像、および前記照明光のＰ種類の偏光方向の各々に平行な偏光透過方向に偏光した光によって撮像されたＰ種の画像の画素ごとの最小値を算出するハレーション除去平行ニコル画像、の２枚の画像の差分演算を実施しハレーション除去偏光差分画像を生成することを特徴とする請求項２記載の画像処理装置。