JP2016032289A - 画像合成システム、画像合成方法、画像合成プログラム - Google Patents
画像合成システム、画像合成方法、画像合成プログラム Download PDFInfo
- Publication number
- JP2016032289A JP2016032289A JP2015004081A JP2015004081A JP2016032289A JP 2016032289 A JP2016032289 A JP 2016032289A JP 2015004081 A JP2015004081 A JP 2015004081A JP 2015004081 A JP2015004081 A JP 2015004081A JP 2016032289 A JP2016032289 A JP 2016032289A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- region
- selection
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title abstract description 26
- 238000003786 synthesis reaction Methods 0.000 title abstract description 24
- 238000001308 synthesis method Methods 0.000 title description 4
- 239000002131 composite material Substances 0.000 claims abstract description 91
- 238000004364 calculation method Methods 0.000 claims abstract description 88
- 239000000203 mixture Substances 0.000 claims description 116
- 238000000034 method Methods 0.000 claims description 110
- 230000008569 process Effects 0.000 claims description 47
- 230000035945 sensitivity Effects 0.000 claims description 34
- 230000010365 information processing Effects 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 66
- 238000012545 processing Methods 0.000 description 55
- 230000002159 abnormal effect Effects 0.000 description 45
- 238000007781 pre-processing Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 229920006395 saturated elastomer Polymers 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 238000002156 mixing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005315 distribution function Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000000554 iris Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004800 variational method Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】性質の異なる複数の画像を用いて視認性をより高めた合成画像を得る。
【解決手段】画像合成システムとして、性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、複数の画像から取得した指標データを参照して、複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部とを設ける。
【選択図】図１
【解決手段】画像合成システムとして、性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、複数の画像から取得した指標データを参照して、複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部とを設ける。
【選択図】図１
Description
本発明は、画像処理技術に関し、詳しくは、波長帯域に対する感度特性が異なる複数の画像などの性質の異なる複数の画像を用いて所望する合成画像を得る画像合成システム、画像合成方法、及び画像合成プログラムに関する。
昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラでは波長帯域に対する様々な感度特性で画像を取得できる。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで実質的に異なる画像を取得される。
また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。他にも、近紫外線カメラも市販されている。或いは、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。
一般に 異なる種類の撮像センサを用いたカメラでは、光の周波数に対する感度特性が異なるため、何れかの撮像センサで取得された画像が他方の画像に対して低画質になりやすい。また、撮像の設定が異なることが多い。例えば、ある可視光カメラで照明を撮影した場合、発光部付近の画素で露光量が多すぎるため、可視光カメラで撮影された画像（可視光画像）では発光部付近の画素値が飽和（白とび）する。他方で、同一画角であっても、赤外線カメラで撮影された画像（赤外光画像）は、発光部付近の画素値が飽和せずに通常レンジ内で画像化できる。このように波長帯域に対する感度特性が異なる複数の画像を用いることで、『白とび』を解消する有益な合成画像を得られることが推定される。同様に、波長帯域に対する感度特性が異なる複数の画像を用いることで、『黒つぶれ』の解消も推定できる。
波長帯域に対する感度特性が異なる複数の画像を用いる画像合成処理に関する関連技術は、例えば以下の３文献がある。
特許文献１には、同一撮像センサを用いて、可視光画像と赤外光画像とを同時に同一画角で同一露光時間で撮像し、可視光画像の『白とび』部分について補整した後に全体画像の階調を整える手法が開示されている。この手法では、同時に同一画角で同一露光時間で撮像した可視光画像と赤外光画像との画像特徴から、可視光画像の『白とび』部分の階層特徴を補完しつつ、全体を整える。結果、可視光画像の『白とび』部分をレンジ内に有するハイダイナミックレンジ画像（HDR画像（High Dynamic Range Image））を生成している。
具体的な実施形態での処理動作は、図９に示すように、撮像部において可視光画像と赤外光画像とを同時に撮像し、各々の画像を画像処理部に出力する。画像処理部は、可視光画像に飽和した画素が存在するか否かを検出し、可視光画像に飽和した画素が存在する場合、飽和した画素の周囲の可視光画像の画素出力値と赤外光画像の画素出力値との比（補正係数）を求める。飽和した画素における赤外光画像の画素出力値と補正係数を乗算し補正値を算出する。そして、可視光画像の飽和した画素の画素値と補正値とを入れ換える。最後に、階調変換部は、補正画素値に基づいて出力画像の階調を変換する。
具体的な実施形態での処理動作は、図９に示すように、撮像部において可視光画像と赤外光画像とを同時に撮像し、各々の画像を画像処理部に出力する。画像処理部は、可視光画像に飽和した画素が存在するか否かを検出し、可視光画像に飽和した画素が存在する場合、飽和した画素の周囲の可視光画像の画素出力値と赤外光画像の画素出力値との比（補正係数）を求める。飽和した画素における赤外光画像の画素出力値と補正係数を乗算し補正値を算出する。そして、可視光画像の飽和した画素の画素値と補正値とを入れ換える。最後に、階調変換部は、補正画素値に基づいて出力画像の階調を変換する。
また、特許文献２には、複数の撮像センサから取得した同一画角の可視光画像と赤外光画像の同一領域内での可視光画像と赤外光画像の輝度を対比して、高い方の画像の輝度情報を用いてHDR画像に使用する手法を開示している。
また、特許文献３には、１つの撮像センサ内に可視光の受光素子群とともに赤外光の受光素子群を配置して、同一画角の可視光と赤外光の信号化と同一領域内での可視光と赤外光の輝度合成を可能にした撮影装置（カメラ）が開示されている。
なお、下記非特許文献１ないし７は、本発明に利用できる要素技術であり、本発明分野の先行技術である。
Rudin, L. I.; Osher, S.; Fatemi, E. (1992). "Nonlinear total variation based noise removal algorithms". Physica D 60: 259-268.
K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, "BM3D Image Denoising with Shape-Adaptive Principal Component Analysis", Proc. Workshop on Signal Processing with Adaptive Sparse Structured Representations (SPARS'09), Saint-Malo, France, April 2009.
S. Park, M. Park, and M. G. Kang, "Super-resolution image reconstruction, a technical overview," IEEE Signal Process. Mag., vol. 20, no. 5, pp. 21-36, May 2003.
B. D. Lucas and T. Kanade (1981), "An iterative image registration technique with an application to stereo vision," Proceedings of Imaging Understanding Workshop, pages 121-130
B. Zitova´, J. Flusser, "Image registration methods: a survey,"Image Vision Computing. 21 (11) (2003) 977-1000.
Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimisation via graph cuts", IEEE Transactions on Pattern Analysis and Machine Intelligence, 29, 1222-1239,(2001)
Pearl, Judea. "Reverend Bayes on inference engines: A distributed hierarchical approach". Proceedings of the Second National Conference on Artificial Intelligence. AAAI-82, (1982).
P´erez, P., Gangnet, M. and Blake, A. "Poisson image editing," ACM Transactions on Graphics vol. 22(3), p. 313-318 (2003).
先行技術たる特許文献１ないし３について、課題を例示すれば以下の点を指摘できる。
特許文献１で開示された方法は、可視光画像の画素値が飽和した画素でしか高画質化処理を行わないため、白とびが存在する領域以外に高画質化処理は影響されない。例えば、暗めの所で 赤外線フラッシュを用いて可視光画像と赤外光画像を撮像した場合、可視光画像にはノイズが多く 赤外光画像は鮮明であるものの、高画質化処理が有効に働かない。同様に、霧や霞がかかった所で撮影した場合でも、赤外光画像はクリアであったとしても、可視光画像の透過性について変化はなく、白っぽい画像が取得される。
特許文献２や３で開示されている手法も同様であり、可視光画像と赤外光画像との間の画像特徴を用いて、画像合成を行っているものの、合成する領域や その領域の優先画像（加えて反映度）などに改善の余地を残す。改善点を端的に指摘すれば、複数の画像から合成する領域やその大きさが予め人為的に定められている点が挙げられる。また、撮像手段は、同時に同画角で可視光画像と赤外光画像を取得することが求められる点もシステムによっては問題になるかもしれない。
発明者らは、波長帯域に対する感度特性などの性質の異なる複数の画像から、それぞれの画像が有する視認性を高め得る画像特徴を利用した画像合成手法を検討した。本手法では、各々の画像が他の画像に対して有する良好な視認性の領域を踏まえた合成画像を取得可能なアルゴリズムを検討した。
本発明は、上記検討に鑑み、性質の異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像を生成する画像合成システム、画像合成方法、画像合成プログラムを提供する。
本発明に係る画像合成システムは、性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部とを含むことを特徴とする。
本発明に係る情報処理システムによる画像合成方法は、性質の異なる複数の画像を取得し、前記複数の画像から視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化し、前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、選択された視認性がより高い領域を組み合わせて合成画像を生成することを特徴とする。
本発明に係る画像合成プログラムは、情報処理システムを、性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出手段と、前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択手段と、前記領域選択手段にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成手段として動作させることを特徴とする。
本発明によれば、性質の異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像を生成する画像合成システム、画像合成方法、画像合成プログラムを提供できる。
本発明の実施形態を図面を参照して説明する。
以下では、性質の異なる複数の画像として、波長帯域に対する感度特性が異なる複数の画像（可視光センサから取得された画像（以下、可視光画像）と非可視光センサから取得された画像（以下、非可視光画像））を例にとって説明する。なお、本発明で用いる画像はこれに限定されない。例えば、画像合成に用いる画像は、複数の異なる画像センサが両方とも非可視光センサから取得された画像であってもよいし、両方とも可視光センサから取得された画像であってもよい。また、露出量の異なるカメラから取得された画像や、撮像時のフラッシュの有無が異なる画像でもよい。
また、画像の別の例としては、可視光画像と深度画像のように性質の異なる画像であってもよい。また、画像合成システムは、可視光画像と オプティカルフロー画像やステレオ画像のように動きや立体を情報化した画像とを用いてもよい。或いは、画像合成システムは、例えば、可視画像と CG（Computer Graphics）などにより合成したシミュレーション画像とを用いてもよいし、可視画像と 何らかの物理量をシミュレートした画像とを用いてもよい。いずれにしても、本発明は、同一の対象に対する複数の画像を入力画像とすれば何でもよい。
以下では、性質の異なる複数の画像として、波長帯域に対する感度特性が異なる複数の画像（可視光センサから取得された画像（以下、可視光画像）と非可視光センサから取得された画像（以下、非可視光画像））を例にとって説明する。なお、本発明で用いる画像はこれに限定されない。例えば、画像合成に用いる画像は、複数の異なる画像センサが両方とも非可視光センサから取得された画像であってもよいし、両方とも可視光センサから取得された画像であってもよい。また、露出量の異なるカメラから取得された画像や、撮像時のフラッシュの有無が異なる画像でもよい。
また、画像の別の例としては、可視光画像と深度画像のように性質の異なる画像であってもよい。また、画像合成システムは、可視光画像と オプティカルフロー画像やステレオ画像のように動きや立体を情報化した画像とを用いてもよい。或いは、画像合成システムは、例えば、可視画像と CG（Computer Graphics）などにより合成したシミュレーション画像とを用いてもよいし、可視画像と 何らかの物理量をシミュレートした画像とを用いてもよい。いずれにしても、本発明は、同一の対象に対する複数の画像を入力画像とすれば何でもよい。
また、外部で画像化済みの画像群を入力画像として用いる形態を説明するが、光学系要素や撮像素子を具備して、本画像合成システム内で入力画像を生成する画像取得部を有してもよい。
［第１の実施形態］
図１は、第１の実施形態に係る画像合成システム１を示す構成図である。
図１は、第１の実施形態に係る画像合成システム１を示す構成図である。
第１の実施形態に係る画像合成システム１は、選択指標算出部１０と、領域選択部２０、画像合成部３０を含み構成されている。
当該画像合成システム１は、複数の波長帯域に対する感度特性が異なる画像を入力画像群として受け付けて、生成した合成画像を所要に出力する。出力形態は、例えば表示部にリアルタイムで出力してもよいし、画像データとして半導体メモリーやＨＤＤ（Hard disk drive）などの記憶部に保存してもよい。この記憶部は、画像合成システム１内に設けてもよいし、外部記憶装置を使用してもよい。
選択指標算出部１０は、入力画像である複数の画像から、視認性がより高い領域を選択するための指標データとして、各々の画像内での視認性の指標値を画像毎に取得する。また、選択指標算出部１０は、指標データとして、各々の画像内での視認性の指標と、各々の画像の他の画像に対する指標と、を組み合わせた指標値を画像毎に取得してもよい。
なお、ここでいう視認性が高い領域というのは、利用者において、その利用用途において重要であると思われる領域であってもよい。
なお、ここでいう視認性が高い領域というのは、利用者において、その利用用途において重要であると思われる領域であってもよい。
以下では、一例として、赤外線画像から領域を選択する場合を例にとって説明する。
人体や車などの視認性が高いとして選択したい領域は多くの場面で、赤外線画像内で一定以上の温度や特定範囲内の温度を示す傾向がある。
人体や車などの視認性が高いとして選択したい領域は多くの場面で、赤外線画像内で一定以上の温度や特定範囲内の温度を示す傾向がある。
そこで、例えば、画像合成システムがある温度以上や温度範囲の領域を画像内から選択するように、所望温度域で赤外線画像の画素値が大きな値を持つ関数を選択指標算出部１０に設定すればよい。後述する領域選択部２０は、この関数に基づいた指標値に従って所望領域を選択する。
同様に、深度画像から所望領域を選択する場合を例にとって説明する。この例では、選択指標算出部１０は、より近い被写体にある画素ほど領域選択されやすくするように、深度画像の画素値が大きいほど大きな値を持つ関数で指標値を出力するように構成すればよい。
同様に、オプティカルフロー画像から領域を選択する場合を例にとって説明する。この例では、選択指標算出部１０は、オプティカルフローの値が大きいほど大きな値を持つ関数で指標値を出力するように構成すればよい。
同様に、深度画像から所望領域を選択する場合を例にとって説明する。この例では、選択指標算出部１０は、より近い被写体にある画素ほど領域選択されやすくするように、深度画像の画素値が大きいほど大きな値を持つ関数で指標値を出力するように構成すればよい。
同様に、オプティカルフロー画像から領域を選択する場合を例にとって説明する。この例では、選択指標算出部１０は、オプティカルフローの値が大きいほど大きな値を持つ関数で指標値を出力するように構成すればよい。
すなわち、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択するために、利用者は、入力画像の種別毎に、画素値と視認性の高さを表す関数を定義し、この関数に基づいて視認性の高い領域が選択されるように、選択指標算出部１０の動作を設計してもよい。
なお、所望領域を選択するための上記関数は、例えば、B-スプライン関数などによって 利用者が手動で定義してもよいし、画像認識や機械学習などの技術を用いて このような関数を算出してもよい。
なお、所望領域を選択するための上記関数は、例えば、B-スプライン関数などによって 利用者が手動で定義してもよいし、画像認識や機械学習などの技術を用いて このような関数を算出してもよい。
以下では、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択するための関数を、機械学習により算出する方法について、詳しく述べる。
まず、利用者は、学習用のデータを収集するために、機械学習マシンが提示する入力画像とは異なる複数の学習用の画像群に対して、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択する。次に、機械学習マシンは、例えば、全ての学習用の画像から、特徴ベクトルを画素毎に算出する。さらに、各特徴ベクトルと視認性が高い領域の関係を、例えば、サポートベクターマシンなどにより識別器を学習する。機械学習結果は、画像合成システムと同一のコンピュータに機械学習マシンを構築して取得してもよいし、他のコンピュータやクラウド環境にある機械学習機能を介して取得してもよい。以上により、視認性が高い領域（すなわち、利用者にとって重要な領域）が、識別器によって表現できる。
実際に、入力画像に対して、視認性が高い領域を算出する際には、まず、選択指標算出部１０は、入力画像の画素毎に、学習時に用いた同様の計算方法にて、特徴ベクトルを算出する。次に、選択指標算出部１０は、機械学習により得られた識別器を用いて、各特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得する。
まず、利用者は、学習用のデータを収集するために、機械学習マシンが提示する入力画像とは異なる複数の学習用の画像群に対して、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択する。次に、機械学習マシンは、例えば、全ての学習用の画像から、特徴ベクトルを画素毎に算出する。さらに、各特徴ベクトルと視認性が高い領域の関係を、例えば、サポートベクターマシンなどにより識別器を学習する。機械学習結果は、画像合成システムと同一のコンピュータに機械学習マシンを構築して取得してもよいし、他のコンピュータやクラウド環境にある機械学習機能を介して取得してもよい。以上により、視認性が高い領域（すなわち、利用者にとって重要な領域）が、識別器によって表現できる。
実際に、入力画像に対して、視認性が高い領域を算出する際には、まず、選択指標算出部１０は、入力画像の画素毎に、学習時に用いた同様の計算方法にて、特徴ベクトルを算出する。次に、選択指標算出部１０は、機械学習により得られた識別器を用いて、各特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得する。
取得した指標値は、任意の記憶領域に一時記憶してもよいし、領域選択部２０が即座に取得するようにしてもよい。なお、入力画像は、２枚の画像に限定されず、３枚以上の画像でもよい。
以下では、各々の画像内での視認性の指標を画像内選択指標と記載し、各々の画像の他の画像に対する指標を画像間選択指標と記載する。
領域選択部２０は、選択指標算出部１０で算出された指標データを参照して、入力画像である複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する。この領域選択処理では、複数の画像に含まれる任意画像と他の画像との関係で視認性がより高い領域を示す合成パタンデータを、画像内選択指標や画像間選択指標を変数として含む関数で求めればよい。
画像合成部３０は、領域選択部２０にて選択された視認性がより高い領域を示した合成パタンデータに従い、入力画像である複数画像から視認性がより高い領域を基準画像に組み合わせて合成画像を生成する。また、画像合成として、基準画像に反映させる各部分画像に、基準画像の輝度を踏まえた輝度調整処理を加えてもよい。ここで基準画像を用いることで、情報処理量の低減が図れる。また、基準画像を用いずに選択された各領域を組み合わせて合成画像を得てもよい。
また、画像合成部３０は、画像合成に当たって、画像合成する各々の領域範囲とその領域での優先画像を識別して、領域毎の画像合成を実施した後に、画像全体を合成するようにしても良い。この場合、１ないし複数の領域がそれぞれ画像合成されることで、結果的に より良好な視認性を有する合成画像が得られる。また、個々の領域毎の画像合成について、選択指標算出部１０で算出した指標データに従って、画像合成手法を選定することも可能である。例えば、基準画像と優先画像の該当領域との接触領域の輝度比に基づいて、優先画像と基準画像のブレンド比を変えたり、優先画像の種別や領域の大きさに基づいて色補完手法の選定するとよい。
なお、基準画像は、入力画像の何れかをユーザが選択してもよいし、画像合成システム１が自動的に選択するようにしてもよい。
基準画像の選択アルゴリズムは、例えば、入力画像１枚ごとの画像内の全体の視認性指標に基づいて、より視認性が高いだろう画像を選択する手法を用いることができる。より具体的な一例であれば、基準画像選定処理として、各々の画像が有する全面もしくは選択された所定範囲の適度な視認性（例えば所定輝度範囲内）領域の面積に基づいて、面積が広い画像を基準画像として選定処理すればよい。また、単に、時間帯や撮像目標、撮影時の明るさなどに合わせて一般により良好な、撮影手法で取られた画像 や 波長帯域に対する感度特性 を有する画像を選定してもよい。
基準画像の選択アルゴリズムは、例えば、入力画像１枚ごとの画像内の全体の視認性指標に基づいて、より視認性が高いだろう画像を選択する手法を用いることができる。より具体的な一例であれば、基準画像選定処理として、各々の画像が有する全面もしくは選択された所定範囲の適度な視認性（例えば所定輝度範囲内）領域の面積に基づいて、面積が広い画像を基準画像として選定処理すればよい。また、単に、時間帯や撮像目標、撮影時の明るさなどに合わせて一般により良好な、撮影手法で取られた画像 や 波長帯域に対する感度特性 を有する画像を選定してもよい。
結果、他の感度特性で取得された画像内で基準画像の視認性を高められる画像領域を視認可能に画像全体に渡り反映された合成画像が得られる。例えば、日中の風景画であれば、基準画像として可視光画像が選択されることが多いと考えられる。この場合、非可視光画像内で可視光画像よりも視認性が良い領域部分が抽出されて可視光画像と画像合成される。また、基準画像として非可視光画像が選択された場合、可視光画像内で非可視光画像よりも視認性が良い領域部分が抽出されて非可視光画像に画像合成される。
なお、以上の記述では、選択指標算出部１０、領域選択部２０、画像合成部３０が単一の階層にて動作する例について説明した。しかし、本発明は、画像の取り扱いを単一の階層に限定する必要はない。
例えば、１ないし複数の入力画像を周波数成分が異なる複数の階層（画像ピラミッド）を有する画像で受け付け、又は 入力画像を前処理で複数の階層を有する画像データに分解して、各階層で各々の処理動作を実行するアルゴリズムを採用してもよい。より具体的な一例では、選択指標算出部１０、領域選択部２０は、階層毎に、各々の処理を並列的に実施する。次に、画像合成部３０は、各階層における処理結果を統合して、最終的な合成画像を生成してもよい。
このように、各入力画像を周波数成分が異なる複数の階層に分けて取り扱うことで、可視光画像では高周波成分に視認性が高い領域が存在し、遠赤外線画像では低周波成分の同様の領域に視認性が高い領域が存在するような場合に、領域選択部２０は、高周波成分が支配的な階層からは可視光画像を、低周波成分が支配的な階層からは遠赤外線画像を選択する。そして、画像合成部３０は、可視光画像の高周波成分の画像情報と 遠赤外線画像の低周波成分の画像情報とを用いて、当該領域の画像を合成する。結果、両者の視認性の高さ（利用者にとっての重要性）を保持した画像が合成できる。
例えば、１ないし複数の入力画像を周波数成分が異なる複数の階層（画像ピラミッド）を有する画像で受け付け、又は 入力画像を前処理で複数の階層を有する画像データに分解して、各階層で各々の処理動作を実行するアルゴリズムを採用してもよい。より具体的な一例では、選択指標算出部１０、領域選択部２０は、階層毎に、各々の処理を並列的に実施する。次に、画像合成部３０は、各階層における処理結果を統合して、最終的な合成画像を生成してもよい。
このように、各入力画像を周波数成分が異なる複数の階層に分けて取り扱うことで、可視光画像では高周波成分に視認性が高い領域が存在し、遠赤外線画像では低周波成分の同様の領域に視認性が高い領域が存在するような場合に、領域選択部２０は、高周波成分が支配的な階層からは可視光画像を、低周波成分が支配的な階層からは遠赤外線画像を選択する。そして、画像合成部３０は、可視光画像の高周波成分の画像情報と 遠赤外線画像の低周波成分の画像情報とを用いて、当該領域の画像を合成する。結果、両者の視認性の高さ（利用者にとっての重要性）を保持した画像が合成できる。
このような構成によって、波長帯域に対する感度特性が異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像を得ることができる。
［画像処理フロー］
次に、画像合成処理について説明する。
図２では、画像合成システム１で行われる画像処理フロー例を示している。なお、本処理フローや後述する処理フローは例示であり、処理の順序の入れ替えや、各処理の繰り返し方法、各処理に適用する方式、処理する画像枚数などは所要に適宜変更して読みかえればよい。
次に、画像合成処理について説明する。
図２では、画像合成システム１で行われる画像処理フロー例を示している。なお、本処理フローや後述する処理フローは例示であり、処理の順序の入れ替えや、各処理の繰り返し方法、各処理に適用する方式、処理する画像枚数などは所要に適宜変更して読みかえればよい。
まず、選択指標算出部１０は、入力画像群（波長帯域に対する感度特性が異なる複数の画像）から、各々の画像毎に、画像内選択指標と画像間選択指標を数値化して、視認性がより高い領域を選択した指標データを取得する（Ｓ１０１）。本処理例では、画像内選択指標に追加して、画像間選択指標として、画像間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化する。画素レベル特徴の指標値を得るための関数を例示すれば、画素レベル特徴である輝度比や画素連続性、画素間の輝度値の勾配を含めた関数を組み合わせて、画像内選択指標と画像間選択指標を算出すればよい。
画像内選択指標データであれば、コントラストが大きいほど大きな値を持つ指標を数値化すればよい。
画像間選択指標データであれば、以下の複数の関数を組み合わせることで、画素レベル特徴である画素間の連結性と画素間の輝度値の勾配の両方を組み合わせた指標値を得られる。
１）画素間の連結性を示す関数として、複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
２）画素間の輝度値の勾配を示す関数として、複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
なお、選択指標算出部１０は、複数の画像から指標データを取得する前に、入力画像について、視認性を定める基準画像もしくは 複数の画像の何れかの画像に対する正規化処理を実施することが望ましい。正規化処理を行うことで、撮像条件や撮像素子、出力形態などの違いによって生じた、画像毎の視認性の偏りが補正される。
１）画素間の連結性を示す関数として、複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
２）画素間の輝度値の勾配を示す関数として、複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
なお、選択指標算出部１０は、複数の画像から指標データを取得する前に、入力画像について、視認性を定める基準画像もしくは 複数の画像の何れかの画像に対する正規化処理を実施することが望ましい。正規化処理を行うことで、撮像条件や撮像素子、出力形態などの違いによって生じた、画像毎の視認性の偏りが補正される。
また、選択指標算出部１０は、複数の画像から指標データを取得する前に、入力画像について、画角を定める基準画像もしくは 複数の画像の何れかの画像に対する位置合わせ処理を実施することを行ってもよい。位置合わせ処理を行うことで、後段の情報処理量の削減や、画像合成の劣化等を低減できる。
次に、領域選択部２０は、取得された指標データを参照して、複数の画像から、優先画像とその領域範囲を一体的に導出処理して、合成画像に使用する視認性がより高い領域を選択する（Ｓ１０２）。
領域を選択は、画素レベルの特徴が表れている指標データを参照して、画像内の画素毎の指標値と 比較する画像の画素間の指標値と を変数に有した関数を利用して画像全体に画像処理を実行することで、優先画像とその領域範囲を合成パタンデータとして確定する。また、合成パタンデータ内に領域毎の画像合成処理方式を記述してもよい。
領域を選択は、画素レベルの特徴が表れている指標データを参照して、画像内の画素毎の指標値と 比較する画像の画素間の指標値と を変数に有した関数を利用して画像全体に画像処理を実行することで、優先画像とその領域範囲を合成パタンデータとして確定する。また、合成パタンデータ内に領域毎の画像合成処理方式を記述してもよい。
次に、画像合成部３０は、選択された視認性がより高い領域を組み合わせて合成画像を生成する（Ｓ１０３）。合成パタンデータを用いることで、選択された視認性がより高い領域について識別可能になっている。また、領域毎に画像合成処理を実施する場合、合成パタンデータを用いることで、領域毎の画像合成処理方式の識別（アルゴリズム選定）や、同一画像合成処理方式を用いる複数の領域での共通する演算処理の一元化などが容易になる。
例えば、画像合成部３０は、合成画像前に、基準画像に反映させる各部分画像に、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、非可視光領域の色成分を可視光領域の色成分に補正する処理を一元化して実施できる。
例えば、画像合成部３０は、合成画像前に、基準画像に反映させる各部分画像に、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、非可視光領域の色成分を可視光領域の色成分に補正する処理を一元化して実施できる。
上記処理動作が行なわれることによって、波長帯域に対する感度特性が異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像が得られる。
次に、第１の実施形態の一構成例について図面を用いて説明する。
図３は、画像合成システムを含む画像表示システムを示す構成図である。
図３を参照すると、画像表示システム１００は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）１００と、画像入力部１０１と画像出力部１０２とから構成されている。
コンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）１００は、前処理部１１０と、選択指標算出部１２０と、領域選択部１３０と、画像合成部１４０とを含み構成されている。
これらの部はそれぞれ概略つぎのように動作する。
図３を参照すると、画像表示システム１００は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）１００と、画像入力部１０１と画像出力部１０２とから構成されている。
コンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）１００は、前処理部１１０と、選択指標算出部１２０と、領域選択部１３０と、画像合成部１４０とを含み構成されている。
これらの部はそれぞれ概略つぎのように動作する。
画像入力部１０１には、可視光センサを内蔵したカメラから取得された可視光画像と、非可視光センサを内蔵したカメラから取得された非可視光画像などの性質の異なる複数の画像が入力される。また、例えば、フラッシュ前の画像、フラッシュ中の画像、フラッシュ後の画像や、異なるカメラ設定で取得された画像相互を入力画像として用いてもよい。また、入力されるデータ形式はどのような形式でもよい。例えばビットマップイメージや圧縮イメージの複数画像データを入力画像としてもよいし、コンポジット映像信号などの映像信号を入力信号としてそれぞれ受け付けて、コンピュータ１００側で画像データ化してもよい。
そして、入力画像は、コンピュータ１００のメモリ（図示せず）等に記録される。
以下では、入力画像として、可視光画像と 非可視光画像としての近赤外光画像をそれぞれ１画像ずつ入力する例にとって説明する。なお、非可視光画像として、紫外画像や電波画像、テラヘルツ画像を用いてもよい。撮像された周波数成分が画像化されてあれば、どのような画像を用いてもよい。
そして、入力画像は、コンピュータ１００のメモリ（図示せず）等に記録される。
以下では、入力画像として、可視光画像と 非可視光画像としての近赤外光画像をそれぞれ１画像ずつ入力する例にとって説明する。なお、非可視光画像として、紫外画像や電波画像、テラヘルツ画像を用いてもよい。撮像された周波数成分が画像化されてあれば、どのような画像を用いてもよい。
前処理部１１０は、可視光画像と非可視光画像の両画像について、前処理を実施する。前処理には、ノイズ除去処理やボケ除去処理、鮮明化処理、画像強調処理などを適宜実行すればよい。以下では、これらの処理についての詳細を説明する。ノイズ除去処理は、可視光画像と非可視光画像に含まれているセンサノイズや圧縮ノイズを除去する処理である。これらのノイズを除去する方法としては、例えば、ガウシアンフィルタやメディアンフィルタ、バイラテラルフィルタなどのフィルタを用いてノイズ除去を行ってもよいし、例えば非特許文献１にあるような、画像再構成による方法を用いてノイズ除去を行ってもよい。あるいは、非特許文献２にあるようなパッチベースの方法を用いてノイズ除去を行ってもよい。
また前処理部１１０で行うボケ除去処理とは、可視光画像と非可視光画像に含まれるボケを除去する処理である。ボケとしては、焦点ボケやモーションブラーなどがある。ボケ除去処理を行う方法としては、例えば、ルーシー・リチャードソンの方法などを用いてボケ除去処理を行えばよい。
さらに前処理部１１０は、利用者に より良い視認性を提供するために、鮮明化処理、画像強調処理或いは超解像処理などを１ないし複数の組み合わせで行うことが望ましい。鮮明化処理の例としては、例えば、可視光画像と非可視光画像のそれぞれについて、明度やコントラストを補正することで視認性を向上させればよい。また、画像強調処理の例としては、例えば、解像感を向上させるために、可視光画像と非可視光画像のそれぞれについて、画像中の高周波成分を強調する処理などを行えばよい。超解像処理の例としては、例えば、非特許文献３に記載の方法を用いて、可視光画像と非可視光画像の解像度を向上させればよい。前処理部１１０は、これらの前処理が行われた多数の画像をメモリ（図示せず）等に保存して、後段の処理時に適宜読み出せるように保存する。
次に、選択指標算出部１２０は、前処理部１１０にて前処理がされた可視光画像と非可視光画像のそれぞれについて、１）画素毎の視認性の高さに基づき定義される画像内選択指標と、２）１枚の画像中の画素間の連結性に基づき定義される画像間選択指標の２つを、視認性が高い領域をそれぞれの画像から選択するための指標データとして算出する。前処理の設定が複数ある場合、選択指標算出部１２０は、それぞれの画像について指標データを算出する。
また、選択指標算出部１２０は、指標データを取得する前に、非可視光画像の画素値を可視光画像の画素値に合わせるために、正規化処理や位置合わせ処理を実施することが望ましい。
正規化処理の一例としては、選択指標算出部１２０は、可視光画像と非可視光画像の平均と分散を算出し、両者の平均と分散が一致するように非可視光画像の画素値を正規化すればよい。また、位置合わせ処理として、可視光画像と非可視光画像の間に存在する位置ずれを補正する。位置ずれを補正する手法としては、例えば、非特許文献４にあるように領域ベースの方法を用いてもよいし、非特許文献５にあるように特徴点を用いた方法を用いることも可能である。
この際、入力画像枚数が多い場合、予め、視認性や画角を定める基準画像を定めることで、正規化処理や位置合わせ処理の処理量が低減できる。なお、入力画像の全ての組み合わせに対して正規化処理や位置合わせ処理を実施する構成としてもよい。
以下、選択指標算出部１２０が取得する選択指標データ、すなわち画像内選択指標と画像間選択指標についてより具体的に説明する。なお、以下では、可視光画像と非可視光画像がそれぞれ１枚ずつある場合について説明するが、本発明はこれに限定されない。例えば、非可視光画像が複数枚／複数設定あってもよいし、可視光画像が複数枚／複数設定あってもよい。要するに、性質の異なる画像が複数枚あれば何でもよい。
まず、画像内選択指標について説明する。画像内選択指標は、例えば、画素毎に輝度値の勾配に基づき定義すればよい。すなわち、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標を、それぞれ画像中の輝度勾配が大きいほど、大きい量として定義すればよい。
なお、上記では、輝度勾配を抽出する方法としては、ｘ方向とｙ方向の微分を用いてもよいし、ラプラシアンフィルタを用いて画素毎の画像内選択指標を算出してもよい。あるいは、特定の高い周波数の抽出するフィルタをあらかじめ定義し、その周波数成分の大きさに基づいて、画素毎の画像内選択指標を算出してもよい。或いは、周辺領域での画素値の最大値と最小値の差分値を画像内選択指標としてもよい。或いは着目する画素を中心とする周辺領域内の情報エントロピーを算出し、これを画像内選択指標としてもよい。
なお、上記では、輝度勾配に基づいて画素毎の画像内選択指標を算出する方法について述べたが、本発明はこれに限定されない。
例えば、画素毎の輝度値の勾配だけでなく、輝度値の勾配の方向や、輝度値の大きさに基づいて、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標とを算出してもよい。例えば、輝度値の勾配の方向や、輝度値の大きさが、周辺に比べて大きく異なっている場合、画像内選択指標が大きくなるように定義した関数を用いればよい。すなわち、領域ごとに輝度値の勾配の方向や大きさについてヒストグラムを作成し、このヒストグラムにおける平均値から大きく外れている画素の画像内選択指標が高くなるように、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標を算出することとしてもよい。
例えば、画素毎の輝度値の勾配だけでなく、輝度値の勾配の方向や、輝度値の大きさに基づいて、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標とを算出してもよい。例えば、輝度値の勾配の方向や、輝度値の大きさが、周辺に比べて大きく異なっている場合、画像内選択指標が大きくなるように定義した関数を用いればよい。すなわち、領域ごとに輝度値の勾配の方向や大きさについてヒストグラムを作成し、このヒストグラムにおける平均値から大きく外れている画素の画像内選択指標が高くなるように、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標を算出することとしてもよい。
なお、上記では、輝度勾配、輝度値の大きさ、輝度勾配の方向に基づいて画素毎の画像内選択指標を算出する方法について述べたが、回帰分析など統計的な解析や機械学習を用いた方法を用いてもよい。
例えば、あらかじめ別途用意した可視光画像と非可視光画像から、画像の事前確率分布を回帰分析などを用いて算出し、この確率分布を用いて情報エントロピーなどの指標を算出し、この値に基づいて画像内選択指標を算定してもよい。
或いは、これらの別途用意した可視光画像と非可視光画像から、矩形のパッチをサンプリングし、これらをK平均法などの方法でクラスタリングし、これらのクラスタリングした結果を用いて画像内選択指標を算出してもよい。例えば、クラスタリングした矩形パッチの代表的なクラスタリング中心と 実際に合成処理を行う可視光画像および非可視光画像から抽出された矩形のパッチと の間の画像の類似性を、PSNR（Peak signal-to-noise ratio）やSSIM（Structural similarity）などを用いて算出し、これらが類似しているほど 値が大きくなるような量を画像内選択指標として採用することができる。
或いは、あらかじめ用意した可視光画像と非可視光画像から、指紋，虹彩，静脈などの血管，文字，人体，顔，車両，建築物，製造物や建造物における欠陥，植物の植生，物体表面の特定パターン，人体における腫瘍などの病理的異常箇所，特定の細胞や染色体，等を検出する検出器でそれぞれの検出対象の特徴を予め学習しておき、これらの検出器により、これらが検出されやすいほど大きな値となる指標を画像内選択指標として採用してもよい。
或いは、あらかじめ用意した検出器で、指紋，虹彩，静脈などの血管，文字，人体，顔，車両，建築物，製造物や建造物における欠陥，植物の植生，物体表面の特定パターン，人体における腫瘍などの病理的異常箇所，特定の細胞や染色体等を検出したあとに、これらの対象を 人或いは機械 が認識処理により高精度に認識或いは識別可能な領域であればあるほど、値が大きくなる画像品質評価指標を別途設計し、この画像品質評価指標を画像内選択指標として用いてもよい。
或いは、合成する可視光画像と非可視光画像と、これらの画像から手動などで作成した 利用者にとって最も望ましく合成された合成画像（以下，正解合成画像）をあらかじめ用意し、これら可視光画像、非可視光画像および正解合成画像から、画像内選択指標を回帰的な学習によって算出してもよい。
或いは、画像内選択指標は、入力された可視光画像と非可視光画像から自動的に決定するだけでなく、利用者が画素毎に画像内選択指標を手動で与えてもよい。
或いは、画像内選択指標は、例えば、照明における影の部分や、明らかに他の物体によって被写体が遮蔽されている部分など、異常な領域については、値が小さくなるようにしてもよい。このように指標を取得することで、影の部分や、明らかに他の物体によって被写体が遮蔽されている部分などが選択され、合成画像が合成されることを防ぐことができる。
例えば、あらかじめ可視光画像と非可視光画像のそれぞれについて、画像の画像内選択指標が高い画像と、信頼度が低い画像のサンプルを集めておき、それらの画像を用いて回帰分析をすることで、画像内選択指標を算出してもよい。
以下では、画素 p における 可視光画像と非可視光画像の画素毎の画像内選択指標をそれぞれ、EVIS(p)およびEINVIS(p)と表す。これらの画素毎の画像内選択指標はメモリ（図示せず）に適宜記録される。あるいは、複数のサンプル画像から、深層学習などにより、可視光画像と非可視光画像の事前確率分布をパッチベースで算出し、この事前確率分布が大きいほど、画像内選択指標が高くなるように、画像内選択指標を算出してもよい。
以下では、画素 p における 可視光画像と非可視光画像の画素毎の画像内選択指標をそれぞれ、EVIS(p)およびEINVIS(p)と表す。これらの画素毎の画像内選択指標はメモリ（図示せず）に適宜記録される。あるいは、複数のサンプル画像から、深層学習などにより、可視光画像と非可視光画像の事前確率分布をパッチベースで算出し、この事前確率分布が大きいほど、画像内選択指標が高くなるように、画像内選択指標を算出してもよい。
あるいは、最終的に合成された画像を、画像認識技術を用いて自動的或いは半自動的に認識することを念頭に置き、この認識結果が高くなるように、例えば深層学習などの技術を用いて、画像内選択指標を設計してもよい。
なお、上記では、入力画像が可視光画像と非可視光画像がそれぞれ１枚ずつの場合について述べたが、本発明はこれに限定されない。例えば、可視光画像と非可視光画像がそれぞれ複数ある場合、選択指標算出部１２０は、EVIS(p)およびEINVIS(p)に相当する画像内選択指標を画像毎に算出すればよい。
なお、上記では、入力画像が可視光画像と非可視光画像がそれぞれ１枚ずつの場合について述べたが、本発明はこれに限定されない。例えば、可視光画像と非可視光画像がそれぞれ複数ある場合、選択指標算出部１２０は、EVIS(p)およびEINVIS(p)に相当する画像内選択指標を画像毎に算出すればよい。
次に、輝度値の勾配と画素間の連結性に基づき定義される画像間選択指標について説明する。１枚の画像中の画素 p と画素 q の間の輝度値の勾配と画素間の連結性に基づく ある画像と他の画像との間での類似性で定義される画像間選択指標をV(p,q) としたとき、次のように画像間選択指標を定義すればよい。
画像間選択指標は、(a) 可視光画像と非可視光画像のそれぞれについて、隣接画素との画素値が近い領域ほど、指標値が大きくなり、(b) 可視光画像と非可視光画像の輝度勾配が類似している部分で指標値が小さくなるように定義する。
このように、選択指標算出部１２０は、合成対象候補の各々の画像の画像間にそれぞれ含まれる任意領域間での画素間にある特徴（輝度勾配や同等輝度範囲など）に基づく類似性の高低を値として算出して画像間選択指標として取得すればよい。
画像間選択指標は、(a) 可視光画像と非可視光画像のそれぞれについて、隣接画素との画素値が近い領域ほど、指標値が大きくなり、(b) 可視光画像と非可視光画像の輝度勾配が類似している部分で指標値が小さくなるように定義する。
このように、選択指標算出部１２０は、合成対象候補の各々の画像の画像間にそれぞれ含まれる任意領域間での画素間にある特徴（輝度勾配や同等輝度範囲など）に基づく類似性の高低を値として算出して画像間選択指標として取得すればよい。
なお、以下では、Ｎ個の画素数を持つ可視光画像の画素値をラスタスキャン順に並べた縦ベクトルIVIS、N個の画素数を持つ非可視光画像の画素値をラスタスキャン順に並べた縦ベクトルIINVISを以下のようにあらわすことにする。
このとき、上記(a)について、可視光画像と非可視光画像のそれぞれについて、隣接画素との画素値が近い領域ほど、画像間選択指標が大きくなる量としては、例えば、２つの画素をp , qとしたとき、画素pと画素qの画素間の画像間選択指標を、以下のように定義すればよい。
一方、上記(b)について、可視光画像と非可視光画像の輝度勾配が類似している部分で画像間選択指標が小さくなるような画像間選択指標としては、同様に２つの画素をp , qとしたとき、画素pと画素qの画素間の画像間選択指標を以下のように定義すればよい。ただし、γは利用者があらかじめ定めた正の定数である。また、θVIS, θINVISはあらかじめ利用者が定めた正の定数である。
なお、εとγは、利用者があらかじめ与えた正の定数である。
次に、これらの２種類の画素間の画像間選択指標Vconnect(p,q)及びVgrad(p,q)から、画素 p と画素 q の画素間の選択指標を、例えば、以下のように算出し、メモリ（図示せず）に適宜記録する。
領域選択部１３０は、選択指標算出部１２０にて画像毎に算出された画素毎の選択指標EVIS(p)およびEINVIS(p)と、画素間の選択指標V(p,q)を用いて、後述する画像合成部１４０にて合成画像を生成する際に用いる入力画像のどの画像を用いるかを定めた合成パターンを生成する領域選択処理を行う。導き出された合成パタンデータには、画素毎の視認性の指標と 各々の画像の他の画像に対する指標とを用いて各領域の優先画像とその領域範囲とが組み合わされた情報が表れる。
以下では、合成パタンデータとして、可視光画像と非可視光画像の内、どちらの画像を用いるかを、画素（領域）毎に定義される離散ラベルの集合X=( X1, X2… Xp… XN )で表す。ここでは、この離散ラベルの集合Xを、離散ラベル集合と呼び、X={Xp} と表すこともある。なお、離散ラベルは、画素毎に変えて、数画素を纏めたグリッド毎を単位領域として用いてもよい。
この離散ラベル集合X={Xp} は、画像を合成する際に画素ｐ におけるラベルXpの値が０の時、画素ｐ において可視光画像を優先的に合成画像に取り込み、Xpの値が１の時、画素ｐ において非可視光画像を優先的に合成画像に取り込むことを意味する変数である。
なお、これまでは、離散ラベルの集合Xが可視光画像と非可視光画像の２枚の入力画像に対応し、０と１の値を取る場合について述べたが、本発明はこれに限定されない。例えば、画像入力部１０１にて入力された画像が複数枚である場合、領域選択部１３０はそれに対応する離散ラベルの集合としてXを定義すればよい。より具体的には、画像入力部１０１が可視光画像１枚、非可視光画像４枚を入力とする場合には、これらの離散ラベルは０,１,２,３,４の５つの離散値を取る変数として定義すればよい。
以下では、合成パタンデータとして、可視光画像と非可視光画像の内、どちらの画像を用いるかを、画素（領域）毎に定義される離散ラベルの集合X=( X1, X2… Xp… XN )で表す。ここでは、この離散ラベルの集合Xを、離散ラベル集合と呼び、X={Xp} と表すこともある。なお、離散ラベルは、画素毎に変えて、数画素を纏めたグリッド毎を単位領域として用いてもよい。
この離散ラベル集合X={Xp} は、画像を合成する際に画素ｐ におけるラベルXpの値が０の時、画素ｐ において可視光画像を優先的に合成画像に取り込み、Xpの値が１の時、画素ｐ において非可視光画像を優先的に合成画像に取り込むことを意味する変数である。
なお、これまでは、離散ラベルの集合Xが可視光画像と非可視光画像の２枚の入力画像に対応し、０と１の値を取る場合について述べたが、本発明はこれに限定されない。例えば、画像入力部１０１にて入力された画像が複数枚である場合、領域選択部１３０はそれに対応する離散ラベルの集合としてXを定義すればよい。より具体的には、画像入力部１０１が可視光画像１枚、非可視光画像４枚を入力とする場合には、これらの離散ラベルは０,１,２,３,４の５つの離散値を取る変数として定義すればよい。
領域選択部１３０にて領域を選択する方法としては、例えば、この離散ラベル集合を変数とする関数E({Xp})が最小になる離散ラベル集合を算出することで、領域を選択すればよい。離散ラベル集合の算出式は下記式（８）のように、画像内選択指標と画像間選択指標を含む計算式が使用できる。なお、右辺１項及び右辺２項にそれぞれ重み変数を与え、画像内選択指標をより優先するか、画像間選択指標をより優先するか、可変させる設定することも可能である。
ここで、gp(Xp)及びhpq(Xp、Xq)は、画素毎及び画素間で定義される関数であり、選択指標算出部１２０にて算出された画素毎の選択指標と、画素間の選択指標を用いて構成される関数である。具体的には、gp(Xp)及びhpq(Xp、Xq)としては、例えば、以下のように定義すればよい。
このような関数を最小化する方法としては、例えば、非特許文献６に記載のグラフカットを用いてもよいし、非特許文献７に記載の確率伝搬法を用いてもよい。次に、領域選択部１３０は、上記の関数を最小化するX={Xp}をメモリ（図示せず）に適宜記録して、合成画像を生成するために使用する入力画像に含まれる任意画像と他の画像との関係で視認性がより高い領域を示す合成パタンデータを構築する。
画像合成部１４０は、領域選択部１３０にて算出されたどの画像を優先的に使用するかを表した離散ラベル集合X={ Xp }と、入力画像（可視光画像と非可視光画像）から合成画像を生成する。
合成画像を生成する方法としては、例えば、アルファブレンディングを用いればよい。具体的には、画素p における合成画像の画素値をIp としたとき、画素p における可視光画像の画素値と非可視光画像の画素値を用いて、以下のような式を用いて画像を合成すればよい。
ただしここで、αはブレンド比率であり、０から１の領域の値を取る量であり、利用者があらかじめ定める。
なお、非可視光画像の成分情報が輝度値のみである場合、アルファブレンディングは輝度成分にのみ行い、色差成分などその他の成分においては可視光画像の値を用いればよい。或いは、可視光画像の輝度値と合成画像の輝度値との比率から補正係数を算出し、色成分を、算出した補正係数を乗じた値で復元してもよい。或いは、αを画素毎に変化させてブレンディングをしてもよい。例えば、画素毎の画像内選択指標EVIS(p)およびEINVIS(p) の比が大きいほど、αが大きくなるようにすればよい。
合成画像を生成する方法としては、例えば、アルファブレンディングを用いればよい。具体的には、画素p における合成画像の画素値をIp としたとき、画素p における可視光画像の画素値と非可視光画像の画素値を用いて、以下のような式を用いて画像を合成すればよい。
なお、非可視光画像の成分情報が輝度値のみである場合、アルファブレンディングは輝度成分にのみ行い、色差成分などその他の成分においては可視光画像の値を用いればよい。或いは、可視光画像の輝度値と合成画像の輝度値との比率から補正係数を算出し、色成分を、算出した補正係数を乗じた値で復元してもよい。或いは、αを画素毎に変化させてブレンディングをしてもよい。例えば、画素毎の画像内選択指標EVIS(p)およびEINVIS(p) の比が大きいほど、αが大きくなるようにすればよい。
或いは、画像合成部１４０は、アルファ ブレンディングを用いて画像を合成するのではなく、非特許文献８に記載のように、ポアソンエディティングを用いて画像を合成してもよい。すなわち、離散ラベル集合Xが１となる画素の輝度値を可視光画像の輝度値となるように、以下を満たす下記 式（１２）を、変分法を用いて解くことで画像を合成し、輝度値を復元すればよい。
ただしここで、Ωは、離散ラベル集合Xが１となる領域であり、可視光画像を用いて優先的に画像を合成する領域をあらわす。
なお、アルファブレンディングにより合成画像を生成する場合と同様に、非可視光画像の成分情報が輝度値のみである場合、アルファブレンディングは輝度成分にのみ行い、色差成分などその他の成分においては可視光画像の値を用いればよい。あるいは、以下のように、輝度成分以外の成分（たとえばUV成分）についての拘束条件を加えながら、式（１３）を解くことで、色情報を復元してもよい。すなわち、式（１４）を、変分法を用いて解くことで画像を合成すればよい。
ここで、λU、λVは、利用者があらかじめ定める重みである。或いは、輝度値以外の情報を復元するために、復元に使用する可視光画像から、輝度値と色成分の関係を学習し、これを用いて画像を復元してもよい。例えば、合成画像を生成するために用いる可視光画像から、輝度値Iにおける、U成分とV成分の条件付き確率分布関数を作成し、これを用いて色成分を復元すればよい。より具体的には、輝度成分Iにおける、U及びVとの条件付き確率分布関数をP（U|I）、P(V|I)としたとき、以下の方程式を満足するようなI、U、Vを求めることで、色情報を復元してもよい。
ここで、ηU、ηVは、利用者があらかじめ定める重みである。なお、これまでは、輝度成分Iにおける、U及びVとの条件付き確率分布関数をP（U|I）、P(V|I)を求める方法として、合成画像を生成するために使用する可視光画像を用いる場合について述べたが、あらかじめ用意した複数の学習画像を用いてもよい。また、これまでは、１画素の画素値I及びU、Vにおける条件付き確率分布関数を用いる方法について述べたが、例えばパッチなど局所領域を用いて確率分布関数を構成してもよい。また、色を復元する場合に画像合成部１４０は、白とび、黒潰れなどで色情報が不正確な場合のみ式（１３）、式（１４）を用いて色情報を復元し、それ以外の領域では、可視光画像の値を用いてもよい。
以上のようにして復元した合成画像を、画像合成部１４０はメモリ（図示せず）や補助記憶装置（図示せず）に記録する。
なお、アルファブレンディングにより合成画像を生成する場合と同様に、非可視光画像の成分情報が輝度値のみである場合、アルファブレンディングは輝度成分にのみ行い、色差成分などその他の成分においては可視光画像の値を用いればよい。あるいは、以下のように、輝度成分以外の成分（たとえばUV成分）についての拘束条件を加えながら、式（１３）を解くことで、色情報を復元してもよい。すなわち、式（１４）を、変分法を用いて解くことで画像を合成すればよい。
以上のようにして復元した合成画像を、画像合成部１４０はメモリ（図示せず）や補助記憶装置（図示せず）に記録する。
また、本発明では、輝度情報としてYUV成分のYを用いる方法について述べたが、他の色表現方法を用いてもよい。例えば、HSV色空間におけるV成分を輝度情報として扱い、上述の方法で合成画像を生成してもよい。或いは、YUV色空間で処理する領域とHSV色空間で処理する領域を、例えば閾値処理などで、適法的に切り替えても良い。要するに、輝度値に相当するような明るさの情報と、それ以外の情報である色の情報を分離する方法であれば、何でもよい。
また、本発明では、式（１３）あるいは式（１４）を用いて 合成画像の色を表現する方法について述べたが、本発明はこれに限定されない。例えば、あらかじめ輝度成分のみを式（１２）で復元し、次に、色成分については、輝度成分が類似している画素の周辺領域の色成分同士が、同一の色成分になるような制約を課しながら、これを表現してもよい。具体的には、式（１２）によって復元した輝度成分をもとに、色成分を表現したい領域と類似の輝度成分のパターンをもつ領域を、輝度成分を復元した画像から探索し、この探索した領域の色成分を張り付けることで、色成分を復元してもよい。
また、本発明では、式（１３）あるいは（１４）を用いて、合成画像の色を表現する方法について述べたが、本発明はこれに限定されない。例えば、あらかじめ用意した可視画像と非可視画像の波長帯域の成分を、主成分分析などを用いて少数の基底関数で表し、次に、輝度成分のみを式（１２）で復元し、復元した輝度成分の値から、これら少数の基底の線形結合として 色成分を表現してもよい。
なお、このような色の復元は、合成画像全体に対して行ってもよいし、画像中の影や、明らかに物体が遮蔽されている領域などに対してのみ行ってもよい。
画像出力部１０２は、画像合成部１４０にて生成された合成画像を出力する。さらに画像出力部１０２は、合成画像だけでなく、可視光画像と非可視光画像、前処理を加えた各画像或いは領域選択部１２０にて算出された離散ラベル集合を同時的に出力してもよい。
次に、図３及び図４を参照して画像表示システムの全体動作について説明する。図４は、画像表示システムの動作例を示すフローチャートである。
まず、画像入力部１０１に可視光画像と非可視光画像が入力されると、画像入力部１０１は、入力された両画像をメモリ（図示せず）に記録する（Ｓ１１１）。前処理部１１０は、可視光画像と非可視光画像のそれぞれについて、ノイズ除去などの前処理を実施する（Ｓ１１２）。
まず、画像入力部１０１に可視光画像と非可視光画像が入力されると、画像入力部１０１は、入力された両画像をメモリ（図示せず）に記録する（Ｓ１１１）。前処理部１１０は、可視光画像と非可視光画像のそれぞれについて、ノイズ除去などの前処理を実施する（Ｓ１１２）。
次に、選択指標算出部１２０は、前処理部１１０にて前処理がされた可視光画像と非可視光画像のそれぞれについて、正規化処理及び位置合わせ処理を実行した後に、画像内選択指標と、画像間選択指標の２つを選択指標データとして算出する（Ｓ１１３）。
次に、領域選択部１３０は、選択指標算出部１２０にて算出された画素毎の選択指標データと画素間の選択指標データを用いて、合成画像に導入する視認性がより高い領域を選択する（Ｓ１０４）。
次に、領域選択部１３０は、選択指標算出部１２０にて算出された画素毎の選択指標データと画素間の選択指標データを用いて、合成画像に導入する視認性がより高い領域を選択する（Ｓ１０４）。
次に、画像合成部１４０は、領域選択部１３０にて導き出されたより視認性が高いとして選択された１ないし複数の領域と可視光画像と非可視光画像を用いて合成画像を生成する（Ｓ１０５）。
最後に、画像合成部１４０にて合成された合成画像を、画像出力部１０２から出力する（Ｓ１０６）。
［効果の説明］
次に、本実施の形態の効果について説明する。
本実施の形態の画像合成システムは、画像毎に、画像内での視認性の高さを定義した画像内選択指標を有することで、入力された波長帯域に対する感度特性が異なる複数の画像から視認性が他の画像に対して他の画像との関係でより高い領域を選択する構成を有する。さらに、本実施の形態の画像合成システムは、 画像間（任意領域間）での画像特徴の類似性の高さを定義した画像間選択指標有することで、選択された視認性が高い領域が滑らかに合成されるため、画像全体として違和感のない画像が生成できる。
このため、白とびや黒潰れなどの飽和した領域以外であっても、他の画像に視認性がより高い同等領域があれば置換されることになる。結果、全体として視認性に優れた合成画像を得られる。
次に、本実施の形態の効果について説明する。
本実施の形態の画像合成システムは、画像毎に、画像内での視認性の高さを定義した画像内選択指標を有することで、入力された波長帯域に対する感度特性が異なる複数の画像から視認性が他の画像に対して他の画像との関係でより高い領域を選択する構成を有する。さらに、本実施の形態の画像合成システムは、 画像間（任意領域間）での画像特徴の類似性の高さを定義した画像間選択指標有することで、選択された視認性が高い領域が滑らかに合成されるため、画像全体として違和感のない画像が生成できる。
このため、白とびや黒潰れなどの飽和した領域以外であっても、他の画像に視認性がより高い同等領域があれば置換されることになる。結果、全体として視認性に優れた合成画像を得られる。
ここで、本発明による画像合成を図５及び図６を用いて簡略化した描写で説明する。
図５の説明図１では、入力される２枚の画像として、可視光画像と近赤外光画像（非可視光画像）とを受け付ける。図５（ａ）及び（ｂ）に示すように、入力される２枚の画像は次の特徴がある。
可視光画像は、背景の照明の影響により、人の顔の視認性が良いところも悪いところもある。また、可視光画像は、衣服の領域の視認性が良く、衣服のパタンも視認できる。また、照明具部分でよい視認性が得られていない。
可視光画像は、背景の照明の影響により、人の顔の視認性が良いところも悪いところもある。また、可視光画像は、衣服の領域の視認性が良く、衣服のパタンも視認できる。また、照明具部分でよい視認性が得られていない。
一方、近赤外光画像も、人の顔の視認性が良いところも悪いところもある。また、近赤外光画像は、近赤外領域の塗料などの反射率が低いため、衣服の領域の視認性が悪い。
本発明を実装することで、選択指標算出部１２０にて、各々の選択指標データが、可視光画像と非可視光画像の他方に比べてより良く視認できる領域が高く算出される。
このため、領域選択部１３０にて選択された結果（領域選択結果）は、図５（ｃ）に描写されているように、顔部分や衣服部分、照明具部分でそれぞれ異なる画像から各々領域が採択される。
画像合成部１４０は、領域選択結果と入力画像を参照して、結果的に、波長帯域に対する感度特性が良好な領域で且つ連続性がある領域部分が一体的に切り出された合成画像（図５（ｄ））を合成する。
この結果、顔部分、衣類部分、照明具部分などの個々の領域を含む全体として高い視認性を持つ画像が得られる。また、両画像間での位置補正や色合いの補正も行われる。
このため、領域選択部１３０にて選択された結果（領域選択結果）は、図５（ｃ）に描写されているように、顔部分や衣服部分、照明具部分でそれぞれ異なる画像から各々領域が採択される。
画像合成部１４０は、領域選択結果と入力画像を参照して、結果的に、波長帯域に対する感度特性が良好な領域で且つ連続性がある領域部分が一体的に切り出された合成画像（図５（ｄ））を合成する。
この結果、顔部分、衣類部分、照明具部分などの個々の領域を含む全体として高い視認性を持つ画像が得られる。また、両画像間での位置補正や色合いの補正も行われる。
図６の説明図２では、入力される性質の異なる３枚の花の画像として、（ａ）近紫外光画像と（ｂ）可視光画像と（ｃ）近赤外光画像とを受け付ける。図示されているように、入力される各画像はそれぞれ特徴がある。
近紫外光画像（ａ）には、花びらの根元部分に人間が肉眼で視認できない綺麗な模様が描写されている。
可視光画像（ｂ）には、肉眼で視認できる輪郭や色合いが描写されている。
近赤外光画像（ｃ）には、花の中心部分（雄蕊や雌蕊）や花びらの輪郭が可視光画像よりも はっきりと描写されている。
この３枚の入力画像を受け付け、選択指標算出部１２０にて、各々の画像の選択指標データが、他の画像に比べてより良く視認できる領域が高く算出される。
このため、領域選択部１３０にて選択された結果（領域選択結果）は、図５（ｄ）に描写されているように、それぞれ異なる画像から各々領域が視認性とその連続性が反映されて採択される。図５（ｄ）のハッチ領域は近紫外光画像領域であり、白領域は可視光画像領域、黒領域は近赤外光画像領域である。
画像合成部１４０は、領域選択結果と入力画像を参照して、結果的に、波長帯域に対する感度特性が良好な領域で且つ連続性がある領域部分が一体的に切り出された合成画像（図６（ｅ））を合成する。
この結果、全体として花の形状や模様などの高い視認性を持つ画像が得られる。また、両画像間での位置補正や色合いの補正も行われる。
近紫外光画像（ａ）には、花びらの根元部分に人間が肉眼で視認できない綺麗な模様が描写されている。
可視光画像（ｂ）には、肉眼で視認できる輪郭や色合いが描写されている。
近赤外光画像（ｃ）には、花の中心部分（雄蕊や雌蕊）や花びらの輪郭が可視光画像よりも はっきりと描写されている。
この３枚の入力画像を受け付け、選択指標算出部１２０にて、各々の画像の選択指標データが、他の画像に比べてより良く視認できる領域が高く算出される。
このため、領域選択部１３０にて選択された結果（領域選択結果）は、図５（ｄ）に描写されているように、それぞれ異なる画像から各々領域が視認性とその連続性が反映されて採択される。図５（ｄ）のハッチ領域は近紫外光画像領域であり、白領域は可視光画像領域、黒領域は近赤外光画像領域である。
画像合成部１４０は、領域選択結果と入力画像を参照して、結果的に、波長帯域に対する感度特性が良好な領域で且つ連続性がある領域部分が一体的に切り出された合成画像（図６（ｅ））を合成する。
この結果、全体として花の形状や模様などの高い視認性を持つ画像が得られる。また、両画像間での位置補正や色合いの補正も行われる。
［変形例］
なお、本発明の変形例として、図７のように、画像入力部１０１、前処理部１１０、選択指標算出部１２０、領域選択部１３０、画像合成部１４０、異常領域検出部１５０、画像出力部１０２からなる構成で、処理をおこなってもよい。
なお、画像入力部１０１、画像出力部１０２、前処理部１１０、領域選択部１３０、画像合成部１４０に関しては、前述の記載と同様であるため、説明は省略する。
なお、本発明の変形例として、図７のように、画像入力部１０１、前処理部１１０、選択指標算出部１２０、領域選択部１３０、画像合成部１４０、異常領域検出部１５０、画像出力部１０２からなる構成で、処理をおこなってもよい。
なお、画像入力部１０１、画像出力部１０２、前処理部１１０、領域選択部１３０、画像合成部１４０に関しては、前述の記載と同様であるため、説明は省略する。
選択指標算出部１２０は、上記式（９）で表されるgp(Xp)と、後述する異常領域検出部１５０における異常領域値Qp(Xp)とを組み合わせた関数であるdp(Xp)を、新たに画素毎の選択指標とする。なお、本変形例において、最初に選択指標算出部１２０において、画素毎の選択指標を算出する際は、異常領域値Qp(Xp)をゼロとして、画素毎の選択指標dp(Xp)を算出すればよい。
なお、画素毎の選択指標dp(Xp)は、下記式（１５）に一例を示すように、異常領域値Qp(Xp)を変数として有する関数で表せばよい。下記式（１５）は、式（９）で表されるgp(Xp)と異常領域値Qp(Xp)の和の関数として表される。また、例えば、選択指標dp(Xp)は、gp(Xp)とQp(Xp)の線形結合や乗算として表してもよい。
なお、画素毎の選択指標dp(Xp)は、下記式（１５）に一例を示すように、異常領域値Qp(Xp)を変数として有する関数で表せばよい。下記式（１５）は、式（９）で表されるgp(Xp)と異常領域値Qp(Xp)の和の関数として表される。また、例えば、選択指標dp(Xp)は、gp(Xp)とQp(Xp)の線形結合や乗算として表してもよい。
異常領域検出部１５０は、画像合成部１４０にて合成された画像において、利用者にとって好ましくない領域（異常領域）を検出するように動作する。ここでいう利用者にとって好ましくない領域とは、基準となる画像に存在しない物体の影や 基準画像に存在しない動物体 などである。或いは、入力画像間で僅かに位置ずれが存在していた場合、その位置ずれが原因で発生するアーティファクトなども、利用者にとって好ましくない領域となる。異常領域検出部１５０は、このような利用者にとって好ましくない領域を、画像合成部１４０にて生成された画像（合成画像）と、画像入力部１０１にて入力した各画像（入力画像）との相関を算出することで検出する。例えば、画像合成部１４０にて生成された画像と、画像入力部１０１にて入力した各画像とで算出する相関としては、画像間の輝度値或いは勾配の正規化相互相関などを用いればよい。
異常領域検出部１５０は、入力画像と合成画像との相関を、基準画像のみでなく、多くの入力画像について取ことが望ましい。また、画像種別毎に相関結果の値に重みを与えてもよい。合成画像と基準画像のみとの相関を取る場合、異常領域検出部１５０は、合成画像と基準画像が類似さえしていれば、異常領域と見做さないように動作する。このため、異常領域検出部１５０による処理を加えることにより、合成画像は、基準画像に類似度が高い画像になる。一方、合成画像と基準画像以外の入力画像（群）について相関を取る場合、異常領域検出部１５０は、合成画像と相関を取った全ての画像（群）に基づいた異常領域を検出するように動作する。このため、異常領域検出部１５０による処理により、最終的な合成画像は、どれか一つの入力画像に過度に類似することなく、全体として良好な視認性を有する画像になる。。
異常領域検出部１５０は、入力画像と合成画像との相関を、基準画像のみでなく、多くの入力画像について取ことが望ましい。また、画像種別毎に相関結果の値に重みを与えてもよい。合成画像と基準画像のみとの相関を取る場合、異常領域検出部１５０は、合成画像と基準画像が類似さえしていれば、異常領域と見做さないように動作する。このため、異常領域検出部１５０による処理を加えることにより、合成画像は、基準画像に類似度が高い画像になる。一方、合成画像と基準画像以外の入力画像（群）について相関を取る場合、異常領域検出部１５０は、合成画像と相関を取った全ての画像（群）に基づいた異常領域を検出するように動作する。このため、異常領域検出部１５０による処理により、最終的な合成画像は、どれか一つの入力画像に過度に類似することなく、全体として良好な視認性を有する画像になる。。
より具体的には、例えば、異常領域検出部１５０は、画像合成部１４０にて合成された画像のある画素が、異常領域であるか否かを判定するために、以下式（１５）で定義される値を異常領域値Qp(Xp)として算出すればよい。入力画像を３画像以上にする場合には、適宜φの変数を増やせばよい。
ただし、φvis，φinvisはそれぞれ、画像合成部１４０にて生成された画像（合成画像）と 可視光画像或いは非可視光画像との間の、輝度値と輝度値の勾配の正規化相互相関である。また、φthは、当該画素が異常領域か否かを判定するための閾値である。
式（１５）を用いた場合、合成画像と可視画像の正規化相関φvis 及び 合成画像と非可視光画像の正規化相互相関φinvis の和がφth以下であった際に、Qp(Xp)はゼロになる。このため、選択指標算出部１２０は、指標値を算定する上で、異常領域の影響を受けない。結果、当該画素pは異常領域とならない。
一方、合成画像と可視画像の正規化相関φvis 及び 合成画像と非可視光画像の正規化相互相関φinvis の和がφth以上であった際に、Qp(Xp)はゼロ以上の値となる。このため、選択指標算出部１２０は、指標値を算定する上で、異常領域の影響を受けた値を算定する。この結果、領域選択部１３０は、異常領域が存在しない基準画像がより選択されやすくなる。
なお、以上では、Qp(Xp)が、φinvisとφvisの単純な和である場合について説明したが、本発明はこれに限定されない。例えば、Qp(Xp)はφinvisとφvisの線形結合な関数であってもよいし、或いは、Qp(Xp)とφinvisのφvisの関係（関数形）を機械学習によって算出してもよい。
また、異常領域検出部１５０による選択指標算出部１２０へのフィードバックは、適度な回数を繰り返すことでより高い視認性を有する画像を得られる。フィードバック回数は、予め定めた回数でもよいし、合成画像の変化量がある程度収束したところで停止するようにしてもよい。
一方、合成画像と可視画像の正規化相関φvis 及び 合成画像と非可視光画像の正規化相互相関φinvis の和がφth以上であった際に、Qp(Xp)はゼロ以上の値となる。このため、選択指標算出部１２０は、指標値を算定する上で、異常領域の影響を受けた値を算定する。この結果、領域選択部１３０は、異常領域が存在しない基準画像がより選択されやすくなる。
なお、以上では、Qp(Xp)が、φinvisとφvisの単純な和である場合について説明したが、本発明はこれに限定されない。例えば、Qp(Xp)はφinvisとφvisの線形結合な関数であってもよいし、或いは、Qp(Xp)とφinvisのφvisの関係（関数形）を機械学習によって算出してもよい。
また、異常領域検出部１５０による選択指標算出部１２０へのフィードバックは、適度な回数を繰り返すことでより高い視認性を有する画像を得られる。フィードバック回数は、予め定めた回数でもよいし、合成画像の変化量がある程度収束したところで停止するようにしてもよい。
以上のような構成を有することで、画像合成システムとして、合成画像中の異常領域を除去しながら、高い視認性を有する画像を合成することが可能となる。
以上説明したように、本画像合成システムによれば、性質の異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性を高められる画像領域を視認可能に画像全体に渡り反映させて、視認性をより高めた合成画像を得られる。
なお、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、図８に示すように、ＲＡＭに画像合成プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ：Central Processing Unit）等のハードウェアを動作させることによって、前処理部、選択指標算出部、領域選択部、画像合成部の全て又は一部の手段として機能させる。また、このプログラムは、記録媒体に非一時的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。また、各部の全て又は一部をＬＳＩ（Large Scale Integration）上に回路構築して形成してもよい。
本発明の具体的な構成は前述の実施形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替え、各実施形態の組み合わせなど、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部と
を含むことを特徴とする画像合成システム。
［付記１］
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部と
を含むことを特徴とする画像合成システム。
［付記２］
前記選択指標算出部は、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
前記領域選択部は、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
前記領域選択部は、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする上記付記に記載の画像合成システム。
［付記３］
前記選択指標算出部は、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする上記付記に記載の画像合成システム。
［付記４］
前記選択指標算出部は、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得することを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得することを特徴とする上記付記に記載の画像合成システム。
［付記５］
前記選択指標算出部及び前記領域選択部は、前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施し、
前記画像合成部は、各階層における前記領域選択部にて選択された視認性がより高い領域を組み合わせて、前記合成画像を生成する
ことを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部及び前記領域選択部は、前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施し、
前記画像合成部は、各階層における前記領域選択部にて選択された視認性がより高い領域を組み合わせて、前記合成画像を生成する
ことを特徴とする上記付記に記載の画像合成システム。
［付記６］
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする上記付記に記載の画像合成システム。
［付記７］
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする上記付記に記載の画像合成システム。
［付記８］
波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部を更に有し、
前記選択指標算出部は、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記領域選択部は、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする上記付記に記載の画像合成システム。
波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部を更に有し、
前記選択指標算出部は、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記領域選択部は、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする上記付記に記載の画像合成システム。
［付記９］
前記選択指標算出部は、
前記画像間選択指標データとして、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、
前記画像間選択指標データとして、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
［付記１０］
前記選択指標算出部は、
前記画像間選択指標データとして、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、
前記画像間選択指標データとして、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
［付記１１］
前記選択指標算出部は、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
［付記１２］
前記選択指標算出部は、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする上記付記に記載の画像合成システム。
前記選択指標算出部は、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする上記付記に記載の画像合成システム。
［付記１３］
前記画像合成部は、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成することを特徴とする上記付記に記載の画像合成システム。
前記画像合成部は、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成することを特徴とする上記付記に記載の画像合成システム。
［付記１４］
前記画像合成部で合成された前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める異常領域検出部を更に有し、
前記選択指標算出部は、前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成システム。
前記画像合成部で合成された前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める異常領域検出部を更に有し、
前記選択指標算出部は、前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成システム。
［付記１５］
前記画像合成部で合成された前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める異常領域検出部を有し、
前記選択指標算出部は、前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成システム。
前記画像合成部で合成された前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める異常領域検出部を有し、
前記選択指標算出部は、前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成システム。
［付記１６］
性質の異なる複数の画像を取得し、
前記複数の画像から視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化し、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、
選択された視認性がより高い領域を組み合わせて合成画像を生成する
ことを特徴とする情報処理システムによる画像合成方法。
性質の異なる複数の画像を取得し、
前記複数の画像から視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化し、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、
選択された視認性がより高い領域を組み合わせて合成画像を生成する
ことを特徴とする情報処理システムによる画像合成方法。
［付記１７］
前記情報処理システムは、
前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、
前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする上記付記に記載の画像合成方法。
［付記１８］
前記情報処理システムは、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする上記付記に記載の画像合成方法。
［付記１９］
前記情報処理システムは、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得することを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得することを特徴とする上記付記に記載の画像合成方法。
［付記２０］
前記情報処理システムは、
前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施し、
各階層で選択された視認性がより高い領域を組み合わせて、前記合成画像を生成する
ことを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、
前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施し、
各階層で選択された視認性がより高い領域を組み合わせて、前記合成画像を生成する
ことを特徴とする上記付記に記載の画像合成方法。
［付記２１］
前記情報処理システムは、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする上記付記に記載の画像合成方法。
［付記２２］
前記情報処理システムは、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする上記付記に記載の画像合成方法。
［付記２３］
前記情報処理システムは、
波長帯域に対する感度特性が異なる複数の画像を生成し、
前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、
波長帯域に対する感度特性が異なる複数の画像を生成し、
前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする上記付記に記載の画像合成方法。
［付記２４］
前記情報処理システムは、
前記画像間選択指標データとして、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、
前記画像間選択指標データとして、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
［付記２５］
前記情報処理システムは、
前記画像間選択指標データとして、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、
前記画像間選択指標データとして、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
［付記２６］
前記情報処理システムは、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
［付記２７］
前記情報処理システムは、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする上記付記に記載の画像合成方法。
［付記２８］
前記情報処理システムは、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成することを特徴とする上記付記に記載の画像合成方法。
前記情報処理システムは、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成することを特徴とする上記付記に記載の画像合成方法。
［付記２９］
前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める工程を有し、
前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成方法。
前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める工程を有し、
前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成方法。
［付記３０］
前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める工程を有し、
前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成方法。
前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める工程を有し、
前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成方法。
［付記３１］
情報処理システムのプロセッサを、
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部
として動作させることを特徴とする画像合成プログラム。
情報処理システムのプロセッサを、
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部
として動作させることを特徴とする画像合成プログラム。
［付記３２］
前記選択指標算出部に、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得させ、
前記領域選択部に、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得させ、
前記領域選択部に、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記３３］
前記選択指標算出部に、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得させることを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得させることを特徴とする上記付記に記載の画像合成プログラム。
［付記３４］
前記選択指標算出部に、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得させることを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得させることを特徴とする上記付記に記載の画像合成プログラム。
［付記３５］
前記選択指標算出部及び前記領域選択部に、前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施させ、
前記画像合成部に、各階層における前記領域選択部にて選択された視認性がより高い領域を組み合わせて、前記合成画像を生成させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部及び前記領域選択部に、前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施させ、
前記画像合成部に、各階層における前記領域選択部にて選択された視認性がより高い領域を組み合わせて、前記合成画像を生成させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記３６］
前記選択指標算出部に、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施させることを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施させることを特徴とする上記付記に記載の画像合成プログラム。
［付記３７］
前記選択指標算出部に、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施させることを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施させることを特徴とする上記付記に記載の画像合成プログラム。
［付記３８］
前記情報処理システムを、波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部として更に動作させ、
前記選択指標算出部に、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得させ、
前記領域選択部に、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行わせる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記情報処理システムを、波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部として更に動作させ、
前記選択指標算出部に、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得させ、
前記領域選択部に、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行わせる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記３９］
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記４０］
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記４１］
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記４２］
前記選択指標算出部に、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得させることを特徴とする上記付記に記載の画像合成プログラム。
前記選択指標算出部に、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得させることを特徴とする上記付記に記載の画像合成プログラム。
［付記４３］
前記画像合成部に、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成させることを特徴とする上記付記に記載の画像合成プログラム。
前記画像合成部に、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成させることを特徴とする上記付記に記載の画像合成プログラム。
［付記４４］
前記プロセッサを、
前記画像合成部で合成された前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める異常領域検出部として動作させ、
前記選択指標算出部に、前記異常領域の指標値を変数として有する関数で前記指標データを取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記プロセッサを、
前記画像合成部で合成された前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める異常領域検出部として動作させ、
前記選択指標算出部に、前記異常領域の指標値を変数として有する関数で前記指標データを取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記４５］
前記プロセッサを、
前記画像合成部で合成された前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める異常領域検出部として動作させ、
前記選択指標算出部に、前記異常領域の指標値を変数として有する関数で前記指標データを取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
前記プロセッサを、
前記画像合成部で合成された前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める異常領域検出部として動作させ、
前記選択指標算出部に、前記異常領域の指標値を変数として有する関数で前記指標データを取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
［付記４６］
上記付記に記載の画像合成プログラムを非一時的に記録したコンピュータ読み取り可能な記録媒体。
上記付記に記載の画像合成プログラムを非一時的に記録したコンピュータ読み取り可能な記録媒体。
１ 画像合成システム
１０ 選択指標算出部（選択指標算出手段）
２０ 領域選択部（領域選択手段）
３０ 画像合成部（画像合成手段）
１００ コンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）
１０１ 画像入力部
１０２ 画像出力部
１１０ 前処理部（前処理手段）
１２０ 選択指標算出部（選択指標算出手段）
１３０ 領域選択部（領域選択手段）
１４０ 画像合成部（画像合成手段）
１５０ 異常領域検出部（異常領域検出手段）
１０ 選択指標算出部（選択指標算出手段）
２０ 領域選択部（領域選択手段）
３０ 画像合成部（画像合成手段）
１００ コンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）
１０１ 画像入力部
１０２ 画像出力部
１１０ 前処理部（前処理手段）
１２０ 選択指標算出部（選択指標算出手段）
１３０ 領域選択部（領域選択手段）
１４０ 画像合成部（画像合成手段）
１５０ 異常領域検出部（異常領域検出手段）
Claims (10)
- 性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部と
を含むことを特徴とする画像合成システム。 - 前記選択指標算出部は、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
前記領域選択部は、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする請求項１に記載の画像合成システム。 - 前記選択指標算出部は、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする請求項１又は２に記載の画像合成システム。
- 前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする請求項１ないし３の何れか一項に記載の画像合成システム。
- 前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする請求項１ないし４の何れか一項に記載の画像合成システム。
- 波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部を更に有し、
前記選択指標算出部は、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記領域選択部は、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする請求項１ないし５の何れか一項に記載の画像合成システム。 - 前記選択指標算出部は、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする請求項１ないし６の何れか一項に記載の画像合成システム。 - 前記選択指標算出部は、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする請求項１ないし６の何れか一項に記載の画像合成システム。
- 性質の異なる複数の画像を取得し、
前記複数の画像から視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化し、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、
選択された視認性がより高い領域を組み合わせて合成画像を生成する
ことを特徴とする情報処理システムによる画像合成方法。 - 情報処理システムを、
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出手段と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択手段と、
前記領域選択手段にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成手段
として動作させることを特徴とする画像合成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015004081A JP6497579B2 (ja) | 2014-07-25 | 2015-01-13 | 画像合成システム、画像合成方法、画像合成プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014151506 | 2014-07-25 | ||
| JP2014151506 | 2014-07-25 | ||
| JP2015004081A JP6497579B2 (ja) | 2014-07-25 | 2015-01-13 | 画像合成システム、画像合成方法、画像合成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016032289A true JP2016032289A (ja) | 2016-03-07 |
| JP6497579B2 JP6497579B2 (ja) | 2019-04-10 |
Family
ID=55442412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015004081A Active JP6497579B2 (ja) | 2014-07-25 | 2015-01-13 | 画像合成システム、画像合成方法、画像合成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6497579B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018050154A (ja) * | 2016-09-21 | 2018-03-29 | 三菱電機株式会社 | 画像合成装置および画像合成方法 |
| WO2019012647A1 (ja) * | 2017-07-13 | 2019-01-17 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム記憶媒体 |
| WO2019026923A1 (ja) * | 2017-08-03 | 2019-02-07 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 |
| WO2019044608A1 (ja) * | 2017-08-29 | 2019-03-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| CN110750689A (zh) * | 2019-10-30 | 2020-02-04 | 北京大学 | 一种多图融合方法 |
| US10719927B2 (en) | 2017-01-04 | 2020-07-21 | Samsung Electronics Co., Ltd. | Multiframe image processing using semantic saliency |
| CN113822819A (zh) * | 2021-10-15 | 2021-12-21 | Oppo广东移动通信有限公司 | Hdr场景检测方法与装置、终端及可读存储介质 |
| CN115550570A (zh) * | 2022-01-10 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN116403057A (zh) * | 2023-06-09 | 2023-07-07 | 山东瑞盈智能科技有限公司 | 一种基于多源图像融合的输电线路巡检方法及系统 |
| KR102574103B1 (ko) * | 2023-04-04 | 2023-09-04 | (주)팬옵틱스 | THz 스캔 이미지를 이용한 인공지능 학습모델 기반의 은닉물 탐지 장치 및 시스템 |
| JP7455611B2 (ja) | 2019-03-14 | 2024-03-26 | キヤノン株式会社 | 処理システム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006157342A (ja) * | 2004-11-29 | 2006-06-15 | Matsushita Electric Ind Co Ltd | カメラモジュール |
| JP2009177250A (ja) * | 2008-01-21 | 2009-08-06 | Fujitsu Ten Ltd | 車載用画像認識装置、車両状況判定装置および車載用画像認識方法 |
| WO2009150882A1 (ja) * | 2008-06-10 | 2009-12-17 | 国立大学法人東京工業大学 | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 |
| JP2010166363A (ja) * | 2009-01-16 | 2010-07-29 | Toyota Central R&D Labs Inc | 擬似濃淡画像生成装置及びプログラム |
-
2015
- 2015-01-13 JP JP2015004081A patent/JP6497579B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006157342A (ja) * | 2004-11-29 | 2006-06-15 | Matsushita Electric Ind Co Ltd | カメラモジュール |
| JP2009177250A (ja) * | 2008-01-21 | 2009-08-06 | Fujitsu Ten Ltd | 車載用画像認識装置、車両状況判定装置および車載用画像認識方法 |
| WO2009150882A1 (ja) * | 2008-06-10 | 2009-12-17 | 国立大学法人東京工業大学 | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 |
| JP2010166363A (ja) * | 2009-01-16 | 2010-07-29 | Toyota Central R&D Labs Inc | 擬似濃淡画像生成装置及びプログラム |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018050154A (ja) * | 2016-09-21 | 2018-03-29 | 三菱電機株式会社 | 画像合成装置および画像合成方法 |
| US10719927B2 (en) | 2017-01-04 | 2020-07-21 | Samsung Electronics Co., Ltd. | Multiframe image processing using semantic saliency |
| WO2019012647A1 (ja) * | 2017-07-13 | 2019-01-17 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム記憶媒体 |
| JPWO2019012647A1 (ja) * | 2017-07-13 | 2020-04-23 | 日本電気株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
| TWI721288B (zh) * | 2017-07-13 | 2021-03-11 | 日商日本電氣股份有限公司 | 影像處理裝置、影像處理方法及程式記錄媒體 |
| US11055877B2 (en) | 2017-07-13 | 2021-07-06 | Nec Corporation | Image processing device, image processing method, and program storage medium |
| WO2019026923A1 (ja) * | 2017-08-03 | 2019-02-07 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 |
| WO2019044608A1 (ja) * | 2017-08-29 | 2019-03-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| JPWO2019044608A1 (ja) * | 2017-08-29 | 2020-07-16 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| US11055834B2 (en) | 2017-08-29 | 2021-07-06 | Nec Corporation | Information processing device, information processing method, and recording medium for processing synthesized images |
| JP7455611B2 (ja) | 2019-03-14 | 2024-03-26 | キヤノン株式会社 | 処理システム |
| CN110750689A (zh) * | 2019-10-30 | 2020-02-04 | 北京大学 | 一种多图融合方法 |
| CN113822819B (zh) * | 2021-10-15 | 2023-10-27 | Oppo广东移动通信有限公司 | Hdr场景检测方法与装置、终端及可读存储介质 |
| CN113822819A (zh) * | 2021-10-15 | 2021-12-21 | Oppo广东移动通信有限公司 | Hdr场景检测方法与装置、终端及可读存储介质 |
| CN115550570A (zh) * | 2022-01-10 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN115550570B (zh) * | 2022-01-10 | 2023-09-01 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| KR102574103B1 (ko) * | 2023-04-04 | 2023-09-04 | (주)팬옵틱스 | THz 스캔 이미지를 이용한 인공지능 학습모델 기반의 은닉물 탐지 장치 및 시스템 |
| CN116403057A (zh) * | 2023-06-09 | 2023-07-07 | 山东瑞盈智能科技有限公司 | 一种基于多源图像融合的输电线路巡检方法及系统 |
| CN116403057B (zh) * | 2023-06-09 | 2023-08-18 | 山东瑞盈智能科技有限公司 | 一种基于多源图像融合的输电线路巡检方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6497579B2 (ja) | 2019-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6497579B2 (ja) | 画像合成システム、画像合成方法、画像合成プログラム | |
| Dey | Uneven illumination correction of digital images: A survey of the state-of-the-art | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| US10929978B2 (en) | Image processing apparatus, training apparatus, image processing method, training method, and storage medium | |
| JP2017005389A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| WO2020223963A1 (en) | Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product | |
| IL256202A (en) | A method for enhancing an ir or scam image based on video analysis information | |
| Ghazal et al. | Automated framework for accurate segmentation of leaf images for plant health assessment | |
| Mahmoudabadi et al. | Efficient terrestrial laser scan segmentation exploiting data structure | |
| CN112740263A (zh) | 图像处理装置、图像处理方法和程序 | |
| JP7350208B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Dümbgen et al. | Near-infrared fusion for photorealistic image dehazing | |
| Tuominen et al. | Cloud detection and movement estimation based on sky camera images using neural networks and the Lucas-Kanade method | |
| Azevedo et al. | Shadow detection using object area-based and morphological filtering for very high-resolution satellite imagery of urban areas | |
| Verma et al. | Development of LR-PCA based fusion approach to detect the changes in mango fruit crop by using landsat 8 OLI images | |
| Zhu et al. | Shadow removal based on YCbCr color space | |
| JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| Shihabudeen et al. | Deep learning L2 norm fusion for infrared & visible images | |
| JP7092616B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
| Ma et al. | Deep attention network for melanoma detection improved by color constancy | |
| Katukam et al. | Image comparison methods & tools: a review | |
| JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Lee et al. | Sensors i: Color imaging and basics of image processing | |
| Sheng et al. | Dark channel prior-based altitude extraction method for a single mountain remote sensing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151224 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6497579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |