JP2003046857A - 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 - Google Patents
高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体Info
- Publication number
- JP2003046857A JP2003046857A JP2001227008A JP2001227008A JP2003046857A JP 2003046857 A JP2003046857 A JP 2003046857A JP 2001227008 A JP2001227008 A JP 2001227008A JP 2001227008 A JP2001227008 A JP 2001227008A JP 2003046857 A JP2003046857 A JP 2003046857A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- long
- short
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 300
- 238000003384 imaging method Methods 0.000 claims abstract description 169
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 51
- 238000012937 correction Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 38
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000007796 conventional method Methods 0.000 abstract description 4
- 238000006073 displacement reaction Methods 0.000 description 21
- 230000009977 dual effect Effects 0.000 description 17
- 238000013500 data storage Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 238000000926 separation method Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 208000037004 Myoclonic-astatic epilepsy Diseases 0.000 description 7
- 238000000874 microwave-assisted extraction Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 208000019300 CLIPPERS Diseases 0.000 description 2
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 102100028780 AP-1 complex subunit sigma-2 Human genes 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101100055680 Homo sapiens AP1S2 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 原画像と同フレームレートで高ダイナミック
レンジ映像を生成できる方法及び装置を提供する。 【解決手段】 撮像時間を長短に変化させた画像列から
高ダイナミックレンジ画像を合成する場合、従来は、
（ａ）の１１のように２フレームの画像から単一の合成
アルゴリズムで１フレームの画像を合成するためフレー
ムレートが半減する。本発明は、（ｂ）の１２、（ｃ）
の１３のように、異なる二つの合成アルゴリズムを交互
に使用することで、実質的には１フレームの原画像から
１フレームの高ダイナミックレンジ画像を生成し、原画
像と同フレームレートで高ダイナミックレンジ映像を提
供する。各合成アルゴリズムでは、撮像時刻の異なる２
フレームの画像をそのまま合成せず、同じ撮像時刻に得
られるはずの画像を予測生成した後に合成し、動画像で
あっても不自然な画像を合成しない。
レンジ映像を生成できる方法及び装置を提供する。 【解決手段】 撮像時間を長短に変化させた画像列から
高ダイナミックレンジ画像を合成する場合、従来は、
（ａ）の１１のように２フレームの画像から単一の合成
アルゴリズムで１フレームの画像を合成するためフレー
ムレートが半減する。本発明は、（ｂ）の１２、（ｃ）
の１３のように、異なる二つの合成アルゴリズムを交互
に使用することで、実質的には１フレームの原画像から
１フレームの高ダイナミックレンジ画像を生成し、原画
像と同フレームレートで高ダイナミックレンジ映像を提
供する。各合成アルゴリズムでは、撮像時刻の異なる２
フレームの画像をそのまま合成せず、同じ撮像時刻に得
られるはずの画像を予測生成した後に合成し、動画像で
あっても不自然な画像を合成しない。
Description
【０００１】
【発明の属する技術分野】本発明は、ダイナミックレン
ジの高い被写体を白トビや黒つぶれなく映像にする高ダ
イナミックレンジ映像の生成方法および生成装置に関す
るものであり、主な７利用分野として映像産業や計測産
業があげられる。
ジの高い被写体を白トビや黒つぶれなく映像にする高ダ
イナミックレンジ映像の生成方法および生成装置に関す
るものであり、主な７利用分野として映像産業や計測産
業があげられる。
【０００２】
【従来の技術】映像を記録するには様々な方法がある
が、今日ではＣＣＤを用いた撮像装置が広く使われてい
る。しかし、ＣＣＤは銀塩フィルム等に比べると明暗の
ダイナミックレンジが小さい欠点があった。これに対し
て撮像時間を可変に制御できる電子シャッタ付きのＣＣ
Ｄを用いて短時間撮像と長時間撮像を交互に繰り返し、
隣り合う２画像から高ダイナミックレンジ映像を生成す
る方法や装置が提案されている。例えば、特開昭６３−
３０６７７９号や特開平６−１４１２２９号の技術がこ
れに該当する。
が、今日ではＣＣＤを用いた撮像装置が広く使われてい
る。しかし、ＣＣＤは銀塩フィルム等に比べると明暗の
ダイナミックレンジが小さい欠点があった。これに対し
て撮像時間を可変に制御できる電子シャッタ付きのＣＣ
Ｄを用いて短時間撮像と長時間撮像を交互に繰り返し、
隣り合う２画像から高ダイナミックレンジ映像を生成す
る方法や装置が提案されている。例えば、特開昭６３−
３０６７７９号や特開平６−１４１２２９号の技術がこ
れに該当する。
【０００３】
【発明が解決しようとする課題】しかしながら、図１
（ａ）の１１に示すように両方法とも、２フレームの原
画像から１フレームの画像を合成するためにフレームレ
ートが半減してしまい、滑らかな動きの動画映像が生成
できない欠点があった。特開平６−１４１２２９号では
実質倍速で動作する専用ＣＣＤを開発してこの問題を解
決しているが、この方法では汎用のＣＣＤを使えないた
め汎用性やコストに問題がある。また、ＣＣＤの画素数
が増大すると倍速動作そのものが技術的に困難となるた
め、ＨＤＴＶやＵＤＴＶ等の高解像度映像には適用でき
ない問題もある。
（ａ）の１１に示すように両方法とも、２フレームの原
画像から１フレームの画像を合成するためにフレームレ
ートが半減してしまい、滑らかな動きの動画映像が生成
できない欠点があった。特開平６−１４１２２９号では
実質倍速で動作する専用ＣＣＤを開発してこの問題を解
決しているが、この方法では汎用のＣＣＤを使えないた
め汎用性やコストに問題がある。また、ＣＣＤの画素数
が増大すると倍速動作そのものが技術的に困難となるた
め、ＨＤＴＶやＵＤＴＶ等の高解像度映像には適用でき
ない問題もある。
【０００４】また、静止画撮影ではなく動画撮影する場
合には、動く被写体の高輝度領域または低輝度領域の位
置、形状が時間と共に変動するが、従来の方法では異な
る時刻に撮像された画像をそのまま合成しているため、
合成部の輪郭領域において偽信号の発生による画質劣化
が生じてしまう問題がある。特開平６−１４１２２９号
では２枚の画像を輝度値に応じて徐々に混合することに
より画質劣化が視覚的に目立たないよう工夫している
が、根本的な解決方法とはなっていない。
合には、動く被写体の高輝度領域または低輝度領域の位
置、形状が時間と共に変動するが、従来の方法では異な
る時刻に撮像された画像をそのまま合成しているため、
合成部の輪郭領域において偽信号の発生による画質劣化
が生じてしまう問題がある。特開平６−１４１２２９号
では２枚の画像を輝度値に応じて徐々に混合することに
より画質劣化が視覚的に目立たないよう工夫している
が、根本的な解決方法とはなっていない。
【０００５】本発明は、上記従来の技術の問題点を解決
するために為されたものであり、原画像と同フレームレ
ートで高ダイナミックレンジ映像を生成できる方法及び
装置を提供することを課題とする。さらに、その生成の
際に、映像の切り替わり点や、画像内容がフレーム間で
不連続的に変化する場合にも、高品質の高ダイナミック
レンジ映像を生成できる方法及び装置を提供することを
課題とする。
するために為されたものであり、原画像と同フレームレ
ートで高ダイナミックレンジ映像を生成できる方法及び
装置を提供することを課題とする。さらに、その生成の
際に、映像の切り替わり点や、画像内容がフレーム間で
不連続的に変化する場合にも、高品質の高ダイナミック
レンジ映像を生成できる方法及び装置を提供することを
課題とする。
【０００６】
【課題を解決するための手段】上記の課題を解決するた
めの手段として、本発明の請求項１では、撮像時間を可
変に制御できる撮像装置を用いて長時間撮像と短時間撮
像を交互に繰り返して高ダイナミックレンジ映像を生成
する方法において、長時間撮像と直後または直前の短時
間撮像の２画像より長時間撮像時刻における高ダイナミ
ックレンジ画像を合成する過程Ａと、短時間撮像と直後
または直前の長時間撮像の２画像より短時間撮像時刻に
おける高ダイナミックレンジ画像を合成する過程Ｂの異
なる２つの合成過程とを有し、長時間撮像時刻における
画像については過程Ａを実行し、短時間撮像時刻におけ
る画像については過程Ｂを実行することを特徴とする高
ダイナミックレンジ映像の生成方法を用いる。
めの手段として、本発明の請求項１では、撮像時間を可
変に制御できる撮像装置を用いて長時間撮像と短時間撮
像を交互に繰り返して高ダイナミックレンジ映像を生成
する方法において、長時間撮像と直後または直前の短時
間撮像の２画像より長時間撮像時刻における高ダイナミ
ックレンジ画像を合成する過程Ａと、短時間撮像と直後
または直前の長時間撮像の２画像より短時間撮像時刻に
おける高ダイナミックレンジ画像を合成する過程Ｂの異
なる２つの合成過程とを有し、長時間撮像時刻における
画像については過程Ａを実行し、短時間撮像時刻におけ
る画像については過程Ｂを実行することを特徴とする高
ダイナミックレンジ映像の生成方法を用いる。
【０００７】また、本発明の請求項２では、過程Ａにお
いて、長時間撮像の画像内にあるオーバーフロー領域Ｘ
を検出する過程Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッ
チングを行う過程とを有し、過程Ｃにより長時間撮像画
像を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄによ
り直後または直前の短時間撮像画像から領域Ｙを抜き出
し、パターンマッチングを行う過程により領域Ｙの位
置、形状を領域Ｘの位置、形状に合わせた後で画素の輝
度値の倍率補正を行った後に、領域Ｘ-と合成すること
によって、長時間撮像と直後または直前の短時間撮像の
２画像から長時間撮像時刻における画像を合成すること
を特徴とする請求項１に記載の高ダイナミックレンジ映
像の生成方法を用いる。
いて、長時間撮像の画像内にあるオーバーフロー領域Ｘ
を検出する過程Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッ
チングを行う過程とを有し、過程Ｃにより長時間撮像画
像を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄによ
り直後または直前の短時間撮像画像から領域Ｙを抜き出
し、パターンマッチングを行う過程により領域Ｙの位
置、形状を領域Ｘの位置、形状に合わせた後で画素の輝
度値の倍率補正を行った後に、領域Ｘ-と合成すること
によって、長時間撮像と直後または直前の短時間撮像の
２画像から長時間撮像時刻における画像を合成すること
を特徴とする請求項１に記載の高ダイナミックレンジ映
像の生成方法を用いる。
【０００８】また、本発明の請求項３では、過程Ｂにお
いて、長時間撮像の画像内にあるオーバーフロー領域Ｘ
を検出する過程Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッ
チングを行う過程とを有し、過程Ｄにより短時間撮像画
像を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより
直後または直前の長時間撮像画像を領域Ｘとその他の領
域Ｘ-に分離し、パターンマッチングを行う過程により
領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた
後で、画素の輝度値の倍率補正を行った後の領域Ｙと合
成することによって、短時間撮像と直後または直前の長
時間撮像の２画像から短時間撮像時刻における画像を合
成することを特徴とする請求項１に記載の高ダイナミッ
クレンジ映像の生成方法を用いる。
いて、長時間撮像の画像内にあるオーバーフロー領域Ｘ
を検出する過程Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッ
チングを行う過程とを有し、過程Ｄにより短時間撮像画
像を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより
直後または直前の長時間撮像画像を領域Ｘとその他の領
域Ｘ-に分離し、パターンマッチングを行う過程により
領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた
後で、画素の輝度値の倍率補正を行った後の領域Ｙと合
成することによって、短時間撮像と直後または直前の長
時間撮像の２画像から短時間撮像時刻における画像を合
成することを特徴とする請求項１に記載の高ダイナミッ
クレンジ映像の生成方法を用いる。
【０００９】また、本発明の請求項４では、撮像時間を
可変に制御できる撮像装置を用いて長時間撮像と短時間
撮像を交互に繰り返して高ダイナミックレンジ映像を生
成する方法において、長時間撮像と直前の短時間撮像と
直後の短時間撮像の３画像より長時間撮像時刻における
高ダイナミックレンジ画像を合成する過程Ｅと、短時間
撮像と直前の長時間撮像と直後の長時間撮像の３画像よ
り短時間撮像時刻における高ダイナミックレンジ画像を
合成する過程Ｆの異なる２つの合成過程とを有し、長時
間撮像時刻における画像については過程Ｅを実行し、短
時間撮像時刻における画像については過程Ｆを実行する
ことを特徴とする高ダイナミックレンジ映像の生成方法
を用いる。
可変に制御できる撮像装置を用いて長時間撮像と短時間
撮像を交互に繰り返して高ダイナミックレンジ映像を生
成する方法において、長時間撮像と直前の短時間撮像と
直後の短時間撮像の３画像より長時間撮像時刻における
高ダイナミックレンジ画像を合成する過程Ｅと、短時間
撮像と直前の長時間撮像と直後の長時間撮像の３画像よ
り短時間撮像時刻における高ダイナミックレンジ画像を
合成する過程Ｆの異なる２つの合成過程とを有し、長時
間撮像時刻における画像については過程Ｅを実行し、短
時間撮像時刻における画像については過程Ｆを実行する
ことを特徴とする高ダイナミックレンジ映像の生成方法
を用いる。
【００１０】また、本発明の請求項５では、過程Ｅで
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する過程Ｃと、短時間撮像の画像において長時間撮
像であったならオーバーフローすると予測される領域Ｙ
を検出する過程Ｄと、２領域の画像のパターンマッチン
グを行う過程とを有し、過程Ｃにより長時間撮像の画像
を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄにより
直前の短時間撮像の画像から領域Ｙ１を切り出し、過程
Ｄにより直後の短時間撮像の画像から領域Ｙ２を切り出
し、２領域の画像のパターンマッチングを行う過程によ
り２領域である領域Ｙ１と領域Ｙ２から長時間撮像時刻
における中間画像Ｙ３を生成し、中間画像Ｙ３から領域
Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍
率補正を行った後で、領域Ｘ-と合成することによっ
て、長時間撮像と直前の短時間画像と直後の短時間撮像
の３画像から長時間撮像時刻における画像を合成するこ
とを特徴とする請求項４に記載の高ダイナミックレンジ
映像の生成方法を用いる。
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する過程Ｃと、短時間撮像の画像において長時間撮
像であったならオーバーフローすると予測される領域Ｙ
を検出する過程Ｄと、２領域の画像のパターンマッチン
グを行う過程とを有し、過程Ｃにより長時間撮像の画像
を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄにより
直前の短時間撮像の画像から領域Ｙ１を切り出し、過程
Ｄにより直後の短時間撮像の画像から領域Ｙ２を切り出
し、２領域の画像のパターンマッチングを行う過程によ
り２領域である領域Ｙ１と領域Ｙ２から長時間撮像時刻
における中間画像Ｙ３を生成し、中間画像Ｙ３から領域
Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍
率補正を行った後で、領域Ｘ-と合成することによっ
て、長時間撮像と直前の短時間画像と直後の短時間撮像
の３画像から長時間撮像時刻における画像を合成するこ
とを特徴とする請求項４に記載の高ダイナミックレンジ
映像の生成方法を用いる。
【００１１】また、本発明の請求項６では、過程Ｆで
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する過程Ｃと、短時間撮像の画像において長時間撮
像であったならオーバーフローすると予測される領域Ｙ
を検出する過程Ｄと、２領域の画像のパターンマッチン
グを行う過程とを有し、過程Ｄにより短時間撮像の画像
を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより直
前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-
に分離し、過程Ｃにより直後の長時間撮像の画像を領域
Ｘ２とその他の領域Ｘ２-に分離し、２領域の画像のパ
ターンマッチングを行う過程により２領域である領域Ｘ
１-と領域Ｘ２-から短時間撮像時刻における中間画像Ｘ
３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重
なる領域を切り出した後で、画素の輝度値の倍率補正を
行った後の領域Ｙと合成することによって、短時間撮像
と直前の長時間撮像と直後の短時間撮像の３画像から短
時間撮像時刻における画像を合成することを特徴とする
請求項４に記載の高ダイナミックレンジ映像の生成方法
を用いる。
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する過程Ｃと、短時間撮像の画像において長時間撮
像であったならオーバーフローすると予測される領域Ｙ
を検出する過程Ｄと、２領域の画像のパターンマッチン
グを行う過程とを有し、過程Ｄにより短時間撮像の画像
を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより直
前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-
に分離し、過程Ｃにより直後の長時間撮像の画像を領域
Ｘ２とその他の領域Ｘ２-に分離し、２領域の画像のパ
ターンマッチングを行う過程により２領域である領域Ｘ
１-と領域Ｘ２-から短時間撮像時刻における中間画像Ｘ
３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重
なる領域を切り出した後で、画素の輝度値の倍率補正を
行った後の領域Ｙと合成することによって、短時間撮像
と直前の長時間撮像と直後の短時間撮像の３画像から短
時間撮像時刻における画像を合成することを特徴とする
請求項４に記載の高ダイナミックレンジ映像の生成方法
を用いる。
【００１２】また、本発明の請求項７では、２領域の画
像のパターンマッチングを行う過程が２領域のパターン
の類似度を算出する過程も有し、請求項５または請求項
６に記載の高ダイナミックレンジ映像の生成方法におい
て、２領域の画像のパターンマッチングを行う際に類似
度も算出し、予め設定された値よりも類似度が小さい場
合には、請求項５においてはＹ１とＸおよびＹ２とＸに
対して輪郭線のパターンマッチングを行い、請求項６に
おいてはＸ１とＹおよびＸ２とＹに対して輪郭線のパタ
ーンマッチングを行い、該輪郭線のパターンマッチング
の結果、ＸとＹ２あるいはＹとＸ２の類似度の方が大き
い場合は請求項４に記載の高ダイナミックレンジ映像の
生成方法の代わりに直後の画像を用いる請求項１に記載
の高ダイナミックレンジ映像の生成方法に切り替え、Ｙ
１とＸあるいはＸ１とＹの類似度の方が大きい場合は請
求項４に記載の高ダイナミックレンジ映像の生成方法の
代わりに直前の画像を用いる請求項１に記載の高ダイナ
ミックレンジ映像の生成方法に切り替えることを特徴と
する高ダイナミックレンジ映像の生成方法を用いる。
像のパターンマッチングを行う過程が２領域のパターン
の類似度を算出する過程も有し、請求項５または請求項
６に記載の高ダイナミックレンジ映像の生成方法におい
て、２領域の画像のパターンマッチングを行う際に類似
度も算出し、予め設定された値よりも類似度が小さい場
合には、請求項５においてはＹ１とＸおよびＹ２とＸに
対して輪郭線のパターンマッチングを行い、請求項６に
おいてはＸ１とＹおよびＸ２とＹに対して輪郭線のパタ
ーンマッチングを行い、該輪郭線のパターンマッチング
の結果、ＸとＹ２あるいはＹとＸ２の類似度の方が大き
い場合は請求項４に記載の高ダイナミックレンジ映像の
生成方法の代わりに直後の画像を用いる請求項１に記載
の高ダイナミックレンジ映像の生成方法に切り替え、Ｙ
１とＸあるいはＸ１とＹの類似度の方が大きい場合は請
求項４に記載の高ダイナミックレンジ映像の生成方法の
代わりに直前の画像を用いる請求項１に記載の高ダイナ
ミックレンジ映像の生成方法に切り替えることを特徴と
する高ダイナミックレンジ映像の生成方法を用いる。
【００１３】また、本発明の請求項８では、撮像時間を
可変に制御できる撮像装置を用いて長時間撮像と短時間
撮像を交互に繰り返して高ダイナミックレンジ映像を生
成する装置において、長時間撮像と直後または直前の短
時間撮像の２画像より長時間撮像時刻における高ダイナ
ミックレンジ画像を合成する合成器Ａと、短時間撮像と
直後または直前の長時間撮像の２画像より短時間撮像時
刻における高ダイナミックレンジ画像を合成する合成器
Ｂの異なる２つの合成器とを有し、長時間撮像時刻にお
ける画像については合成器Ａを用い、短時間撮像時刻に
おける画像については合成器Ｂを用いることを特徴とす
る高ダイナミックレンジ映像の生成装置を用いる。
可変に制御できる撮像装置を用いて長時間撮像と短時間
撮像を交互に繰り返して高ダイナミックレンジ映像を生
成する装置において、長時間撮像と直後または直前の短
時間撮像の２画像より長時間撮像時刻における高ダイナ
ミックレンジ画像を合成する合成器Ａと、短時間撮像と
直後または直前の長時間撮像の２画像より短時間撮像時
刻における高ダイナミックレンジ画像を合成する合成器
Ｂの異なる２つの合成器とを有し、長時間撮像時刻にお
ける画像については合成器Ａを用い、短時間撮像時刻に
おける画像については合成器Ｂを用いることを特徴とす
る高ダイナミックレンジ映像の生成装置を用いる。
【００１４】また、本発明の請求項９では、合成器Ａ
は、長時間撮像の画像内にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマ
ッチングを行うパターンマッチング器とを有し、検出器
Ｃを用いて長時間撮像画像を領域Ｘとそれ以外の領域Ｘ
-に分離し、検出器Ｄを用いて直後または直前の短時間
撮像画像から領域Ｙを抜き出し、該パターンマッチング
器を用いて領域Ｙの位置、形状を領域Ｘの位置、形状に
合わせた後で画素の輝度値の倍率補正を行った後に、領
域Ｘ-と合成することによって、長時間撮像と直後また
は直前の短時間撮像の２画像から長時間撮像時刻におけ
る画像を合成するものであることを特徴とする請求項８
に記載の高ダイナミックレンジ映像の生成装置を用い
る。
は、長時間撮像の画像内にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマ
ッチングを行うパターンマッチング器とを有し、検出器
Ｃを用いて長時間撮像画像を領域Ｘとそれ以外の領域Ｘ
-に分離し、検出器Ｄを用いて直後または直前の短時間
撮像画像から領域Ｙを抜き出し、該パターンマッチング
器を用いて領域Ｙの位置、形状を領域Ｘの位置、形状に
合わせた後で画素の輝度値の倍率補正を行った後に、領
域Ｘ-と合成することによって、長時間撮像と直後また
は直前の短時間撮像の２画像から長時間撮像時刻におけ
る画像を合成するものであることを特徴とする請求項８
に記載の高ダイナミックレンジ映像の生成装置を用い
る。
【００１５】また、本発明の請求項１０では、合成器Ｂ
は、長時間撮像の画像内にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマ
ッチングを行うパターンマッチング器とを有し、検出器
Ｄを用いて短時間撮像画像を領域Ｙとその他の領域Ｙ-
に分離し、検出器Ｃを用いて直後または直前の長時間撮
像画像を領域Ｘとその他の領域Ｘ-に分離し、該パター
ンマッチング器を用いて領域Ｘ-の位置、形状を領域Ｙ-
の位置、形状に合わせた後で、画素の輝度値の倍率補正
を行った後の領域Ｙと合成することによって、短時間撮
像と直後または直前の長時間撮像の２画像から短時間撮
像時刻における画像を合成するものであることを特徴と
する請求項８に記載の高ダイナミックレンジ映像の生成
装置を用いる。
は、長時間撮像の画像内にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマ
ッチングを行うパターンマッチング器とを有し、検出器
Ｄを用いて短時間撮像画像を領域Ｙとその他の領域Ｙ-
に分離し、検出器Ｃを用いて直後または直前の長時間撮
像画像を領域Ｘとその他の領域Ｘ-に分離し、該パター
ンマッチング器を用いて領域Ｘ-の位置、形状を領域Ｙ-
の位置、形状に合わせた後で、画素の輝度値の倍率補正
を行った後の領域Ｙと合成することによって、短時間撮
像と直後または直前の長時間撮像の２画像から短時間撮
像時刻における画像を合成するものであることを特徴と
する請求項８に記載の高ダイナミックレンジ映像の生成
装置を用いる。
【００１６】また、本発明の請求項１１では、撮像時間
を可変に制御できる撮像装置を用いて長時間撮像と短時
間撮像を交互に繰り返して高ダイナミックレンジ映像を
生成する装置において、長時間撮像と直前の短時間撮像
と直後の短時間撮像の３画像より長時間撮像時刻におけ
る高ダイナミックレンジ画像を合成する合成器Ｅと、短
時間撮像と直前の長時間撮像と直後の長時間撮像の３画
像より短時間撮像時刻における高ダイナミックレンジ画
像を合成する合成器Ｆの異なる２つの合成器とを有し、
長時間撮像時刻における画像については合成器Ｅを用
い、短時間撮像時刻における画像については合成器Ｆを
用いることを特徴とする高ダイナミックレンジ映像の生
成装置を用いる。
を可変に制御できる撮像装置を用いて長時間撮像と短時
間撮像を交互に繰り返して高ダイナミックレンジ映像を
生成する装置において、長時間撮像と直前の短時間撮像
と直後の短時間撮像の３画像より長時間撮像時刻におけ
る高ダイナミックレンジ画像を合成する合成器Ｅと、短
時間撮像と直前の長時間撮像と直後の長時間撮像の３画
像より短時間撮像時刻における高ダイナミックレンジ画
像を合成する合成器Ｆの異なる２つの合成器とを有し、
長時間撮像時刻における画像については合成器Ｅを用
い、短時間撮像時刻における画像については合成器Ｆを
用いることを特徴とする高ダイナミックレンジ映像の生
成装置を用いる。
【００１７】また、本発明の請求項１２では、合成器Ｅ
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の画像のパターンマッ
チングを行うパターンマッチング器とを有し、検出器Ｃ
を用いて長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ
-に分離し、検出器Ｄを用いて直前の短時間撮像の画像
から領域Ｙ１を切り出し、検出器Ｄを用いて直後の短時
間撮像の画像から領域Ｙ２を切り出し、領域Ｙ１と領域
Ｙ２から該パターンマッチング器を用いて長時間撮像時
刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領
域Ｘと位置的に重なる領域を切り出し、画素の輝度値の
倍率補正を行った後で、領域Ｘ-と合成することによっ
て、長時間撮像と直前の短時間画像と直後の短時間撮像
の３画像から長時間撮像時刻における画像を合成するも
のであることを特徴とする請求項１１に記載の高ダイナ
ミックレンジ映像の生成装置を用いる。
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の画像のパターンマッ
チングを行うパターンマッチング器とを有し、検出器Ｃ
を用いて長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ
-に分離し、検出器Ｄを用いて直前の短時間撮像の画像
から領域Ｙ１を切り出し、検出器Ｄを用いて直後の短時
間撮像の画像から領域Ｙ２を切り出し、領域Ｙ１と領域
Ｙ２から該パターンマッチング器を用いて長時間撮像時
刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領
域Ｘと位置的に重なる領域を切り出し、画素の輝度値の
倍率補正を行った後で、領域Ｘ-と合成することによっ
て、長時間撮像と直前の短時間画像と直後の短時間撮像
の３画像から長時間撮像時刻における画像を合成するも
のであることを特徴とする請求項１１に記載の高ダイナ
ミックレンジ映像の生成装置を用いる。
【００１８】また、本発明の請求項１３では、合成器Ｆ
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の画像のパターンマッ
チングを行うパターンマッチング器とを有し、検出器Ｄ
を用いて短時間撮像の画像を領域Ｙとその他の領域Ｙ-
に分離し、検出器Ｃを用いて直前の長時間撮像の画像を
領域Ｘ１とその他の領域Ｘ１-に分離し、検出器Ｃを用
いて直後の長時間撮像の画像を領域Ｘ２とその他の領域
Ｘ２-に分離し、領域Ｘ１-と領域Ｘ２-から該パターン
マッチング器を用いて短時間撮像時刻における中間画像
Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に
重なる領域を切り出した後で、画素の輝度値の倍率補正
を行った後の領域Ｙと合成することによって、短時間撮
像と直前の長時間撮像と直後の短時間撮像の３画像から
短時間撮像時刻における画像を合成するものであること
を特徴とする請求項１１に記載の高ダイナミックレンジ
映像の生成装置を用いる。
は、長時間撮像の画像中にあるオーバーフロー領域Ｘを
検出する検出器Ｃと、短時間撮像の画像において長時間
撮像であったならオーバーフローすると予測される領域
Ｙを検出する検出器Ｄと、２領域の画像のパターンマッ
チングを行うパターンマッチング器とを有し、検出器Ｄ
を用いて短時間撮像の画像を領域Ｙとその他の領域Ｙ-
に分離し、検出器Ｃを用いて直前の長時間撮像の画像を
領域Ｘ１とその他の領域Ｘ１-に分離し、検出器Ｃを用
いて直後の長時間撮像の画像を領域Ｘ２とその他の領域
Ｘ２-に分離し、領域Ｘ１-と領域Ｘ２-から該パターン
マッチング器を用いて短時間撮像時刻における中間画像
Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に
重なる領域を切り出した後で、画素の輝度値の倍率補正
を行った後の領域Ｙと合成することによって、短時間撮
像と直前の長時間撮像と直後の短時間撮像の３画像から
短時間撮像時刻における画像を合成するものであること
を特徴とする請求項１１に記載の高ダイナミックレンジ
映像の生成装置を用いる。
【００１９】また、本発明の請求項１４では、２領域の
画像のパターンマッチングを行うパターンマッチング器
が２領域の画像のパターンの類似度を算出する類似度評
価器も有し、請求項１２または請求項１３に記載の高ダ
イナミックレンジ映像の生成装置おいて、画像のパター
ンマッチングを行う際に類似度も算出し、予め設定され
た値よりも類似度が小さい場合には、請求項１２に記載
の高ダイナミックレンジ映像の生成装置おいてはＹ１と
ＸおよびＹ２とＸに対して輪郭線のパターンマッチング
を行い、請求項１３に記載の高ダイナミックレンジ映像
の生成装置おいてはＸ１とＹおよびＸ２とＹに対して輪
郭線のパターンマッチングを行い、ＸとＹ２あるいはＹ
とＸ２の類似度の方が大きい場合は請求項１１に記載の
高ダイナミックレンジ映像の生成装置の代わりに直後の
画像を用いる請求項８に記載の高ダイナミックレンジ映
像の生成装置で処理を行い、Ｙ１とＸあるいはＸ１とＹ
の類似度の方が大きい場合は請求項１１に記載の高ダイ
ナミックレンジ映像の生成装置の代わりに直前の画像を
用いる請求項８に記載の高ダイナミックレンジ映像の生
成装置で処理を行うものであることを特徴とする高ダイ
ナミックレンジ映像の生成装置を用いる。
画像のパターンマッチングを行うパターンマッチング器
が２領域の画像のパターンの類似度を算出する類似度評
価器も有し、請求項１２または請求項１３に記載の高ダ
イナミックレンジ映像の生成装置おいて、画像のパター
ンマッチングを行う際に類似度も算出し、予め設定され
た値よりも類似度が小さい場合には、請求項１２に記載
の高ダイナミックレンジ映像の生成装置おいてはＹ１と
ＸおよびＹ２とＸに対して輪郭線のパターンマッチング
を行い、請求項１３に記載の高ダイナミックレンジ映像
の生成装置おいてはＸ１とＹおよびＸ２とＹに対して輪
郭線のパターンマッチングを行い、ＸとＹ２あるいはＹ
とＸ２の類似度の方が大きい場合は請求項１１に記載の
高ダイナミックレンジ映像の生成装置の代わりに直後の
画像を用いる請求項８に記載の高ダイナミックレンジ映
像の生成装置で処理を行い、Ｙ１とＸあるいはＸ１とＹ
の類似度の方が大きい場合は請求項１１に記載の高ダイ
ナミックレンジ映像の生成装置の代わりに直前の画像を
用いる請求項８に記載の高ダイナミックレンジ映像の生
成装置で処理を行うものであることを特徴とする高ダイ
ナミックレンジ映像の生成装置を用いる。
【００２０】また、本発明の請求項１５では、請求項１
から請求項７のいずれか１項に記載の高ダイナミックレ
ンジ映像の生成方法における過程を、コンピュータに実
行させるためのプログラムとしたことを特徴とする高ダ
イナミックレンジ映像の生成方法の実行プログラムを用
いる。
から請求項７のいずれか１項に記載の高ダイナミックレ
ンジ映像の生成方法における過程を、コンピュータに実
行させるためのプログラムとしたことを特徴とする高ダ
イナミックレンジ映像の生成方法の実行プログラムを用
いる。
【００２１】また、本発明の請求項１６では、請求項１
から請求項７のいずれか１項に記載の高ダイナミックレ
ンジ映像の生成方法における過程を、コンピュータに実
行させるためのプログラムとし、該プログラムを、該コ
ンピュータが読み取りできる記録媒体に記録したことを
特徴とする高ダイナミックレンジ映像の生成方法の実行
プログラムを記録した記録媒体を用いる。
から請求項７のいずれか１項に記載の高ダイナミックレ
ンジ映像の生成方法における過程を、コンピュータに実
行させるためのプログラムとし、該プログラムを、該コ
ンピュータが読み取りできる記録媒体に記録したことを
特徴とする高ダイナミックレンジ映像の生成方法の実行
プログラムを記録した記録媒体を用いる。
【００２２】本発明の方法および装置は、図１（ｂ）の
１２および図１（ｃ）の１３に示すように、異なる二つ
の合成アルゴリズムを交互に使用することにより、実質
的には１フレームの原画像から１フレームの高ダイナミ
ックレンジ画像を生成することによって同フレームレー
トで高ダイナミックレンジ映像を提供する。
１２および図１（ｃ）の１３に示すように、異なる二つ
の合成アルゴリズムを交互に使用することにより、実質
的には１フレームの原画像から１フレームの高ダイナミ
ックレンジ画像を生成することによって同フレームレー
トで高ダイナミックレンジ映像を提供する。
【００２３】請求項１は、図１（ｂ）の１２に示すよう
に連続する２フレームの画像から高ダイナミックレンジ
画像を合成する方法を提供するものであり、請求項４は
図１（ｃ）の１３に示すように連続する３フレームの画
像から高ダイナミックレンジ画像を合成する方法を提供
するものである。
に連続する２フレームの画像から高ダイナミックレンジ
画像を合成する方法を提供するものであり、請求項４は
図１（ｃ）の１３に示すように連続する３フレームの画
像から高ダイナミックレンジ画像を合成する方法を提供
するものである。
【００２４】請求項４の方法は、より高精度に画像を予
測生成して高ダイナミックレンジ画像を合成する方法で
あり、通常、請求項１の方法より高品質に画像合成でき
るが、連続する３フレームの画像を必ず必要とするた
め、映像の切り替わり点や、画像内容がフレーム間で不
連続的に変化する場合には適用できないか、または無理
に適用しても低品質の合成画像しか得られない等の問題
点もある。
測生成して高ダイナミックレンジ画像を合成する方法で
あり、通常、請求項１の方法より高品質に画像合成でき
るが、連続する３フレームの画像を必ず必要とするた
め、映像の切り替わり点や、画像内容がフレーム間で不
連続的に変化する場合には適用できないか、または無理
に適用しても低品質の合成画像しか得られない等の問題
点もある。
【００２５】そこで、請求項７において、前記のフレー
ム間の不連続性を２画像の類似度を調べることによって
検出し、請求項４の方法と請求項１の方法を適応的に切
り替えて処理を行う方法を提供する。
ム間の不連続性を２画像の類似度を調べることによって
検出し、請求項４の方法と請求項１の方法を適応的に切
り替えて処理を行う方法を提供する。
【００２６】請求項８は図１（ｂ）の１２に示すように
連続する２フレームの画像から高ダイナミックレンジ画
像を合成する装置を提供するものであり、請求項１１は
図１（ｃ）の１３に示すように連続する３フレームの画
像から高ダイナミックレンジ画像を合成する装置を提供
するものである。
連続する２フレームの画像から高ダイナミックレンジ画
像を合成する装置を提供するものであり、請求項１１は
図１（ｃ）の１３に示すように連続する３フレームの画
像から高ダイナミックレンジ画像を合成する装置を提供
するものである。
【００２７】請求項１１の装置は、より高精度に画像を
予測生成して高ダイナミックレンジ画像を合成する装置
であり、通常、請求項８の装置より高品質に画像合成で
きるが、連続する３フレームの画像を必ず必要とするた
め、映像の切り替わり点や、画像内容がフレーム間で不
連続的に変化する場合には適用できないか、または無理
に適用しても低品質の合成画像しか得られない等の問題
点もある。
予測生成して高ダイナミックレンジ画像を合成する装置
であり、通常、請求項８の装置より高品質に画像合成で
きるが、連続する３フレームの画像を必ず必要とするた
め、映像の切り替わり点や、画像内容がフレーム間で不
連続的に変化する場合には適用できないか、または無理
に適用しても低品質の合成画像しか得られない等の問題
点もある。
【００２８】そこで、請求項１４において、前記のフレ
ーム間の不連続性を２画像の類似度を調べることによっ
て検出し、請求項１１の方法と請求項８の方法を適応的
に切り替えて処理を行う装置を提供する。
ーム間の不連続性を２画像の類似度を調べることによっ
て検出し、請求項１１の方法と請求項８の方法を適応的
に切り替えて処理を行う装置を提供する。
【００２９】以上のように、本発明の方法および装置
は、パターンマッチングを行う手段を用いた動画補償や
輪郭線フィッティングを行うことによって撮像時刻に得
られるはずの画像を予測生成した上で該画像を用いて高
ダイナミックレンジ画像を合成する。これより動画撮影
の場合にも高品質な高ダイナミックレンジ映像を提供す
る。
は、パターンマッチングを行う手段を用いた動画補償や
輪郭線フィッティングを行うことによって撮像時刻に得
られるはずの画像を予測生成した上で該画像を用いて高
ダイナミックレンジ画像を合成する。これより動画撮影
の場合にも高品質な高ダイナミックレンジ映像を提供す
る。
【００３０】図２を用いて本発明の請求項１から３まで
の方法の作用を説明する。図２の２１から２３は撮像時
間を交互に変えて撮像した映像データの一部であり、２
１と２３が長時間撮像画像、２２が短時間撮像画像であ
る。２１１と２３１は被写体の露出オーバーでオーバー
フローを起こした領域、２１２と２３２はそれ以外の領
域である。２２１は長時間撮像であったならオーバーフ
ローすると予測される領域、２２２はそれ以外の領域で
ある。
の方法の作用を説明する。図２の２１から２３は撮像時
間を交互に変えて撮像した映像データの一部であり、２
１と２３が長時間撮像画像、２２が短時間撮像画像であ
る。２１１と２３１は被写体の露出オーバーでオーバー
フローを起こした領域、２１２と２３２はそれ以外の領
域である。２２１は長時間撮像であったならオーバーフ
ローすると予測される領域、２２２はそれ以外の領域で
ある。
【００３１】請求項１の方法に従うと、過程Ａによって
２２１が２１１の位置、形状に合わされて２２３とな
り、２２３は２６で画素の輝度値の倍率補正を受けた後
に２１２と組み合わされて２４が合成され、過程Ｂによ
って２３２が２２２の位置、形状に合わされて２３３と
なり、２７で画素の輝度値の倍率補正を受けた後の２２
１と組み合わされて２５が合成される。
２２１が２１１の位置、形状に合わされて２２３とな
り、２２３は２６で画素の輝度値の倍率補正を受けた後
に２１２と組み合わされて２４が合成され、過程Ｂによ
って２３２が２２２の位置、形状に合わされて２３３と
なり、２７で画素の輝度値の倍率補正を受けた後の２２
１と組み合わされて２５が合成される。
【００３２】なお、ここではある時刻における画像と直
後の画像より該時刻における画像を合成する作用を説明
しているが、例えば、２５を合成する場合、２３２のか
わりに２１２を２２２の位置、形状に合わせるのごと
く、直後の画像を使う部分を直前の画像に置き換えるだ
けで、ある時刻における画像と直前の画像より該時刻に
おける画像を合成できることは言うまでもない。
後の画像より該時刻における画像を合成する作用を説明
しているが、例えば、２５を合成する場合、２３２のか
わりに２１２を２２２の位置、形状に合わせるのごと
く、直後の画像を使う部分を直前の画像に置き換えるだ
けで、ある時刻における画像と直前の画像より該時刻に
おける画像を合成できることは言うまでもない。
【００３３】請求項２の方法に従うと、過程Ａは２２１
と２１１の輪郭線のパターンマッチングを行って２２１
の２１１に対する位置、形状の変移量２８を算出し、２
２１に対して２８を逆に作用させることによって２２３
を生成し、２６で画素の輝度値の倍率補正をした後に、
２１２と組み合わして２４を合成する作用を行う。
と２１１の輪郭線のパターンマッチングを行って２２１
の２１１に対する位置、形状の変移量２８を算出し、２
２１に対して２８を逆に作用させることによって２２３
を生成し、２６で画素の輝度値の倍率補正をした後に、
２１２と組み合わして２４を合成する作用を行う。
【００３４】請求項３の方法に従うと、過程Ｂは２３２
と２２２の輪郭線のパターンマッチングを行い、２３２
の２２２に対する位置、形状の変移量２９を算出し、２
３２に対して２９を逆に作用させることによって２３３
を生成し、２７で輝度値の倍率補正をした後の２２１と
組み合わして２５を合成する作用を行う。
と２２２の輪郭線のパターンマッチングを行い、２３２
の２２２に対する位置、形状の変移量２９を算出し、２
３２に対して２９を逆に作用させることによって２３３
を生成し、２７で輝度値の倍率補正をした後の２２１と
組み合わして２５を合成する作用を行う。
【００３５】次に、図３を用いて本発明の請求項４の方
法の作用を説明する。図３の３１から３４は撮像時間を
交互に変えて撮像した映像データの一部であり、３１と
３３が短時間撮像画像、３２と３４が長時間撮像画像で
ある。３２１と３４１は被写体の露出オーバーでオーバ
ーフローを起こした領域、３２２と３４２はそれ以外の
領域である。３１１と３３１は長時間撮像であったなら
オーバーフローすると予測される領域、３１２と３３２
はそれ以外の領域である。
法の作用を説明する。図３の３１から３４は撮像時間を
交互に変えて撮像した映像データの一部であり、３１と
３３が短時間撮像画像、３２と３４が長時間撮像画像で
ある。３２１と３４１は被写体の露出オーバーでオーバ
ーフローを起こした領域、３２２と３４２はそれ以外の
領域である。３１１と３３１は長時間撮像であったなら
オーバーフローすると予測される領域、３１２と３３２
はそれ以外の領域である。
【００３６】請求項４の方法に従うと、過程Ｅによって
３１１と３３１から３２１の位置、形状に合った３２３
が生成され、３７で画素の輝度値の倍率補正をした後
に、３２２と組み合わして３５が合成され、過程Ｆによ
って３２２と３４２から３３２の位置、形状に合った３
３３が生成され、３８で輝度値の倍率補正をした後の３
３１と組み合わせることによって３６が合成される。
３１１と３３１から３２１の位置、形状に合った３２３
が生成され、３７で画素の輝度値の倍率補正をした後
に、３２２と組み合わして３５が合成され、過程Ｆによ
って３２２と３４２から３３２の位置、形状に合った３
３３が生成され、３８で輝度値の倍率補正をした後の３
３１と組み合わせることによって３６が合成される。
【００３７】次に、図４を用いて請求項５の方法の作用
を説明する。なお、図中で図３と同一部分は図３の番号
をつけている。初めに３１１と３３１の画像のパターン
マッチングを行い、３１１の３３１に対する画像の位
置、形状の変移量４１を計算する。３１１と３３１に対
して該変移量より３２の撮像時刻における中間画像４２
と４３を予測生成し、両画像を合成することによって中
間画像４４を生成する。次に４４から３２１内に位置す
る領域を切り出すことによって３２３を生成する。３２
３は３７で輝度値の倍率補正をした後に３２２と組み合
わせることによって３５を合成する作用を行う。
を説明する。なお、図中で図３と同一部分は図３の番号
をつけている。初めに３１１と３３１の画像のパターン
マッチングを行い、３１１の３３１に対する画像の位
置、形状の変移量４１を計算する。３１１と３３１に対
して該変移量より３２の撮像時刻における中間画像４２
と４３を予測生成し、両画像を合成することによって中
間画像４４を生成する。次に４４から３２１内に位置す
る領域を切り出すことによって３２３を生成する。３２
３は３７で輝度値の倍率補正をした後に３２２と組み合
わせることによって３５を合成する作用を行う。
【００３８】次に、図５を用いて請求項６の方法の作用
を説明する。なお、図中で図３と同一部分は図３の番号
をつけている。初めに３２２と３４２の画像のパターン
マッチングを行い、３２２の３４２に対する画像の位
置、形状の変移量５１を計算する、３２２と３４２に対
して該変移量より３３の撮像時刻における中間画像５２
と５３を予測生成し、両画像を合成することによって中
間画像５４を生成する。次に５４から３３２内に位置す
る領域を切り出すことによって３３３を生成する。３３
３と３８で輝度値の倍率補正をした後の３３１を組み合
わせることによって３６を合成する作用を行う。
を説明する。なお、図中で図３と同一部分は図３の番号
をつけている。初めに３２２と３４２の画像のパターン
マッチングを行い、３２２の３４２に対する画像の位
置、形状の変移量５１を計算する、３２２と３４２に対
して該変移量より３３の撮像時刻における中間画像５２
と５３を予測生成し、両画像を合成することによって中
間画像５４を生成する。次に５４から３３２内に位置す
る領域を切り出すことによって３３３を生成する。３３
３と３８で輝度値の倍率補正をした後の３３１を組み合
わせることによって３６を合成する作用を行う。
【００３９】請求項７の方法に従うと、請求項５または
請求項６の方法で画像のパターンマッチングを行う時に
二つのパターンの類似度も算出する。類似度が小さい
か、またはパターンマッチングの対象となる領域がなか
った場合には、請求項５の方法においては３１１と３２
１間の類似度と３２１と３３１間の類似度を輪郭線のパ
ターンマッチングによって比較し、３２１と３３１間の
類似度の方が大きかった場合には、請求項４の方法の代
わりに３２と３３を用いた直後の画像を用いる請求項１
の方法に切り替え、３１１と３２１間の類似度の方が大
きかった場合には、請求項４の方法の代わりに３１と３
２を用いた直前の画像を用いる請求項１の方法に切り替
える作用を行う。請求項６の方法においては３２２と３
３２間の類似度と３３２と３４２間の類似度を輪郭線の
パターンマッチングによって比較し、３３２と３４２間
の類似度の方が大きかった場合には、請求項４の方法の
代わりに３３と３４を用いた直後の画像を用いる請求項
１の方法に切り替え、３２２と３３２間の類似度の方が
大きかった場合には、請求項４の方法の代わりに３２と
３３を用いる直前の画像を用いる請求項１の方法に切り
替える作用を行う。
請求項６の方法で画像のパターンマッチングを行う時に
二つのパターンの類似度も算出する。類似度が小さい
か、またはパターンマッチングの対象となる領域がなか
った場合には、請求項５の方法においては３１１と３２
１間の類似度と３２１と３３１間の類似度を輪郭線のパ
ターンマッチングによって比較し、３２１と３３１間の
類似度の方が大きかった場合には、請求項４の方法の代
わりに３２と３３を用いた直後の画像を用いる請求項１
の方法に切り替え、３１１と３２１間の類似度の方が大
きかった場合には、請求項４の方法の代わりに３１と３
２を用いた直前の画像を用いる請求項１の方法に切り替
える作用を行う。請求項６の方法においては３２２と３
３２間の類似度と３３２と３４２間の類似度を輪郭線の
パターンマッチングによって比較し、３３２と３４２間
の類似度の方が大きかった場合には、請求項４の方法の
代わりに３３と３４を用いた直後の画像を用いる請求項
１の方法に切り替え、３２２と３３２間の類似度の方が
大きかった場合には、請求項４の方法の代わりに３２と
３３を用いる直前の画像を用いる請求項１の方法に切り
替える作用を行う。
【００４０】図２を用いて本発明の請求項８から１０ま
での装置の作用を説明する。図２の２１から２３は撮像
時間を交互に変えて撮像した映像データの一部であり、
２１と２３が長時間撮像画像、２２が短時間撮像画像で
ある。２１１と２３１は被写体の露出オーバーでオーバ
ーフローを起こした領域、２１２と２３２はそれ以外の
領域である。２２１は長時間撮像であったならオーバー
フローすると予測される領域、２２２はそれ以外の領域
である。
での装置の作用を説明する。図２の２１から２３は撮像
時間を交互に変えて撮像した映像データの一部であり、
２１と２３が長時間撮像画像、２２が短時間撮像画像で
ある。２１１と２３１は被写体の露出オーバーでオーバ
ーフローを起こした領域、２１２と２３２はそれ以外の
領域である。２２１は長時間撮像であったならオーバー
フローすると予測される領域、２２２はそれ以外の領域
である。
【００４１】請求項８の装置に従うと、合成器Ａによっ
て２２１が２１１の位置、形状に合わされて２２３とな
り、２２３は２６で画素の輝度値の倍率補正を受けた後
に２１２と組み合わされて２４が合成され、合成器Ｂに
よって２３２が２２２の位置、形状に合わされて２３３
となり、２７で画素の輝度値の倍率補正を受けた後の２
２１と組み合わされて２５が合成される。
て２２１が２１１の位置、形状に合わされて２２３とな
り、２２３は２６で画素の輝度値の倍率補正を受けた後
に２１２と組み合わされて２４が合成され、合成器Ｂに
よって２３２が２２２の位置、形状に合わされて２３３
となり、２７で画素の輝度値の倍率補正を受けた後の２
２１と組み合わされて２５が合成される。
【００４２】なお、ここではある時刻における画像と直
後の画像より該時刻における画像を合成する作用を説明
しているが、例えば、２５を合成する場合、２３２のか
わりに２１２を２２２の位置、形状に合わせるのごと
く、直後の画像を使う部分を直前の画像に置き換えるだ
けである時刻における画像と直前の画像より該時刻にお
ける画像を合成できることは言うまでもない。
後の画像より該時刻における画像を合成する作用を説明
しているが、例えば、２５を合成する場合、２３２のか
わりに２１２を２２２の位置、形状に合わせるのごと
く、直後の画像を使う部分を直前の画像に置き換えるだ
けである時刻における画像と直前の画像より該時刻にお
ける画像を合成できることは言うまでもない。
【００４３】請求項９の装置に従うと、合成器Ａは２２
１と２１１の輪郭線のパターンマッチングを行って２２
１の２１１に対する位置、形状の変移量２８を算出し、
２２１に対して２８を逆に作用させることによって２２
３を生成し、２６で画素の輝度値の倍率補正をした後
に、２１２と組み合わして２４を合成する作用を行う。
１と２１１の輪郭線のパターンマッチングを行って２２
１の２１１に対する位置、形状の変移量２８を算出し、
２２１に対して２８を逆に作用させることによって２２
３を生成し、２６で画素の輝度値の倍率補正をした後
に、２１２と組み合わして２４を合成する作用を行う。
【００４４】請求項１０の装置に従うと、合成器Ｂは２
３２と２２２の輪郭線のパターンマッチングを行い、２
３２の２２２に対する位置、形状の変移量２９を算出
し、２３２に対して２９を逆に作用させることによって
２３３を生成し、２７で輝度値の倍率補正をした後の２
２１と組み合わして２５を合成する作用を行う。
３２と２２２の輪郭線のパターンマッチングを行い、２
３２の２２２に対する位置、形状の変移量２９を算出
し、２３２に対して２９を逆に作用させることによって
２３３を生成し、２７で輝度値の倍率補正をした後の２
２１と組み合わして２５を合成する作用を行う。
【００４５】次に、図３を用いて本発明の請求項１１の
装置の作用を説明する。図３の３１から３４は撮像時間
を交互に変えて撮像した映像データの一部であり、３１
と３３が短時間撮像画像、３２と３４が長時間撮像画像
である。３２１と３４１は被写体の露出オーバーでオー
バーフローを起こした領域、３２２と３４２はそれ以外
の領域である。３１１と３３１は長時間撮像であったな
らオーバーフローすると予測される領域、３１２と３３
２はそれ以外の領域である。
装置の作用を説明する。図３の３１から３４は撮像時間
を交互に変えて撮像した映像データの一部であり、３１
と３３が短時間撮像画像、３２と３４が長時間撮像画像
である。３２１と３４１は被写体の露出オーバーでオー
バーフローを起こした領域、３２２と３４２はそれ以外
の領域である。３１１と３３１は長時間撮像であったな
らオーバーフローすると予測される領域、３１２と３３
２はそれ以外の領域である。
【００４６】請求項１１の装置に従うと、合成器Ｅによ
って３１１と３３１から３２１の位置、形状に合った３
２３が生成され、３７で画素の輝度値の倍率補正をした
後に、３２２と組み合わされて３５が合成され、合成器
Ｆによって３２２と３４２から３３２の位置、形状に合
った３３３が生成され、３８で輝度値の倍率補正をした
後の３３１と組み合わせることによって３６が合成され
る。
って３１１と３３１から３２１の位置、形状に合った３
２３が生成され、３７で画素の輝度値の倍率補正をした
後に、３２２と組み合わされて３５が合成され、合成器
Ｆによって３２２と３４２から３３２の位置、形状に合
った３３３が生成され、３８で輝度値の倍率補正をした
後の３３１と組み合わせることによって３６が合成され
る。
【００４７】次に、図４を用いて請求項１２の装置の作
用を説明する。なお、図中で図３と同一部分は図３の番
号をつけている。初めに３１１と３３１の画像のパター
ンマッチングをパターンマッチング器で行い、３１１の
３３１に対する画像の位置、形状の変移量４１を計算す
る。３１１と３３１に対して該変移量より３２の撮像時
刻における中間画像４２と４３を予測生成し、両画像を
合成することによって中間画像４４を生成する。次に４
４から３２１内に位置する領域を切り出すことによって
３２３を生成する。３２３は３７で輝度値の倍率補正を
した後に３２２と組み合わせることによって３５を合成
する作用を行う。
用を説明する。なお、図中で図３と同一部分は図３の番
号をつけている。初めに３１１と３３１の画像のパター
ンマッチングをパターンマッチング器で行い、３１１の
３３１に対する画像の位置、形状の変移量４１を計算す
る。３１１と３３１に対して該変移量より３２の撮像時
刻における中間画像４２と４３を予測生成し、両画像を
合成することによって中間画像４４を生成する。次に４
４から３２１内に位置する領域を切り出すことによって
３２３を生成する。３２３は３７で輝度値の倍率補正を
した後に３２２と組み合わせることによって３５を合成
する作用を行う。
【００４８】次に、図５を用いて請求項１３の装置の作
用を説明する。なお、図中で図３と同一部分は図３の番
号をつけている。初めに３２２と３４２の画像のパター
ンマッチングをパターンマッチング器で行い、３２２の
３４２に対する画像の位置、形状の変移量５１を計算す
る。３２２と３４２に対して該変移量より３３の撮像時
刻における中間画像５２と５３を予測生成し、両画像を
合成することによって中間画像５４を生成する。次に５
４から３３２内に位置する領域を切り出すことによって
３３３を生成する。３３３と３８で輝度値の倍率補正を
した後の３３１を組み合わせることによって３６を合成
する作用を行う。
用を説明する。なお、図中で図３と同一部分は図３の番
号をつけている。初めに３２２と３４２の画像のパター
ンマッチングをパターンマッチング器で行い、３２２の
３４２に対する画像の位置、形状の変移量５１を計算す
る。３２２と３４２に対して該変移量より３３の撮像時
刻における中間画像５２と５３を予測生成し、両画像を
合成することによって中間画像５４を生成する。次に５
４から３３２内に位置する領域を切り出すことによって
３３３を生成する。３３３と３８で輝度値の倍率補正を
した後の３３１を組み合わせることによって３６を合成
する作用を行う。
【００４９】請求項１４の装置に従うと、請求項１２ま
たは請求項１３の装置で画像のパターンマッチングをパ
ターンマッチング器で行う時に二つのパターンの類似度
も算出し、類似度を類似度評価器で評価する。類似度が
小さいか、またはパターンマッチングの対象となる領域
がなかった場合には、請求項１２の装置においては３１
１と３２１間の類似度と３２１と３３１間の類似度を輪
郭線のパターンマッチングによって比較し、３２１と３
３１間の類似度の方が大きかった場合には、請求項１１
の装置の代わりに３２と３３を用いた直後の画像を用い
る請求項８の装置の処理動作に切り替え、３１１と３２
１間の類似度の方が大きかった場合には、請求項１１の
装置の代わりに３１と３２を用いた直前の画像を用いる
請求項８の装置の処理動作に切り替える作用を行う。請
求項１３の装置においては３２２と３３２間の類似度と
３３２と３４２間の類似度を輪郭線のパターンマッチン
グによって比較し、３３２と３４２間の類似度の方が大
きかった場合には、請求項１１の装置の代わりに３３と
３４を用いた直後の画像を用いる請求項８の装置の処理
動作に切り替え、３２２と３３２間の類似度の方が大き
かった場合には、請求項１１の装置の代わりに３２と３
３を用いる直前の画像を用いる請求項８の装置の処理動
作に切り替える作用を行う。
たは請求項１３の装置で画像のパターンマッチングをパ
ターンマッチング器で行う時に二つのパターンの類似度
も算出し、類似度を類似度評価器で評価する。類似度が
小さいか、またはパターンマッチングの対象となる領域
がなかった場合には、請求項１２の装置においては３１
１と３２１間の類似度と３２１と３３１間の類似度を輪
郭線のパターンマッチングによって比較し、３２１と３
３１間の類似度の方が大きかった場合には、請求項１１
の装置の代わりに３２と３３を用いた直後の画像を用い
る請求項８の装置の処理動作に切り替え、３１１と３２
１間の類似度の方が大きかった場合には、請求項１１の
装置の代わりに３１と３２を用いた直前の画像を用いる
請求項８の装置の処理動作に切り替える作用を行う。請
求項１３の装置においては３２２と３３２間の類似度と
３３２と３４２間の類似度を輪郭線のパターンマッチン
グによって比較し、３３２と３４２間の類似度の方が大
きかった場合には、請求項１１の装置の代わりに３３と
３４を用いた直後の画像を用いる請求項８の装置の処理
動作に切り替え、３２２と３３２間の類似度の方が大き
かった場合には、請求項１１の装置の代わりに３２と３
３を用いる直前の画像を用いる請求項８の装置の処理動
作に切り替える作用を行う。
【００５０】
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。
て図を用いて詳細に説明する。
【００５１】本発明の請求項１から３の方法の一実施形
態を図６に示す。図６の６１は原映像データ格納過程、
６２はデータ出力切り替え過程、６３は請求項２の方法
の過程Ａを実現する一実施形態、６４は請求項３の方法
の過程Ｂを実現する一実施形態、６５は出力データ格納
過程である。
態を図６に示す。図６の６１は原映像データ格納過程、
６２はデータ出力切り替え過程、６３は請求項２の方法
の過程Ａを実現する一実施形態、６４は請求項３の方法
の過程Ｂを実現する一実施形態、６５は出力データ格納
過程である。
【００５２】６３１と６３２は領域分離過程であり、請
求項２の方法における過程Ｃと過程Ｄの一実施形態であ
る。６３３と６３４は輪郭形状抽出過程、６３５は輪郭
形状のパターンマッチング過程、６３６は領域の移動、
変形過程、６３７は画素の輝度値倍率補正過程、６３８
は画像合成過程である。
求項２の方法における過程Ｃと過程Ｄの一実施形態であ
る。６３３と６３４は輪郭形状抽出過程、６３５は輪郭
形状のパターンマッチング過程、６３６は領域の移動、
変形過程、６３７は画素の輝度値倍率補正過程、６３８
は画像合成過程である。
【００５３】６４１と６４２は領域分離過程であり、請
求項３の方法における過程Ｃと過程Ｄの一実施形態であ
る。６４３と６３４は輪郭線抽出過程、６４５は輪郭線
形状のパターンマッチング過程、６４６は領域の移動、
変形過程、６４７は画素の輝度値倍率補正過程、６４８
は画像合成過程である。
求項３の方法における過程Ｃと過程Ｄの一実施形態であ
る。６４３と６３４は輪郭線抽出過程、６４５は輪郭線
形状のパターンマッチング過程、６４６は領域の移動、
変形過程、６４７は画素の輝度値倍率補正過程、６４８
は画像合成過程である。
【００５４】本実施形態による処理の流れを説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
【００５５】６１では交互に撮像時間を変えて撮った映
像データを蓄えている。なお、本方法を実時間処理で行
える場合には、６１のかわりに直接撮像時間可変カメラ
の出力（ガンマ補正済み）過程であっても構わない。
像データを蓄えている。なお、本方法を実時間処理で行
える場合には、６１のかわりに直接撮像時間可変カメラ
の出力（ガンマ補正済み）過程であっても構わない。
【００５６】６２は６１から逐次、画像と直後フレーム
の画像を取り出し、該２画像が長時間撮像画像、短時間
撮像画像の順番であるなら長時間撮像画像を６３１に短
時間撮像画像を６３２に出力する。また、短時間撮像画
像、長時間撮像画像の順番であるなら長時間撮像画像を
６４１に短時間撮像画像を６４２に出力する。
の画像を取り出し、該２画像が長時間撮像画像、短時間
撮像画像の順番であるなら長時間撮像画像を６３１に短
時間撮像画像を６３２に出力する。また、短時間撮像画
像、長時間撮像画像の順番であるなら長時間撮像画像を
６４１に短時間撮像画像を６４２に出力する。
【００５７】６３１と６３２は入力した画像から指定し
た値以上の画素の輝度値を有する領域と該値未満の画素
の輝度値を有する領域に分離して出力する。６３１の指
定値を２５５とすることによって、６３１はオーバーフ
ロー領域Ｘを６３３に出力し、それ以外の領域Ｘ-（図
面ではＸバーを表す）を６３８に出力する。６３２の指
定値を２５６／ｋとすることによって、６３２は長時間
撮像であったならオーバーフローすると予測される領域
Ｙを６３４と６３６に出力する。
た値以上の画素の輝度値を有する領域と該値未満の画素
の輝度値を有する領域に分離して出力する。６３１の指
定値を２５５とすることによって、６３１はオーバーフ
ロー領域Ｘを６３３に出力し、それ以外の領域Ｘ-（図
面ではＸバーを表す）を６３８に出力する。６３２の指
定値を２５６／ｋとすることによって、６３２は長時間
撮像であったならオーバーフローすると予測される領域
Ｙを６３４と６３６に出力する。
【００５８】６３３と６３４は、公知の方法であるチェ
イン符号化法（参考文献：画像解析ハンドブックｐｐ．
５７９−５８０）で領域の輪郭線を抽出して６３５に出
力する。
イン符号化法（参考文献：画像解析ハンドブックｐｐ．
５７９−５８０）で領域の輪郭線を抽出して６３５に出
力する。
【００５９】６３５は６３３と６３４から出力された輪
郭形状をフーリエ記述子（参考文献：画像解析ハンドブ
ックｐｐ．５８１−５８２）表現データに変換し、該デ
ータを比較してパターンマッチングを行うことによって
両輪郭線形状の位置、形状の変移量データをアフィン変
換行列データとして出力する（参考文献：画像処理アル
ゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐｐ．５８−
７２）。なお、輪郭線形状のパターンマッチング方法に
は様々な公知の方法があり、本発明の特許請求の範囲は
本実施形態に限定されるものではない。また、２フレー
ム間に起きる輪郭線形状の移動変形量は微小なので変形
は考慮せず全領域均一に移動するとして２領域の重心座
標の変移量を変移データとして出力する簡略方法もあ
り、変移量データの内容は本実施形態に限定されるもの
ではない。
郭形状をフーリエ記述子（参考文献：画像解析ハンドブ
ックｐｐ．５８１−５８２）表現データに変換し、該デ
ータを比較してパターンマッチングを行うことによって
両輪郭線形状の位置、形状の変移量データをアフィン変
換行列データとして出力する（参考文献：画像処理アル
ゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐｐ．５８−
７２）。なお、輪郭線形状のパターンマッチング方法に
は様々な公知の方法があり、本発明の特許請求の範囲は
本実施形態に限定されるものではない。また、２フレー
ム間に起きる輪郭線形状の移動変形量は微小なので変形
は考慮せず全領域均一に移動するとして２領域の重心座
標の変移量を変移データとして出力する簡略方法もあ
り、変移量データの内容は本実施形態に限定されるもの
ではない。
【００６０】また、本実施形態ではパターンマッチング
対象領域が一つの場合について説明しているが、６３３
と６３４で輪郭線が複数抽出されている場合は各々の輪
郭線で囲まれた領域の重心座標を求め、最も重心座標の
近い物同士で上記のパターンマッチングを行うことによ
って容易に複数の処理に拡張できることは言うまでもな
い。
対象領域が一つの場合について説明しているが、６３３
と６３４で輪郭線が複数抽出されている場合は各々の輪
郭線で囲まれた領域の重心座標を求め、最も重心座標の
近い物同士で上記のパターンマッチングを行うことによ
って容易に複数の処理に拡張できることは言うまでもな
い。
【００６１】６３６は６３５から出力されたアフィン変
換行列データに基づいて、領域Ｙの位置、形状を領域Ｘ
の位置、形状に合わせて６３７に出力する。
換行列データに基づいて、領域Ｙの位置、形状を領域Ｘ
の位置、形状に合わせて６３７に出力する。
【００６２】６３７は画素の輝度値をｋ倍して６３８に
出力する。これにより撮像時間の異なる２フレームの画
像間の感度差が補正され、同一輝度部分を撮像した画素
の輝度値は同一となる。
出力する。これにより撮像時間の異なる２フレームの画
像間の感度差が補正され、同一輝度部分を撮像した画素
の輝度値は同一となる。
【００６３】６３８は６３７の出力と６３１から出力さ
れた領域Ｘ-を一枚の画像データに合成し、これを６５
で格納する。これによって長時間撮像と直後の短時間撮
像の２画像より長時間撮像時刻における高ダイナミック
レンジ画像が合成される。
れた領域Ｘ-を一枚の画像データに合成し、これを６５
で格納する。これによって長時間撮像と直後の短時間撮
像の２画像より長時間撮像時刻における高ダイナミック
レンジ画像が合成される。
【００６４】６４１と６４２は入力した画像から指定し
た値以上の画素の輝度値を有する領域と該値未満の画素
の輝度値を有する領域に分離して出力する。６４１の指
定値を２５５とすることによって、６４１はオーバーフ
ローしていない領域Ｘ-を６４３と６４６に出力する。
６４２の指定値を２５６／ｋとすることによって、６４
２は長時間撮像であったならオーバーフローすると予測
される領域Ｙを６４７に、それ以外の領域Ｙ-（図面で
はＹバーを表す）を６４４に出力する。
た値以上の画素の輝度値を有する領域と該値未満の画素
の輝度値を有する領域に分離して出力する。６４１の指
定値を２５５とすることによって、６４１はオーバーフ
ローしていない領域Ｘ-を６４３と６４６に出力する。
６４２の指定値を２５６／ｋとすることによって、６４
２は長時間撮像であったならオーバーフローすると予測
される領域Ｙを６４７に、それ以外の領域Ｙ-（図面で
はＹバーを表す）を６４４に出力する。
【００６５】６４３と６４４は公知の方法であるチェイ
ン符号化法で領域の輪郭線を抽出して６４５に出力す
る。
ン符号化法で領域の輪郭線を抽出して６４５に出力す
る。
【００６６】６４５は６４３と６４４から出力された輪
郭形状をフーリエ記述子表現データに変換し、該データ
を比較してパターンマッチングを行うことによって両輪
郭線形状の位置、形状の変移量データをアフィン変換行
列データとして出力する。
郭形状をフーリエ記述子表現データに変換し、該データ
を比較してパターンマッチングを行うことによって両輪
郭線形状の位置、形状の変移量データをアフィン変換行
列データとして出力する。
【００６７】６４６は６４５から出力されたアフィン変
換行列データに基づいて、領域Ｘ-の位置、形状を領域
Ｙ-の位置、形状に合わせて６４８に出力する。
換行列データに基づいて、領域Ｘ-の位置、形状を領域
Ｙ-の位置、形状に合わせて６４８に出力する。
【００６８】６４７は６４２から出力された領域Ｙの画
素の輝度値をｋ倍して６４８に出力する。これにより撮
像時間の異なる２フレームの画像間の感度差が補正さ
れ、同一輝度部分を撮像した画素の輝度値は同一とな
る。
素の輝度値をｋ倍して６４８に出力する。これにより撮
像時間の異なる２フレームの画像間の感度差が補正さ
れ、同一輝度部分を撮像した画素の輝度値は同一とな
る。
【００６９】６４８は６４６の出力と６４７の出力を一
枚の画像データに合成し、これを６５で格納する。これ
によって短時間撮像と直後の長時間撮像の２画像より短
時間撮像時刻における高ダイナミックレンジ画像が合成
される。
枚の画像データに合成し、これを６５で格納する。これ
によって短時間撮像と直後の長時間撮像の２画像より短
時間撮像時刻における高ダイナミックレンジ画像が合成
される。
【００７０】本発明の請求項４から６の方法の一実施形
態を図７に示す。図７の７１は原映像データ格納過程、
７２はデータ出力切り替え過程、７３は請求項５の方法
の過程Ｅを実現する一実施形態、７４は請求項６の方法
の過程Ｆを実現する一実施形態、７５は出力データ格納
過程である。
態を図７に示す。図７の７１は原映像データ格納過程、
７２はデータ出力切り替え過程、７３は請求項５の方法
の過程Ｅを実現する一実施形態、７４は請求項６の方法
の過程Ｆを実現する一実施形態、７５は出力データ格納
過程である。
【００７１】７３１と７３２と７３３は、領域分離過程
であり、請求項５の方法における過程Ｃと過程Ｄの一実
施形態である。７３４は中間画像の予測生成過程、７３
５は領域切り出し過程、７３６は画素の輝度値の倍率補
正過程、７３７は画像合成過程である。
であり、請求項５の方法における過程Ｃと過程Ｄの一実
施形態である。７３４は中間画像の予測生成過程、７３
５は領域切り出し過程、７３６は画素の輝度値の倍率補
正過程、７３７は画像合成過程である。
【００７２】７４１と７４２と７４３は、領域分離過程
であり、請求項６の方法における過程Ｃと過程Ｄの一実
施形態である。７４４は中間画像の予測生成過程、７４
５は領域切り出し過程、７４６は画素の輝度値の倍率補
正過程、７４７は画像合成過程である。
であり、請求項６の方法における過程Ｃと過程Ｄの一実
施形態である。７４４は中間画像の予測生成過程、７４
５は領域切り出し過程、７４６は画素の輝度値の倍率補
正過程、７４７は画像合成過程である。
【００７３】本実施形態による処理の流れを説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
【００７４】７１では交互に撮像時間を変えて撮った映
像データを蓄えている。なお、本方法を実時間処理で行
える場合には７１のかわりに直接撮像時間可変カメラの
出力（ガンマ補正済み）過程であっても構わない。
像データを蓄えている。なお、本方法を実時間処理で行
える場合には７１のかわりに直接撮像時間可変カメラの
出力（ガンマ補正済み）過程であっても構わない。
【００７５】７２は７１から逐次、画像と直前及び直後
フレームの画像を取り出し、該３画像が短時間撮像画
像、長時間撮像画像、短時間撮像画像の順番であるな
ら、直前の短時間撮像画像を７３１に、長時間撮像画像
を７３２に、直後の短長間画像を７３３に出力する。ま
た、該３画像が長時間撮像画像、短時間撮像画像、長時
間撮像画像の順番であるなら、直前の長短間撮像画像を
７４１に、短時間撮像画像を７４２に、直後の長時間画
像を７４３に出力する。
フレームの画像を取り出し、該３画像が短時間撮像画
像、長時間撮像画像、短時間撮像画像の順番であるな
ら、直前の短時間撮像画像を７３１に、長時間撮像画像
を７３２に、直後の短長間画像を７３３に出力する。ま
た、該３画像が長時間撮像画像、短時間撮像画像、長時
間撮像画像の順番であるなら、直前の長短間撮像画像を
７４１に、短時間撮像画像を７４２に、直後の長時間画
像を７４３に出力する。
【００７６】７３１と７３２と７３３は入力した画像か
ら指定した値以上の画素の輝度値を有する領域と該値未
満の画素の輝度値を有する領域に分離して出力する。７
３１の指定値を２５６／ｋとすることによって、７３１
は長時間撮像であったならオーバーフローすると予測さ
れる領域Ｙを７３４に出力する。７３２の指定値を２５
５とすることによって、７３２はオーバーフロー領域Ｘ
を７３５に、それ以外の領域Ｘ-を７３７に出力する。
７３３の指定値を２５６／ｋとすることによって、７３
３は長時間撮像であったならオーバーフローすると予測
される領域Ｙを７３４に出力する。
ら指定した値以上の画素の輝度値を有する領域と該値未
満の画素の輝度値を有する領域に分離して出力する。７
３１の指定値を２５６／ｋとすることによって、７３１
は長時間撮像であったならオーバーフローすると予測さ
れる領域Ｙを７３４に出力する。７３２の指定値を２５
５とすることによって、７３２はオーバーフロー領域Ｘ
を７３５に、それ以外の領域Ｘ-を７３７に出力する。
７３３の指定値を２５６／ｋとすることによって、７３
３は長時間撮像であったならオーバーフローすると予測
される領域Ｙを７３４に出力する。
【００７７】７３４は７３１と７３３から出力された領
域Ｙの画像から短時間撮像時刻における中間画像をデュ
アルプライム予測法（参考文献：デジタル放送・インタ
ーネット技術のための情報圧縮技術、ｐｐ．２１８−２
１９）で予測生成し、７３５に出力する。デュアルプラ
イム予測法は作用の説明で述べた図４の４１、４２、４
３、４４の作用を一括して行う。請求項５の方法に記載
した画像のパターンマッチングの作用はデュアルプライ
ム予測法内のＢＭＡ（ブロックマッチングアルゴリズ
ム）にて行われる。
域Ｙの画像から短時間撮像時刻における中間画像をデュ
アルプライム予測法（参考文献：デジタル放送・インタ
ーネット技術のための情報圧縮技術、ｐｐ．２１８−２
１９）で予測生成し、７３５に出力する。デュアルプラ
イム予測法は作用の説明で述べた図４の４１、４２、４
３、４４の作用を一括して行う。請求項５の方法に記載
した画像のパターンマッチングの作用はデュアルプライ
ム予測法内のＢＭＡ（ブロックマッチングアルゴリズ
ム）にて行われる。
【００７８】なお、画像のパターンマッチングにはＢＭ
Ａ以外にも様々な公知の方法があり、画像の予測生成方
法もデュアルプライム予測法以外の公知の方法があり、
本発明の特許請求の範囲は本実施形態に限定されるもの
ではない。
Ａ以外にも様々な公知の方法があり、画像の予測生成方
法もデュアルプライム予測法以外の公知の方法があり、
本発明の特許請求の範囲は本実施形態に限定されるもの
ではない。
【００７９】７３５は７３４から出力された中間画像の
うち、７３２から出力された領域Ｘに含まれる領域の画
像のみを切り出して７３６に出力する。
うち、７３２から出力された領域Ｘに含まれる領域の画
像のみを切り出して７３６に出力する。
【００８０】７３６は７３５から出力された画像の画素
の輝度値をｋ倍して７３７に出力する。これにより撮像
時間の異なる２フレームの画像間の感度差が補正され、
同一輝度部分を撮像した画素の輝度値は同一となる。
の輝度値をｋ倍して７３７に出力する。これにより撮像
時間の異なる２フレームの画像間の感度差が補正され、
同一輝度部分を撮像した画素の輝度値は同一となる。
【００８１】７３７は７３２の出力と７３６の出力を一
枚の画像データに合成し、これを７５で格納する。これ
によって長時間撮像と直前及び直後の短時間撮像の３画
像より長時間撮像時刻における高ダイナミックレンジ画
像が合成される。
枚の画像データに合成し、これを７５で格納する。これ
によって長時間撮像と直前及び直後の短時間撮像の３画
像より長時間撮像時刻における高ダイナミックレンジ画
像が合成される。
【００８２】７４１と７４２と７４３は、入力した画像
から指定した値以上の画素の輝度値を有する領域と該値
未満の画素の輝度値を有する領域に分離して出力する。
７４１の指定値を２５５とすることによって、７４１は
オーバーフロー領域Ｘ-を７４４に出力する。７４２の
指定値を２５６／ｋとすることによって、７４２は長時
間撮像であったなら、オーバーフローすると予測される
領域Ｙを７４６に、それ以外の領域Ｙ-を７４５に出力
する。７４３の指定値を２５５とすることによって、７
４３はオーバーフロー領域Ｘ-を７４４に出力する。
から指定した値以上の画素の輝度値を有する領域と該値
未満の画素の輝度値を有する領域に分離して出力する。
７４１の指定値を２５５とすることによって、７４１は
オーバーフロー領域Ｘ-を７４４に出力する。７４２の
指定値を２５６／ｋとすることによって、７４２は長時
間撮像であったなら、オーバーフローすると予測される
領域Ｙを７４６に、それ以外の領域Ｙ-を７４５に出力
する。７４３の指定値を２５５とすることによって、７
４３はオーバーフロー領域Ｘ-を７４４に出力する。
【００８３】７４４は、７４１と７４３から出力された
領域Ｘ-の画像から短時間撮像時刻における中間画像を
デュアルプライム予測法で予測生成し、７４５に出力す
る。デュアルプライム予測法は、作用の説明で述べた図
５の５１、５２、５３、５４の作用を一括して行う。請
求項６の方法に記載した画像のパターンマッチングの作
用はデュアルプライム予測法内のＢＭＡ（ブロックマッ
チングアルゴリズム）にて行われる。
領域Ｘ-の画像から短時間撮像時刻における中間画像を
デュアルプライム予測法で予測生成し、７４５に出力す
る。デュアルプライム予測法は、作用の説明で述べた図
５の５１、５２、５３、５４の作用を一括して行う。請
求項６の方法に記載した画像のパターンマッチングの作
用はデュアルプライム予測法内のＢＭＡ（ブロックマッ
チングアルゴリズム）にて行われる。
【００８４】７４５は、７４４から出力された中間画像
のうち、７４２から出力された領域Ｙ-に含まれる領域
の画像のみを切り出して７４７に出力する。
のうち、７４２から出力された領域Ｙ-に含まれる領域
の画像のみを切り出して７４７に出力する。
【００８５】７４６は７４２から出力された画像の画素
の輝度値をｋ倍して７４７に出力する。これにより撮像
時間の異なる２フレームの画像間の感度差が補正され、
同一輝度部分を撮像した画素の輝度値は同一となる。
の輝度値をｋ倍して７４７に出力する。これにより撮像
時間の異なる２フレームの画像間の感度差が補正され、
同一輝度部分を撮像した画素の輝度値は同一となる。
【００８６】７４７は７４５の出力と７４６の出力を一
枚の画像データに合成し、これを７５で格納する。これ
によって短時間撮像と直前及び直後の短時間撮像の３画
像より短時間撮像時刻における高ダイナミックレンジ画
像が合成される。
枚の画像データに合成し、これを７５で格納する。これ
によって短時間撮像と直前及び直後の短時間撮像の３画
像より短時間撮像時刻における高ダイナミックレンジ画
像が合成される。
【００８７】本発明の請求項７の方法の一実施形態を図
８に示す。図８において図７と全く同じ作用を行う過程
を示す部分は図７と同じ番号をふっている。
８に示す。図８において図７と全く同じ作用を行う過程
を示す部分は図７と同じ番号をふっている。
【００８８】図８において、７１は原映像データ格納過
程、７２はデータ出力切り替え過程、７３１、７３２、
７３３は領域分離過程、７３４はデュアルプライム予測
法に基づく中間画像予測生成過程である。８３１から８
３５は７３４の内部処理過程を示しており、８３１はＢ
ＭＡに基づく動きベクトル抽出過程、８３２は動き補償
ベクトル生成過程、８３３は前フレーム画像を用いた中
間画像予測生成過程、８３４は後フレーム画像を用いた
中間画像予測生成過程、８３５は中間画像合成過程であ
る。８３６は画像パターンの類似度判定過程、８１は直
前の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像
の領域Ｙの輪郭線のパターンマッチング過程、８２は直
後の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像
の領域Ｙの輪郭線のパターンマッチング過程、８３は処
理動作選択過程、８４は長時間撮像画像と直前の短時間
撮像画像から高ダイナミックレンジ画像を合成する請求
項１の方法を実現する過程、８５は長時間撮像画像と直
後の短時間撮像画像から高ダイナミックレンジ画像を合
成する請求項１の方法を実現する過程、７５は出力デー
タ格納過程である。
程、７２はデータ出力切り替え過程、７３１、７３２、
７３３は領域分離過程、７３４はデュアルプライム予測
法に基づく中間画像予測生成過程である。８３１から８
３５は７３４の内部処理過程を示しており、８３１はＢ
ＭＡに基づく動きベクトル抽出過程、８３２は動き補償
ベクトル生成過程、８３３は前フレーム画像を用いた中
間画像予測生成過程、８３４は後フレーム画像を用いた
中間画像予測生成過程、８３５は中間画像合成過程であ
る。８３６は画像パターンの類似度判定過程、８１は直
前の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像
の領域Ｙの輪郭線のパターンマッチング過程、８２は直
後の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像
の領域Ｙの輪郭線のパターンマッチング過程、８３は処
理動作選択過程、８４は長時間撮像画像と直前の短時間
撮像画像から高ダイナミックレンジ画像を合成する請求
項１の方法を実現する過程、８５は長時間撮像画像と直
後の短時間撮像画像から高ダイナミックレンジ画像を合
成する請求項１の方法を実現する過程、７５は出力デー
タ格納過程である。
【００８９】本図を用いて短時間撮像画像、長時間撮像
画像、短時間撮像画像の順に並んだ３フレームの画像よ
り請求項７の方法を実施することによって、請求項４の
方法から直前または直後の画像を用いる請求項１の方法
に切り替える例について説明する。
画像、短時間撮像画像の順に並んだ３フレームの画像よ
り請求項７の方法を実施することによって、請求項４の
方法から直前または直後の画像を用いる請求項１の方法
に切り替える例について説明する。
【００９０】７１から連続する３フレームの画像データ
を７２は取り出し、直前の短時間撮像画像は７３１に、
長時間撮像画像は７３２に、直後の短時間撮像画像は７
３３に出力する。
を７２は取り出し、直前の短時間撮像画像は７３１に、
長時間撮像画像は７３２に、直後の短時間撮像画像は７
３３に出力する。
【００９１】７３１は長時間撮像であったならオーバー
フローしたであろうと予測される領域Ｙを８３１と８１
に出力する。７３３は長時間撮像であったならオーバー
フローしたであろうと予測される領域Ｙを８３１と８２
に出力する。
フローしたであろうと予測される領域Ｙを８３１と８１
に出力する。７３３は長時間撮像であったならオーバー
フローしたであろうと予測される領域Ｙを８３１と８２
に出力する。
【００９２】７３４はデュアルプライム予測法に基づく
中間画像予測生成過程であり、内部ブロックの８３１か
ら８３５は公知の処理過程、８３６は請求項７の方法を
構成する新規の過程である。初めに従来の７３４の動作
について簡単に説明する。
中間画像予測生成過程であり、内部ブロックの８３１か
ら８３５は公知の処理過程、８３６は請求項７の方法を
構成する新規の過程である。初めに従来の７３４の動作
について簡単に説明する。
【００９３】８３１は、２領域の画像をブロックパター
ンマッチング法でパターンマッチングを行い、各々のブ
ロック毎に変移ベクトルを算出して８３２に、また、２
領域のマッチング結果の残差であるＭＡＥ（平均値絶対
値誤差）を８３６に出力する。８３２は長時間撮像画像
の撮像時刻における画像にするための変移量（補償ベク
トル）を直前の画像と直後の画像毎に別々に算出して８
３３と８３４に出力する。
ンマッチング法でパターンマッチングを行い、各々のブ
ロック毎に変移ベクトルを算出して８３２に、また、２
領域のマッチング結果の残差であるＭＡＥ（平均値絶対
値誤差）を８３６に出力する。８３２は長時間撮像画像
の撮像時刻における画像にするための変移量（補償ベク
トル）を直前の画像と直後の画像毎に別々に算出して８
３３と８３４に出力する。
【００９４】８３３は補償ベクトルを用いて７３１から
出力された領域Ｙを部分中間画像に移動変形し８３５に
出力する。８３４は補償ベクトルを用いて７３３から出
力された領域Ｙを部分中間画像に移動変形し８３５に出
力する。８３５は２枚の部分中間画像を合成することに
よって１枚の中間画像を生成する。以降、請求項４の方
法であるならば図７の７３５、７３６、７３７の流れに
沿って処理が進んでいく。
出力された領域Ｙを部分中間画像に移動変形し８３５に
出力する。８３４は補償ベクトルを用いて７３３から出
力された領域Ｙを部分中間画像に移動変形し８３５に出
力する。８３５は２枚の部分中間画像を合成することに
よって１枚の中間画像を生成する。以降、請求項４の方
法であるならば図７の７３５、７３６、７３７の流れに
沿って処理が進んでいく。
【００９５】次に、請求項７の方法の動作が行われる場
合について説明する。８３６は８３１から出力された各
ブロック毎のＭＡＥを調べ、予め与えられた閾値ｖに対
して、全てのブロックのＭＡＥの総和＞ｖであるならば
２領域の類似度が低いと判定して７３４以降の処理を停
止し、８１と８２に動作を命令する。
合について説明する。８３６は８３１から出力された各
ブロック毎のＭＡＥを調べ、予め与えられた閾値ｖに対
して、全てのブロックのＭＡＥの総和＞ｖであるならば
２領域の類似度が低いと判定して７３４以降の処理を停
止し、８１と８２に動作を命令する。
【００９６】なお、類似度はＭＡＥばかりでなく、公知
の方法であるＭＳＥ（平均二乗誤差）や相互相関関数で
与えることもできる。また、類似度判定もこれら誤差成
分のみで判断するだけでなく、８３１で生成された各ブ
ロック毎の移動ベクトルの分散から判定することもでき
るが、２領域の類似度を表現できる手法であるならば類
似度の表現方法および判定方法は本実施形態に限定され
るものではない。
の方法であるＭＳＥ（平均二乗誤差）や相互相関関数で
与えることもできる。また、類似度判定もこれら誤差成
分のみで判断するだけでなく、８３１で生成された各ブ
ロック毎の移動ベクトルの分散から判定することもでき
るが、２領域の類似度を表現できる手法であるならば類
似度の表現方法および判定方法は本実施形態に限定され
るものではない。
【００９７】８１は２領域の輪郭線形状を抽出し輪郭線
のパターンマッチングをすることによって移動変形量を
算出し８３に出力する。なお、輪郭線の抽出処理や移動
変形量の実施方法は図６の実施形態に述べた符号化チェ
イン法およびフーリエ記述子変換法によるパターンマッ
チングとする。
のパターンマッチングをすることによって移動変形量を
算出し８３に出力する。なお、輪郭線の抽出処理や移動
変形量の実施方法は図６の実施形態に述べた符号化チェ
イン法およびフーリエ記述子変換法によるパターンマッ
チングとする。
【００９８】８２は２領域の輪郭線形状を抽出し輪郭線
のパターンマッチングをすることによって移動変形量を
算出し８３に出力する。
のパターンマッチングをすることによって移動変形量を
算出し８３に出力する。
【００９９】８３は類似度判定を行うことにより、直前
の短時間撮像画像と直後の短時間撮像画像のうちより長
時間撮像画像と類似度の高い画像を決定する。類似度判
定は移動変形量のより小さい方とする。例えば移動変形
量が図６で説明した実施形態のごとくアフィン変換行列
で与えられる場合には、正規化した行列の全要素の値の
二乗和を算出してこれを類似度とする。なお、二乗和以
外にも類似度を表現することは可能であり、また、移動
変形量がアフィン変換行列式以外のデータ構造で与えら
れる場合にもそれに対応して類似度の表現式は変化する
が、２輪郭線間の類似度を表現する式であるならば本実
施形態に限定されるものではない。
の短時間撮像画像と直後の短時間撮像画像のうちより長
時間撮像画像と類似度の高い画像を決定する。類似度判
定は移動変形量のより小さい方とする。例えば移動変形
量が図６で説明した実施形態のごとくアフィン変換行列
で与えられる場合には、正規化した行列の全要素の値の
二乗和を算出してこれを類似度とする。なお、二乗和以
外にも類似度を表現することは可能であり、また、移動
変形量がアフィン変換行列式以外のデータ構造で与えら
れる場合にもそれに対応して類似度の表現式は変化する
が、２輪郭線間の類似度を表現する式であるならば本実
施形態に限定されるものではない。
【０１００】８３は、８１から計算した類似度が８２か
ら計算した類似度より大きい場合、長時間撮像画像と直
前の短時間撮像画像の類似度がより大きいと判定し８４
を動作させる。８２から計算した類似度がより大きい場
合、長時間撮像画像と直後の短時間撮像画像の類似度が
より大きいと判定し８５を動作させる。
ら計算した類似度より大きい場合、長時間撮像画像と直
前の短時間撮像画像の類似度がより大きいと判定し８４
を動作させる。８２から計算した類似度がより大きい場
合、長時間撮像画像と直後の短時間撮像画像の類似度が
より大きいと判定し８５を動作させる。
【０１０１】８４は長時間撮像画像と直前の短時間撮像
撮像画像から図６の実施形態の過程によって高ダイナミ
ックレンジ画像を合成し、７５で格納する。
撮像画像から図６の実施形態の過程によって高ダイナミ
ックレンジ画像を合成し、７５で格納する。
【０１０２】８５は長時間撮像画像と直後の短時間撮像
撮像画像から図６の実施形態の過程によって高ダイナミ
ックレンジ画像を合成し、７５で格納する。
撮像画像から図６の実施形態の過程によって高ダイナミ
ックレンジ画像を合成し、７５で格納する。
【０１０３】本実施形態の方法を用いた場合の原映像か
ら高ダイナミックレンジ映像を生成する説明図を図９に
示す。９１から９６は短時間撮像画像と長時間撮像画像
の交互に繰り返しで構成される原映像である。ここで９
１、９３、９５は長時間撮像画像、９２、９４、９６は
短時間撮像画像である。フレーム９４以降でスポットラ
イトが照明され画像内の明るい部分の領域形状が大幅に
変化しているとする。
ら高ダイナミックレンジ映像を生成する説明図を図９に
示す。９１から９６は短時間撮像画像と長時間撮像画像
の交互に繰り返しで構成される原映像である。ここで９
１、９３、９５は長時間撮像画像、９２、９４、９６は
短時間撮像画像である。フレーム９４以降でスポットラ
イトが照明され画像内の明るい部分の領域形状が大幅に
変化しているとする。
【０１０４】本実施形態を用いると、基本的には３フレ
ームの画像から１フレームの高ダイナミックレンジ画像
を合成する請求項４の方法が使われる（９７、９８、９
１１、９１２）が、９９の処理においては９２と９４で
類似度が低いと判定され、９３とより類似度の高い画像
は９２であると判定されて、９３と直前の９２の２フレ
ームの画像から１フレームの高ダイナミックレンジ画像
を合成する請求項１の方法が使われる。９１０の処理に
おいては９３と９５で類似度が低いと判定され、９４と
より類似度の高い画像は９５であると判定されて、９４
と直後の９５の２フレームの画像から１フレームの高ダ
イナミックレンジ画像を合成する請求項１の方法が使わ
れる。
ームの画像から１フレームの高ダイナミックレンジ画像
を合成する請求項４の方法が使われる（９７、９８、９
１１、９１２）が、９９の処理においては９２と９４で
類似度が低いと判定され、９３とより類似度の高い画像
は９２であると判定されて、９３と直前の９２の２フレ
ームの画像から１フレームの高ダイナミックレンジ画像
を合成する請求項１の方法が使われる。９１０の処理に
おいては９３と９５で類似度が低いと判定され、９４と
より類似度の高い画像は９５であると判定されて、９４
と直後の９５の２フレームの画像から１フレームの高ダ
イナミックレンジ画像を合成する請求項１の方法が使わ
れる。
【０１０５】本発明の請求項８から１０の装置の一実施
形態を図１０に示す。図１０の１０１は磁気記録装置ま
たはメモリ等で構成される原映像データ格納器、１０２
はＣＰＵを用いた制御装置、１０３は請求項９の装置の
合成器Ａを実現する一実施形態、１０４は請求項１０の
装置の合成器Ｂを実現する一実施形態、１０５は磁気記
録装置またはメモリ等で構成される出力データ格納器で
ある。
形態を図１０に示す。図１０の１０１は磁気記録装置ま
たはメモリ等で構成される原映像データ格納器、１０２
はＣＰＵを用いた制御装置、１０３は請求項９の装置の
合成器Ａを実現する一実施形態、１０４は請求項１０の
装置の合成器Ｂを実現する一実施形態、１０５は磁気記
録装置またはメモリ等で構成される出力データ格納器で
ある。
【０１０６】１０３１と１０３２は領域分離器であり、
請求項９の装置における検出器Ｃと検出器Ｄの一実施形
態である。１０３３と１０３４は輪郭形状抽出器、１０
３５は輪郭形状のパターンマッチング器、１０３６は領
域の移動、変形器、１０３７は画素の輝度値倍率補正
器、１０３８は画像合成器である。
請求項９の装置における検出器Ｃと検出器Ｄの一実施形
態である。１０３３と１０３４は輪郭形状抽出器、１０
３５は輪郭形状のパターンマッチング器、１０３６は領
域の移動、変形器、１０３７は画素の輝度値倍率補正
器、１０３８は画像合成器である。
【０１０７】１０４１と１０４２は領域分離器であり、
請求項１０の装置における検出器Ｃと検出器Ｄの一実施
形態である。１０４３と１０３４は輪郭線抽出器、１０
４５は輪郭線形状のパターンマッチング器、１０４６は
領域の移動、変形器、１０４７は画素の輝度値倍率補正
器、１０４８は画像合成器である。
請求項１０の装置における検出器Ｃと検出器Ｄの一実施
形態である。１０４３と１０３４は輪郭線抽出器、１０
４５は輪郭線形状のパターンマッチング器、１０４６は
領域の移動、変形器、１０４７は画素の輝度値倍率補正
器、１０４８は画像合成器である。
【０１０８】本実施形態による処理の流れを説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
【０１０９】１０１は交互に撮像時間を変えて撮った映
像データを蓄えている。なお、本装置を実時間処理動作
できる場合には１０１を省略して撮像時間可変カメラの
出力（ガンマ補正済み）を直接１０２に接続しても構わ
ない。
像データを蓄えている。なお、本装置を実時間処理動作
できる場合には１０１を省略して撮像時間可変カメラの
出力（ガンマ補正済み）を直接１０２に接続しても構わ
ない。
【０１１０】１０２は１０１から逐次、画像と直後フレ
ームの画像を取り出し、該２画像が長時間撮像画像、短
時間撮像画像の順番であるなら、長時間撮像画像を１０
３１に、短時間撮像画像を１０３２に出力する。また、
短時間撮像画像、長時間撮像画像の順番であるなら、長
時間撮像画像を１０４１に、短時間撮像画像を１０４２
に出力する。
ームの画像を取り出し、該２画像が長時間撮像画像、短
時間撮像画像の順番であるなら、長時間撮像画像を１０
３１に、短時間撮像画像を１０３２に出力する。また、
短時間撮像画像、長時間撮像画像の順番であるなら、長
時間撮像画像を１０４１に、短時間撮像画像を１０４２
に出力する。
【０１１１】１０３１と１０３２は入力した画像から指
定した値以上の画素の輝度値を有する領域と該値未満の
画素の輝度値を有する領域に分離して出力する。１０３
１の指定値を２５５とすることによって、１０３１はオ
ーバーフロー領域Ｘを１０３３に出力し、それ以外の領
域Ｘ-を１０３８に出力する。１０３２の指定値を２５
６／ｋとすることによって、１０３２は長時間撮像であ
ったならオーバーフローすると予測される領域Ｙを１０
３４と１０３６に出力する。
定した値以上の画素の輝度値を有する領域と該値未満の
画素の輝度値を有する領域に分離して出力する。１０３
１の指定値を２５５とすることによって、１０３１はオ
ーバーフロー領域Ｘを１０３３に出力し、それ以外の領
域Ｘ-を１０３８に出力する。１０３２の指定値を２５
６／ｋとすることによって、１０３２は長時間撮像であ
ったならオーバーフローすると予測される領域Ｙを１０
３４と１０３６に出力する。
【０１１２】１０３３と１０３４は公知の方法であるチ
ェイン符号化法（参考文献：画像解析ハンドブックｐ
ｐ．５７９−５８０）で領域の輪郭線を抽出して１０３
５に出力する。
ェイン符号化法（参考文献：画像解析ハンドブックｐ
ｐ．５７９−５８０）で領域の輪郭線を抽出して１０３
５に出力する。
【０１１３】１０３５は１０３３と１０３４から出力さ
れた輪郭形状をフーリエ記述子（参考文献：画像解析ハ
ンドブックｐｐ．５８１−５８２）表現データに変換
し、該データを比較してパターンマッチングを行うこと
によって両輪郭線形状の位置、形状の変移量データをア
フィン変換行列データとして出力する（参考文献：画像
処理アルゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐ
ｐ．５８−７２）。なお、輪郭線形状のパターンマッチ
ング装置には様々な公知の装置があり。輪郭線が抽出で
きるのであれば本発明の特許請求の範囲は本実施形態に
限定されるものではない。また、２フレーム間に起きる
輪郭線形状の移動変形量は微小なので変形は考慮せず、
全領域均一に移動するとして２領域の重心座標の変移量
を変移データとして出力する簡略化した装置（例：ＭＵ
ＳＥ方式ＨｉＶｉｓｉｏｎのエンコーダ）もあり、本発
明の特許請求の範囲を本実施形態に限定するものではな
い。
れた輪郭形状をフーリエ記述子（参考文献：画像解析ハ
ンドブックｐｐ．５８１−５８２）表現データに変換
し、該データを比較してパターンマッチングを行うこと
によって両輪郭線形状の位置、形状の変移量データをア
フィン変換行列データとして出力する（参考文献：画像
処理アルゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐ
ｐ．５８−７２）。なお、輪郭線形状のパターンマッチ
ング装置には様々な公知の装置があり。輪郭線が抽出で
きるのであれば本発明の特許請求の範囲は本実施形態に
限定されるものではない。また、２フレーム間に起きる
輪郭線形状の移動変形量は微小なので変形は考慮せず、
全領域均一に移動するとして２領域の重心座標の変移量
を変移データとして出力する簡略化した装置（例：ＭＵ
ＳＥ方式ＨｉＶｉｓｉｏｎのエンコーダ）もあり、本発
明の特許請求の範囲を本実施形態に限定するものではな
い。
【０１１４】また、本実施形態ではパターンマッチング
対象領域が一つの場合について説明しているが、１０３
３と１０３４で輪郭線が複数抽出されている場合は各々
の輪郭線で囲まれた領域の重心座標を求め、最も重心座
標の近い物同士で上記のパターンマッチングを行うこと
によって、容易に複数の処理に拡張できることは言うま
でもない。
対象領域が一つの場合について説明しているが、１０３
３と１０３４で輪郭線が複数抽出されている場合は各々
の輪郭線で囲まれた領域の重心座標を求め、最も重心座
標の近い物同士で上記のパターンマッチングを行うこと
によって、容易に複数の処理に拡張できることは言うま
でもない。
【０１１５】１０３６は１０３５から出力されたアフィ
ン変換行列データに基づいて、領域Ｙの位置、形状を領
域Ｘの位置、形状に合わせて１０３７に出力する。
ン変換行列データに基づいて、領域Ｙの位置、形状を領
域Ｘの位置、形状に合わせて１０３７に出力する。
【０１１６】１０３７は画素の輝度値をｋ倍して１０３
８に出力する。これにより撮像時間の異なる２フレーム
の画像間の感度差が補正され、同一輝度部分を撮像した
画素の輝度値は同一となる。
８に出力する。これにより撮像時間の異なる２フレーム
の画像間の感度差が補正され、同一輝度部分を撮像した
画素の輝度値は同一となる。
【０１１７】１０３８は１０３７の出力と１０３１から
出力された領域Ｘ-を一枚の画像データに合成して１０
５に格納する。これによって長時間撮像と直後の短時間
撮像の２画像より長時間撮像時刻における高ダイナミッ
クレンジ画像が合成される。
出力された領域Ｘ-を一枚の画像データに合成して１０
５に格納する。これによって長時間撮像と直後の短時間
撮像の２画像より長時間撮像時刻における高ダイナミッ
クレンジ画像が合成される。
【０１１８】１０４１と１０４２は入力した画像から指
定した値以上の画素の輝度値を有する領域と該値未満の
画素の輝度値を有する領域に分離して出力する。１０４
１の指定値を２５５とすることによって、１０４１はオ
ーバーフローしていない領域Ｘ-を１０４３と１０４６
に出力する。１０４２の指定値を２５６／ｋとすること
によって、１０４２は長時間撮像であったならオーバー
フローすると予測される領域Ｙを１０４７に、それ以外
の領域Ｙ-を１０４４に出力する。
定した値以上の画素の輝度値を有する領域と該値未満の
画素の輝度値を有する領域に分離して出力する。１０４
１の指定値を２５５とすることによって、１０４１はオ
ーバーフローしていない領域Ｘ-を１０４３と１０４６
に出力する。１０４２の指定値を２５６／ｋとすること
によって、１０４２は長時間撮像であったならオーバー
フローすると予測される領域Ｙを１０４７に、それ以外
の領域Ｙ-を１０４４に出力する。
【０１１９】１０４３と１０４４は公知の方法であるチ
ェイン符号化法で領域の輪郭線を抽出して１０４５に出
力する。
ェイン符号化法で領域の輪郭線を抽出して１０４５に出
力する。
【０１２０】１０４５は１０４３と１０４４から出力さ
れた輪郭形状をフーリエ記述子表現データに変換し、該
データを比較してパターンマッチングを行うことによっ
て両輪郭線形状の位置、形状の変移量データをアフィン
変換行列データとして出力する。
れた輪郭形状をフーリエ記述子表現データに変換し、該
データを比較してパターンマッチングを行うことによっ
て両輪郭線形状の位置、形状の変移量データをアフィン
変換行列データとして出力する。
【０１２１】１０４６は１０４５から出力されたアフィ
ン変換行列データに基づいて、領域Ｘ-の位置、形状を
領域Ｙ-の位置、形状に合わせて１０４８に出力する。
ン変換行列データに基づいて、領域Ｘ-の位置、形状を
領域Ｙ-の位置、形状に合わせて１０４８に出力する。
【０１２２】１０４７は１０４２から出力された領域Ｙ
の画素の輝度値をｋ倍して１０４８に出力する。これに
より撮像時間の異なる２フレームの画像間の感度差が補
正され、同一輝度部分を撮像した画素の輝度値は同一と
なる。
の画素の輝度値をｋ倍して１０４８に出力する。これに
より撮像時間の異なる２フレームの画像間の感度差が補
正され、同一輝度部分を撮像した画素の輝度値は同一と
なる。
【０１２３】１０４８は１０４６の出力と１０４７の出
力を一枚の画像データに合成して１０５に格納する。こ
れによって短時間撮像と直後の長時間撮像の２画像より
短時間撮像時刻における高ダイナミックレンジ画像が合
成される。
力を一枚の画像データに合成して１０５に格納する。こ
れによって短時間撮像と直後の長時間撮像の２画像より
短時間撮像時刻における高ダイナミックレンジ画像が合
成される。
【０１２４】本発明の請求項１１から１３の装置の一実
施形態を図１１に示す。図１１の１１１は磁気記録装置
またはメモリ等で構成される原映像データ格納器、１１
２はＣＰＵを用いた制御装置、１１３は請求項１２の装
置の合成器Ｅを実現する一実施形態、１１４は請求項１
３の装置の合成器Ｆを実現する一実施形態、１１５は磁
気記録装置またはメモリ等で構成される出力データ格納
器である。
施形態を図１１に示す。図１１の１１１は磁気記録装置
またはメモリ等で構成される原映像データ格納器、１１
２はＣＰＵを用いた制御装置、１１３は請求項１２の装
置の合成器Ｅを実現する一実施形態、１１４は請求項１
３の装置の合成器Ｆを実現する一実施形態、１１５は磁
気記録装置またはメモリ等で構成される出力データ格納
器である。
【０１２５】１１３１と１１３２と１１３３は領域分離
器であり、請求項１２の装置における検出器Ｃと検出器
Ｄの一実施形態である。１１３４は中間画像の予測生成
器、１１３５は領域切り出し器、１１３６は画素の輝度
値の倍率補正器、１１３７は画像合成器である。
器であり、請求項１２の装置における検出器Ｃと検出器
Ｄの一実施形態である。１１３４は中間画像の予測生成
器、１１３５は領域切り出し器、１１３６は画素の輝度
値の倍率補正器、１１３７は画像合成器である。
【０１２６】１１４１と１１４２と１１４３は領域分離
器であり、請求項１２の装置における検出器Ｃと検出器
Ｄの一実施形態である。１１４４は中間画像の予測生成
器、１１４５は領域切り出し器、１１４６は画素の輝度
値の倍率補正器、１１４７は画像合成器である。
器であり、請求項１２の装置における検出器Ｃと検出器
Ｄの一実施形態である。１１４４は中間画像の予測生成
器、１１４５は領域切り出し器、１１４６は画素の輝度
値の倍率補正器、１１４７は画像合成器である。
【０１２７】本実施形態による処理の流れを説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
なお、本実施形態では原画像データはダイナミックレン
ジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５
５）で逆ガンマ補正済みとする。また、長時間撮像時間
と短時間撮像時間の撮像時間比をｋとし、ある時刻にお
ける画像と直後の画像データより該時刻における画像デ
ータを合成する処理について説明する。
【０１２８】１１１は交互に撮像時間を変えて撮った映
像データを蓄えている。なお、本装置を実時間処理動作
できる場合には１１１を省略して撮像時間可変カメラの
出力（ガンマ補正済み）を直接１１２に接続しても構わ
ない。
像データを蓄えている。なお、本装置を実時間処理動作
できる場合には１１１を省略して撮像時間可変カメラの
出力（ガンマ補正済み）を直接１１２に接続しても構わ
ない。
【０１２９】１１２は１１１から逐次、画像と直前及び
直後フレームの画像を取り出し、該３画像が短時間撮像
画像、長時間撮像画像、短時間撮像画像の順番であるな
ら、直前の短時間撮像画像を１１３１に、長時間撮像画
像を１１３２に、直後の短長間画像を１１３３に出力す
る。また、該３画像が長時間撮像画像、短時間撮像画
像、長時間撮像画像の順番であるなら、直前の長短間撮
像画像を１１４１に、短時間撮像画像を１１４２に、直
後の長時間画像を１１４３に出力する。
直後フレームの画像を取り出し、該３画像が短時間撮像
画像、長時間撮像画像、短時間撮像画像の順番であるな
ら、直前の短時間撮像画像を１１３１に、長時間撮像画
像を１１３２に、直後の短長間画像を１１３３に出力す
る。また、該３画像が長時間撮像画像、短時間撮像画
像、長時間撮像画像の順番であるなら、直前の長短間撮
像画像を１１４１に、短時間撮像画像を１１４２に、直
後の長時間画像を１１４３に出力する。
【０１３０】１１３１と１１３２と１１３３は入力した
画像から指定した値以上の画素の輝度値を有する領域と
該値未満の画素の輝度値を有する領域に分離して出力す
る。１１３１の指定値を２５６／ｋとすることによっ
て、１１３１は長時間撮像であったならオーバーフロー
すると予測される領域Ｙを１１３４に出力する。１１３
２の指定値を２５５とすることによって、１１３２はオ
ーバーフロー領域Ｘを１１３５にそれ以外の領域Ｘ-を
１１３７に出力する。１１３３の指定値を２５６／ｋと
することによって、１１３３は長時間撮像であったなら
オーバーフローすると予測される領域Ｙを１１３４に出
力する。
画像から指定した値以上の画素の輝度値を有する領域と
該値未満の画素の輝度値を有する領域に分離して出力す
る。１１３１の指定値を２５６／ｋとすることによっ
て、１１３１は長時間撮像であったならオーバーフロー
すると予測される領域Ｙを１１３４に出力する。１１３
２の指定値を２５５とすることによって、１１３２はオ
ーバーフロー領域Ｘを１１３５にそれ以外の領域Ｘ-を
１１３７に出力する。１１３３の指定値を２５６／ｋと
することによって、１１３３は長時間撮像であったなら
オーバーフローすると予測される領域Ｙを１１３４に出
力する。
【０１３１】１１３４は１１３１と１１３３から出力さ
れた領域Ｙの画像から短時間撮像時刻における中間画像
をデュアルプライム予測演算器（参考文献：デジタル放
送・インターネット技術のための情報圧縮技術、ｐｐ．
２１８−２１９）で予測生成し１１３５に出力する。デ
ュアルプライム予測演算器は作用の説明で述べた図４の
４１、４２、４３、４４の作用を一括して行う。デュア
ルプライム演算器内のＢＭＡ（ブロックマッチングアル
ゴリズム）演算器が請求項１２の装置に記載した画像の
パターンマッチング器に該当する。
れた領域Ｙの画像から短時間撮像時刻における中間画像
をデュアルプライム予測演算器（参考文献：デジタル放
送・インターネット技術のための情報圧縮技術、ｐｐ．
２１８−２１９）で予測生成し１１３５に出力する。デ
ュアルプライム予測演算器は作用の説明で述べた図４の
４１、４２、４３、４４の作用を一括して行う。デュア
ルプライム演算器内のＢＭＡ（ブロックマッチングアル
ゴリズム）演算器が請求項１２の装置に記載した画像の
パターンマッチング器に該当する。
【０１３２】なお、画像のパターンマッチング器にはＢ
ＭＡ以外にも様々な公知の装置があり、画像の予測生成
器もデュアルプライム予測演算器以外の公知の装置があ
り、画像のパターンマッチングを用いて予測生成を行う
装置であるなら本発明の特許請求の範囲を本実施形態に
限定するものではない。
ＭＡ以外にも様々な公知の装置があり、画像の予測生成
器もデュアルプライム予測演算器以外の公知の装置があ
り、画像のパターンマッチングを用いて予測生成を行う
装置であるなら本発明の特許請求の範囲を本実施形態に
限定するものではない。
【０１３３】１１３５は１１３４から出力された中間画
像のうち、１１３２から出力された領域Ｘに含まれる領
域の画像のみを切り出して１１３６に出力する。
像のうち、１１３２から出力された領域Ｘに含まれる領
域の画像のみを切り出して１１３６に出力する。
【０１３４】１１３６は１１３５から出力された画像の
画素の輝度値をｋ倍して１１３７に出力する。これによ
り撮像時間の異なる２フレームの画像間の感度差が補正
され。同一輝度部分を撮像した画素の輝度値は同一とな
る。
画素の輝度値をｋ倍して１１３７に出力する。これによ
り撮像時間の異なる２フレームの画像間の感度差が補正
され。同一輝度部分を撮像した画素の輝度値は同一とな
る。
【０１３５】１１３７は１１３２の出力と１１３６の出
力を一枚の画像データに合成して１１５に格納する。こ
れによって長時間撮像と直前及び直後の短時間撮像の３
画像より長時間撮像時刻における高ダイナミックレンジ
画像が合成される。
力を一枚の画像データに合成して１１５に格納する。こ
れによって長時間撮像と直前及び直後の短時間撮像の３
画像より長時間撮像時刻における高ダイナミックレンジ
画像が合成される。
【０１３６】１１４１と１１４２と１１４３は、入力し
た画像から指定した値以上の画素の輝度値を有する領域
と該値未満の画素の輝度値を有する領域に分離して出力
する。１１４１の指定値を２５５とすることによって、
１１４１はオーバーフロー領域Ｘ-を１１４４に出力す
る。１１４２の指定値を２５６／ｋとすることによっ
て、１１４２は長時間撮像であったならオーバーフロー
すると予測される領域Ｙを１１４６に、それ以外の領域
Ｙ-を１１４５に出力する。１１４３の指定値を２５５
とすることによって、１１４３はオーバーフロー領域Ｘ
-を１１４４に出力する。
た画像から指定した値以上の画素の輝度値を有する領域
と該値未満の画素の輝度値を有する領域に分離して出力
する。１１４１の指定値を２５５とすることによって、
１１４１はオーバーフロー領域Ｘ-を１１４４に出力す
る。１１４２の指定値を２５６／ｋとすることによっ
て、１１４２は長時間撮像であったならオーバーフロー
すると予測される領域Ｙを１１４６に、それ以外の領域
Ｙ-を１１４５に出力する。１１４３の指定値を２５５
とすることによって、１１４３はオーバーフロー領域Ｘ
-を１１４４に出力する。
【０１３７】１１４４は、１１４１と１１４３から出力
された領域Ｘ-の画像から短時間撮像時刻における中間
画像をデュアルプライム予測演算器で予測生成し、１１
４５に出力する。デュアルプライム予測演算器は作用の
説明で述べた図５の５１、５２、５３、５４の作用を一
括して行う。デュアルプライム演算器内のＢＭＡ（ブロ
ックマッチングアルゴリズム）演算器が請求項１３の装
置に記載した画像のパターンマッチング器に該当する。
された領域Ｘ-の画像から短時間撮像時刻における中間
画像をデュアルプライム予測演算器で予測生成し、１１
４５に出力する。デュアルプライム予測演算器は作用の
説明で述べた図５の５１、５２、５３、５４の作用を一
括して行う。デュアルプライム演算器内のＢＭＡ（ブロ
ックマッチングアルゴリズム）演算器が請求項１３の装
置に記載した画像のパターンマッチング器に該当する。
【０１３８】１１４５は１１４４から出力された中間画
像のうち、１１４２から出力された領域Ｙ-に含まれる
領域の画像のみを切り出して１１４７に出力する。
像のうち、１１４２から出力された領域Ｙ-に含まれる
領域の画像のみを切り出して１１４７に出力する。
【０１３９】１１４６は１１４２から出力された画像の
画素の輝度値をｋ倍して１１４７に出力する。これによ
り撮像時間の異なる２フレームの画像間の感度差が補正
され、同一輝度部分を撮像した画素の輝度値は同一とな
る。
画素の輝度値をｋ倍して１１４７に出力する。これによ
り撮像時間の異なる２フレームの画像間の感度差が補正
され、同一輝度部分を撮像した画素の輝度値は同一とな
る。
【０１４０】１１４７は１１４５の出力と１１４６の出
力を一枚の画像データに合成して１１５に格納する。こ
れによって短時間撮像と直前及び直後の短時間撮像の３
画像より短時間撮像時刻における高ダイナミックレンジ
画像が合成される。
力を一枚の画像データに合成して１１５に格納する。こ
れによって短時間撮像と直前及び直後の短時間撮像の３
画像より短時間撮像時刻における高ダイナミックレンジ
画像が合成される。
【０１４１】本発明の請求項１４の装置について短時間
撮像画像、長時間撮像画像、短時間撮像画像の順に並ん
だ３フレームの画像を処理する場合の実施形態を図１２
に示す。図１２において図１１と全く同じ装置を示す部
分は図１１と同じ番号をふっている。
撮像画像、長時間撮像画像、短時間撮像画像の順に並ん
だ３フレームの画像を処理する場合の実施形態を図１２
に示す。図１２において図１１と全く同じ装置を示す部
分は図１１と同じ番号をふっている。
【０１４２】図１２において、１１１は磁気記録装置ま
たはメモリ等で構成される原映像データ格納器、１１２
はＣＰＵを用いた制御装置、１１３１、１１３２、１１
３３は領域分離器、１１３４はデュアルプライム予測法
に基づく中間画像予測生成器である。１２３１から１２
３５は１１３４の内部処理を行う装置を示しており、１
２３１はＢＭＡに基づく動きベクトル抽出器、１２３２
は動き補償ベクトル生成器、１２３３は前フレーム画像
を用いた中間画像予測生成器、１２３４は後フレーム画
像を用いた中間画像予測生成器、１２３５は中間画像合
成器である。１２３６は画像パターンの類似度判定器、
１２１は直前の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器、
１２２は直後の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器、
１２３は処理動作選択器、１２４は長時間撮像画像と直
前の短時間撮像画像から高ダイナミックレンジ画像を合
成する請求項８の装置、１２５は長時間撮像画像と直後
の短時間撮像画像から高ダイナミックレンジ画像を合成
する請求項８の装置、１１５は磁気記録装置またはメモ
リ等で構成される出力データ格納器である。
たはメモリ等で構成される原映像データ格納器、１１２
はＣＰＵを用いた制御装置、１１３１、１１３２、１１
３３は領域分離器、１１３４はデュアルプライム予測法
に基づく中間画像予測生成器である。１２３１から１２
３５は１１３４の内部処理を行う装置を示しており、１
２３１はＢＭＡに基づく動きベクトル抽出器、１２３２
は動き補償ベクトル生成器、１２３３は前フレーム画像
を用いた中間画像予測生成器、１２３４は後フレーム画
像を用いた中間画像予測生成器、１２３５は中間画像合
成器である。１２３６は画像パターンの類似度判定器、
１２１は直前の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器、
１２２は直後の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器、
１２３は処理動作選択器、１２４は長時間撮像画像と直
前の短時間撮像画像から高ダイナミックレンジ画像を合
成する請求項８の装置、１２５は長時間撮像画像と直後
の短時間撮像画像から高ダイナミックレンジ画像を合成
する請求項８の装置、１１５は磁気記録装置またはメモ
リ等で構成される出力データ格納器である。
【０１４３】本図を用いて短時間撮像画像、長時間撮像
画像、短時間撮像画像の順に並んだ３フレームの画像よ
り請求項１４の装置を用いて、請求項１１の装置から直
前または直後の画像を用いる請求項８の装置に処理動作
を切り替える例について説明する。
画像、短時間撮像画像の順に並んだ３フレームの画像よ
り請求項１４の装置を用いて、請求項１１の装置から直
前または直後の画像を用いる請求項８の装置に処理動作
を切り替える例について説明する。
【０１４４】１１１から連続する３フレームの画像を１
１２は取り出し、直前の短時間撮像画像は１１３１に、
長時間撮像画像は１１３２に、直後の短時間撮像画像は
１１３３に出力する。１１３１は長時間撮像であったな
らオーバーフローしたであろうと予測される領域Ｙを１
２３１と１２１に出力する。１１３３は長時間撮像であ
ったならオーバーフローしたであろうと予測される領域
Ｙを１２３１と１２２に出力する。
１２は取り出し、直前の短時間撮像画像は１１３１に、
長時間撮像画像は１１３２に、直後の短時間撮像画像は
１１３３に出力する。１１３１は長時間撮像であったな
らオーバーフローしたであろうと予測される領域Ｙを１
２３１と１２１に出力する。１１３３は長時間撮像であ
ったならオーバーフローしたであろうと予測される領域
Ｙを１２３１と１２２に出力する。
【０１４５】１１３４はデュアルプライム予測法に基づ
く中間画像予測生成装置であり、内部ブロックの１２３
１から１２３５は公知の処理装置、１２３６は請求項１
４を構成する新規の装置である。初めに従来の１１３４
の動作について簡単に説明する。
く中間画像予測生成装置であり、内部ブロックの１２３
１から１２３５は公知の処理装置、１２３６は請求項１
４を構成する新規の装置である。初めに従来の１１３４
の動作について簡単に説明する。
【０１４６】１２３１は２領域の画像をＢＭＡ法でパタ
ーンマッチングを行い、各々のブロック毎に変移ベクト
ルを算出して１２３２に、また、２領域のマッチング結
果の残差であるＭＡＥ（平均値絶対値誤差）を１２３６
に出力する。１２３２は長時間撮像画像の撮像時刻にお
ける画像にするための変移量（補償ベクトル）を直前の
画像と直後の画像毎に別々に算出して１２３３と１２３
４に出力する。
ーンマッチングを行い、各々のブロック毎に変移ベクト
ルを算出して１２３２に、また、２領域のマッチング結
果の残差であるＭＡＥ（平均値絶対値誤差）を１２３６
に出力する。１２３２は長時間撮像画像の撮像時刻にお
ける画像にするための変移量（補償ベクトル）を直前の
画像と直後の画像毎に別々に算出して１２３３と１２３
４に出力する。
【０１４７】１２３３は補償ベクトルを用いて１１３１
から出力された領域Ｙを部分中間画像に移動変形し１２
３５に出力する。１２３４は補償ベクトルを用いて１１
３３から出力された領域Ｙを部分中間画像に移動変形し
１２３５に出力する。１２３５は２枚の部分中間画像を
合成することによって１枚の中間画像を生成する。以
降、請求項１１の装置で処理が続く場合には図１１の１
１３５、１１３６、１１３７の流れに沿って処理が進ん
でいく。
から出力された領域Ｙを部分中間画像に移動変形し１２
３５に出力する。１２３４は補償ベクトルを用いて１１
３３から出力された領域Ｙを部分中間画像に移動変形し
１２３５に出力する。１２３５は２枚の部分中間画像を
合成することによって１枚の中間画像を生成する。以
降、請求項１１の装置で処理が続く場合には図１１の１
１３５、１１３６、１１３７の流れに沿って処理が進ん
でいく。
【０１４８】次に、請求項１４の装置の動作が行われる
場合について説明する。１２３６は１２３１から出力さ
れた各ブロック毎のＭＡＥを調べ、予め与えられた閾値
ｖに対して、全てのブロックのＭＡＥの総和＞ｖである
ならば２領域の類似度が低いと判定して１１３２の処理
を停止し、１２１と１２２に動作を命令する。
場合について説明する。１２３６は１２３１から出力さ
れた各ブロック毎のＭＡＥを調べ、予め与えられた閾値
ｖに対して、全てのブロックのＭＡＥの総和＞ｖである
ならば２領域の類似度が低いと判定して１１３２の処理
を停止し、１２１と１２２に動作を命令する。
【０１４９】１２１は１１３１から出力された領域Ｙと
１１３２から出力された領域Ｘについて、輪郭線を符号
化チェイン法による輪郭線抽出器によって抽出し、フー
リエ記述子変換法によるパターンマッチング器によって
移動変形量を算出し１２３に出力する。
１１３２から出力された領域Ｘについて、輪郭線を符号
化チェイン法による輪郭線抽出器によって抽出し、フー
リエ記述子変換法によるパターンマッチング器によって
移動変形量を算出し１２３に出力する。
【０１５０】１２２は１１３３から出力された領域Ｙと
１１３２から出力された領域Ｘについて、輪郭線を符号
化チェイン法による輪郭線抽出器によって抽出し、フー
リエ記述子変換法によるパターンマッチング器によって
移動変形量を算出し１２３に出力する。
１１３２から出力された領域Ｘについて、輪郭線を符号
化チェイン法による輪郭線抽出器によって抽出し、フー
リエ記述子変換法によるパターンマッチング器によって
移動変形量を算出し１２３に出力する。
【０１５１】１２３は移動変形量を用いて類似度判定を
行うことにより、直前の短時間撮像画像と直後の短時間
撮像画像のうちより長時間撮像画像と類似度の高い画像
を決定する。類似度判定は移動変形量のより小さい方と
する。例えば移動変形量が図１０で説明した実施形態の
ごとくアフィン変換行列で与えられる場合には、正規化
した行列の全要素の値の二乗和を算出してこれを類似度
とする。なお、二乗和以外にも類似度を表現することは
可能であり。また、移動変形量がアフィン変換行列式以
外のデータ構造で与えられる場合にもそれに対応して類
似度の表現式は変化するが、２輪郭線の類似度を表現す
る式であるならば本発明の特許請求の範囲は本実施形態
に限定されるものではない。
行うことにより、直前の短時間撮像画像と直後の短時間
撮像画像のうちより長時間撮像画像と類似度の高い画像
を決定する。類似度判定は移動変形量のより小さい方と
する。例えば移動変形量が図１０で説明した実施形態の
ごとくアフィン変換行列で与えられる場合には、正規化
した行列の全要素の値の二乗和を算出してこれを類似度
とする。なお、二乗和以外にも類似度を表現することは
可能であり。また、移動変形量がアフィン変換行列式以
外のデータ構造で与えられる場合にもそれに対応して類
似度の表現式は変化するが、２輪郭線の類似度を表現す
る式であるならば本発明の特許請求の範囲は本実施形態
に限定されるものではない。
【０１５２】１２３は、１２１から計算した類似度が１
２２から計算した類似度より大きい場合、長時間撮像画
像と直前の短時間撮像画像の類似度がより大きいと判定
し１２４を動作させる。１２２から計算した類似度がよ
り大きい場合、長時間撮像画像と直後の短時間撮像画像
の類似度がより大きいと判定し１２５を動作させる。
２２から計算した類似度より大きい場合、長時間撮像画
像と直前の短時間撮像画像の類似度がより大きいと判定
し１２４を動作させる。１２２から計算した類似度がよ
り大きい場合、長時間撮像画像と直後の短時間撮像画像
の類似度がより大きいと判定し１２５を動作させる。
【０１５３】１２４は長時間撮像画像と直前の短時間撮
像撮像画像から図１０の実施形態の装置によって高ダイ
ナミックレンジ画像を合成し１１５に格納する。
像撮像画像から図１０の実施形態の装置によって高ダイ
ナミックレンジ画像を合成し１１５に格納する。
【０１５４】１２５は長時間撮像画像と直後の短時間撮
像撮像画像から図１０の実施形態の装置によって高ダイ
ナミックレンジ画像を合成し１１５に格納する。
像撮像画像から図１０の実施形態の装置によって高ダイ
ナミックレンジ画像を合成し１１５に格納する。
【０１５５】なお、図１０〜図１２で示した装置におけ
る各部の一部もしくは全部の機能をコンピュータのプロ
グラムで構成し、そのプログラムをコンピュータを用い
て実行して本発明を実現することができること、あるい
は、図６〜図８で説明した処理過程による方法の処理の
手順をコンピュータのプログラムで構成し、そのプログ
ラムをコンピュータに実行させることができることは言
うまでもなく、コンピュータでその機能を実現するため
のプログラム、あるいは、コンピュータにその処理の手
順を実行させるためのプログラムを、そのコンピュータ
が読み取り可能な記録媒体、例えば、ＦＤ（フロッピー
ディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカー
ド、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し
て、保存したり、配布したりすることが可能である。ま
た、上記のプログラムをインターネットや電子メールな
ど、ネットワークを通して提供することも可能である。
る各部の一部もしくは全部の機能をコンピュータのプロ
グラムで構成し、そのプログラムをコンピュータを用い
て実行して本発明を実現することができること、あるい
は、図６〜図８で説明した処理過程による方法の処理の
手順をコンピュータのプログラムで構成し、そのプログ
ラムをコンピュータに実行させることができることは言
うまでもなく、コンピュータでその機能を実現するため
のプログラム、あるいは、コンピュータにその処理の手
順を実行させるためのプログラムを、そのコンピュータ
が読み取り可能な記録媒体、例えば、ＦＤ（フロッピー
ディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカー
ド、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し
て、保存したり、配布したりすることが可能である。ま
た、上記のプログラムをインターネットや電子メールな
ど、ネットワークを通して提供することも可能である。
【０１５６】
【発明の効果】従来の方法および装置では、図１（ａ）
の１１に示すように２フレームの画像より単一の合成ア
ルゴリズムで１フレームの画像を合成するためフレーム
レートが半減してしまうが、本発明の方法および装置
は、請求項１の方法と請求項８の装置では図１（ｂ）の
１２、請求項４の方法と請求項１１の装置では図１
（ｃ）の１３のように、どちらも原映像と同フレームレ
ートで高ダイナミックレンジ映像を生成することができ
る。
の１１に示すように２フレームの画像より単一の合成ア
ルゴリズムで１フレームの画像を合成するためフレーム
レートが半減してしまうが、本発明の方法および装置
は、請求項１の方法と請求項８の装置では図１（ｂ）の
１２、請求項４の方法と請求項１１の装置では図１
（ｃ）の１３のように、どちらも原映像と同フレームレ
ートで高ダイナミックレンジ映像を生成することができ
る。
【０１５７】また、本発明の請求項１の方法および請求
項８の装置では、図２に示したように撮像時刻の異なる
２フレームの画像をそのまま合成せず、同じ撮像時刻に
得られるはずの画像を予測生成した後に合成するため、
動画像であっても不自然な画像を合成しない。
項８の装置では、図２に示したように撮像時刻の異なる
２フレームの画像をそのまま合成せず、同じ撮像時刻に
得られるはずの画像を予測生成した後に合成するため、
動画像であっても不自然な画像を合成しない。
【０１５８】更に、請求項１の方法および請求項８の装
置は、輪郭線部の動きと輪郭線内の動きが同じ時に正確
な合成映像が提供できるが、請求項４の方法および請求
項１１の装置は輪郭線部の動きと輪郭線内部の動きが別
々の場合でも正確な合成画像を提供することができるの
で、より高品質な高ダイナミックレンジ映像を提供でき
る。
置は、輪郭線部の動きと輪郭線内の動きが同じ時に正確
な合成映像が提供できるが、請求項４の方法および請求
項１１の装置は輪郭線部の動きと輪郭線内部の動きが別
々の場合でも正確な合成画像を提供することができるの
で、より高品質な高ダイナミックレンジ映像を提供でき
る。
【０１５９】一方で、請求項４の方法および請求項１１
の装置は、連続する３フレームの映像を必要とするた
め、映像の切り替わり点や、画像内容がフレーム間で不
連続的に変化するような場合には適用できないか、また
は無理に適用しても低品質の合成画像しか得られない等
の問題点もある。そこで、請求項７の方法および請求項
１４の装置において、前記の不連続な部分を２画像の類
似度を調べることによって検出し、請求項４の方法と請
求項１の方法あるいは請求項１１の装置と請求項８の装
置を適応的に切り替えて処理を行うことによって、図９
に示したように画像間で不連続な部分が存在しても常に
最適な画像合成方法および装置を選択して高ダイナミッ
クレンジ映像を合成することが可能となる。
の装置は、連続する３フレームの映像を必要とするた
め、映像の切り替わり点や、画像内容がフレーム間で不
連続的に変化するような場合には適用できないか、また
は無理に適用しても低品質の合成画像しか得られない等
の問題点もある。そこで、請求項７の方法および請求項
１４の装置において、前記の不連続な部分を２画像の類
似度を調べることによって検出し、請求項４の方法と請
求項１の方法あるいは請求項１１の装置と請求項８の装
置を適応的に切り替えて処理を行うことによって、図９
に示したように画像間で不連続な部分が存在しても常に
最適な画像合成方法および装置を選択して高ダイナミッ
クレンジ映像を合成することが可能となる。
【図１】（１）は従来の方法を、（２）は本発明の請求
項１の方法を、（３）は本発明の請求項４の方法を、そ
れぞれ用いた場合の原画像データと合成画像データの対
応を説明した図である。
項１の方法を、（３）は本発明の請求項４の方法を、そ
れぞれ用いた場合の原画像データと合成画像データの対
応を説明した図である。
【図２】本発明の請求項１、２、３の方法および請求項
８、９、１０の装置の作用を説明した図である。
８、９、１０の装置の作用を説明した図である。
【図３】本発明の請求項４の方法および請求項１１の装
置の作用を説明した図である。
置の作用を説明した図である。
【図４】本発明の請求項５の方法および請求項１２の装
置の作用を説明した図である。
置の作用を説明した図である。
【図５】本発明の請求項６の方法および請求項１３の装
置の作用を説明した図である。
置の作用を説明した図である。
【図６】本発明の請求項１、２、３の方法の一実施形態
を示した図である。
を示した図である。
【図７】本発明の請求項４、５、６の方法の一実施形態
を示した図である。
を示した図である。
【図８】本発明の請求項７の方法の一実施形態を示した
図である。
図である。
【図９】本発明の請求項７の方法および請求項１４の装
置を用いた場合の原画像データと合成画像データの対応
関係を示した図である。
置を用いた場合の原画像データと合成画像データの対応
関係を示した図である。
【図１０】本発明の請求項８、９、１０の装置の一実施
形態を示した図である。
形態を示した図である。
【図１１】本発明の請求項１１、１２、１３の装置の一
実施形態を示した図である。
実施形態を示した図である。
【図１２】本発明の請求項１４の装置の一実施形態を示
した図である。
した図である。
６１…原映像データ格納過程
６２…データ出力切り替え過程
６３…過程Ａ
６３１、６３２…領域分離過程
６３３、６３４…輪郭形状抽出過程
６３５…パターンマッチング過程
６３６…領域の移動、変形過程
６３７…画素の輝度値倍率補正過程
６３８…画像合成過程
６４…過程Ｂ
６４１、６４２…領域分離過程
６４３、６３４…輪郭線抽出過程
６４５…パターンマッチング過程
６４６…領域の移動、変形過程
６４７…画素の輝度値倍率補正過程
６４８…画像合成過程
６５…出力データ格納過程
７１…原映像データ格納過程
７２…データ出力切り替え過程
７３…過程Ｅ
７３１、７３２、７３３…領域分離過程
７３４…中間画像の予測生成過程
７３５…領域切り出し過程
７３６…画素の輝度値の倍率補正過程
７３７…画像合成過程
７４…過程Ｆ
７４１、７４２、７４３…領域分離過程
７４４…中間画像の予測生成過程
７４５…領域切り出し過程
７４６…画素の輝度値の倍率補正過程
７４７…画像合成過程
７５…出力データ格納過程
８１…直前の短時間撮像画像の領域Ｘの輪郭線と長時間
撮像画像の領域Ｙの輪郭線のパターンマッチング過程 ８２…直後の短時間撮像画像の領域Ｘの輪郭線と長時間
撮像画像の領域Ｙの輪郭線のパターンマッチング過程 ８３…処理動作選択過程 ８３１…動きベクトル抽出過程 ８３２…動き補償ベクトル生成過程 ８３３…前フレーム画像を用いた中間画像予測生成過程 ８３４…後フレーム画像を用いた中間画像予測生成過程 ８３５…中間画像合成過程 ８３６…画像パターンの類似度判定過程 ８４…長時間撮像画像と直前の短時間撮像画像から高ダ
イナミックレンジ画像を合成する方法を実現する過程 ８５…長時間撮像画像と直後の短時間撮像画像から高ダ
イナミックレンジ画像を合成する方法を実現する過程 １０１…原映像データ格納器 １０２…制御装置 １０３…合成器Ａ １０３１、１０３２…領域分離器 １０３３、１０３４…輪郭形状抽出器 １０３５…パターンマッチング器 １０３６…領域の移動、変形器 １０３７…画素の輝度値倍率補正器 １０３８…画像合成器 １０４…合成器Ｂ １０４１、１０４２…領域分離器 １０４３、１０３４…輪郭線抽出器 １０４５…パターンマッチング器 １０４６…領域の移動、変形器 １０４７…画素の輝度値倍率補正器 １０４８…画像合成器 １０５…出力データ格納器 １１１…原映像データ格納器 １１２…制御装置 １１３…合成器Ｅ １１３１、１１３２、１１３３…領域分離器 １１３４…中間画像の予測生成器 １１３５…領域切り出し器 １１３６…画素の輝度値の倍率補正器 １１３７…画像合成器 １１４…合成器Ｆ １１４１、１１４２、１１４３…領域分離器 １１４４…中間画像の予測生成器 １１４５…領域切り出し器 １１４６…画素の輝度値の倍率補正器 １１４７…画像合成器 １１５…出力データ格納器 １２１…直前の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器 １２２…直後の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器 １２３…処理動作選択器 １２３１…動きベクトル抽出器 １２３２…動き補償ベクトル生成器 １２３３…前フレーム画像を用いた中間画像予測生成器 １２３４…後フレーム画像を用いた中間画像予測生成器 １２３５…中間画像合成器 １２３６…画像パターンの類似度判定器 １２４…長時間撮像画像と直前の短時間撮像画像から高
ダイナミックレンジ画像を合成する装置 １２５…長時間撮像画像と直後の短時間撮像画像から高
ダイナミックレンジ画像を合成する装置
撮像画像の領域Ｙの輪郭線のパターンマッチング過程 ８２…直後の短時間撮像画像の領域Ｘの輪郭線と長時間
撮像画像の領域Ｙの輪郭線のパターンマッチング過程 ８３…処理動作選択過程 ８３１…動きベクトル抽出過程 ８３２…動き補償ベクトル生成過程 ８３３…前フレーム画像を用いた中間画像予測生成過程 ８３４…後フレーム画像を用いた中間画像予測生成過程 ８３５…中間画像合成過程 ８３６…画像パターンの類似度判定過程 ８４…長時間撮像画像と直前の短時間撮像画像から高ダ
イナミックレンジ画像を合成する方法を実現する過程 ８５…長時間撮像画像と直後の短時間撮像画像から高ダ
イナミックレンジ画像を合成する方法を実現する過程 １０１…原映像データ格納器 １０２…制御装置 １０３…合成器Ａ １０３１、１０３２…領域分離器 １０３３、１０３４…輪郭形状抽出器 １０３５…パターンマッチング器 １０３６…領域の移動、変形器 １０３７…画素の輝度値倍率補正器 １０３８…画像合成器 １０４…合成器Ｂ １０４１、１０４２…領域分離器 １０４３、１０３４…輪郭線抽出器 １０４５…パターンマッチング器 １０４６…領域の移動、変形器 １０４７…画素の輝度値倍率補正器 １０４８…画像合成器 １０５…出力データ格納器 １１１…原映像データ格納器 １１２…制御装置 １１３…合成器Ｅ １１３１、１１３２、１１３３…領域分離器 １１３４…中間画像の予測生成器 １１３５…領域切り出し器 １１３６…画素の輝度値の倍率補正器 １１３７…画像合成器 １１４…合成器Ｆ １１４１、１１４２、１１４３…領域分離器 １１４４…中間画像の予測生成器 １１４５…領域切り出し器 １１４６…画素の輝度値の倍率補正器 １１４７…画像合成器 １１５…出力データ格納器 １２１…直前の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器 １２２…直後の短時間撮像画像の領域Ｘの輪郭線と長時
間撮像画像の領域Ｙの輪郭線のパターンマッチング器 １２３…処理動作選択器 １２３１…動きベクトル抽出器 １２３２…動き補償ベクトル生成器 １２３３…前フレーム画像を用いた中間画像予測生成器 １２３４…後フレーム画像を用いた中間画像予測生成器 １２３５…中間画像合成器 １２３６…画像パターンの類似度判定器 １２４…長時間撮像画像と直前の短時間撮像画像から高
ダイナミックレンジ画像を合成する装置 １２５…長時間撮像画像と直後の短時間撮像画像から高
ダイナミックレンジ画像を合成する装置
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 7/60 ３００ Ｇ０６Ｔ 7/60 ３００Ａ
(72)発明者 沖村 隆幸
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
Ｆターム(参考） 5B057 AA20 CA08 CA12 CA16 CB08
CB12 CB16 CC01 CE01 CE08
CE09 DA08 DB02 DB09 DC16
DC22 DC32
5C022 AA00 AB17
5L096 AA06 BA20 CA03 DA01 EA17
FA06 FA14 JA09 JA18 MA03
Claims (16)
- 【請求項１】 撮像時間を可変に制御できる撮像装置を
用いて長時間撮像と短時間撮像を交互に繰り返して高ダ
イナミックレンジ映像を生成する方法において、 長時間撮像と直後または直前の短時間撮像の２画像より
長時間撮像時刻における高ダイナミックレンジ画像を合
成する過程Ａと、 短時間撮像と直後または直前の長時間撮像の２画像より
短時間撮像時刻における高ダイナミックレンジ画像を合
成する過程Ｂの異なる２つの合成過程とを有し、 長時間撮像時刻における画像については過程Ａを実行
し、短時間撮像時刻における画像については過程Ｂを実
行することを特徴とする高ダイナミックレンジ映像の生
成方法。 - 【請求項２】 過程Ａでは、 長時間撮像の画像内にあるオーバーフロー領域Ｘを検出
する過程Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する過程Ｄ
と、 ２領域の輪郭線のパターンマッチングを行う過程とを有
し、 過程Ｃにより長時間撮像画像を領域Ｘとそれ以外の領域
Ｘ-に分離し、 過程Ｄにより直後または直前の短時間撮像画像から領域
Ｙを抜き出し、 パターンマッチングを行う過程により領域Ｙの位置、形
状を領域Ｘの位置、形状に合わせた後で画素の輝度値の
倍率補正を行った後に、領域Ｘ-と合成することによっ
て、長時間撮像と直後または直前の短時間撮像の２画像
から長時間撮像時刻における画像を合成することを特徴
とする請求項１に記載の高ダイナミックレンジ映像の生
成方法。 - 【請求項３】 過程Ｂでは、 長時間撮像の画像内にあるオーバーフロー領域Ｘを検出
する過程Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する過程Ｄ
と、 ２領域の輪郭線のパターンマッチングを行う過程とを有
し、 過程Ｄにより短時間撮像画像を領域Ｙとその他の領域Ｙ
-に分離し、 過程Ｃにより直後または直前の長時間撮像画像を領域Ｘ
とその他の領域Ｘ-に分離し、 パターンマッチングを行う過程により領域Ｘ-の位置、
形状を領域Ｙ-の位置、形状に合わせた後で、画素の輝
度値の倍率補正を行った後の領域Ｙと合成することによ
って、短時間撮像と直後または直前の長時間撮像の２画
像から短時間撮像時刻における画像を合成することを特
徴とする請求項１に記載の高ダイナミックレンジ映像の
生成方法。 - 【請求項４】 撮像時間を可変に制御できる撮像装置を
用いて長時間撮像と短時間撮像を交互に繰り返して高ダ
イナミックレンジ映像を生成する方法において、 長時間撮像と直前の短時間撮像と直後の短時間撮像の３
画像より長時間撮像時刻における高ダイナミックレンジ
画像を合成する過程Ｅと、 短時間撮像と直前の長時間撮像と直後の長時間撮像の３
画像より短時間撮像時刻における高ダイナミックレンジ
画像を合成する過程Ｆの異なる２つの合成過程とを有
し、 長時間撮像時刻における画像については過程Ｅを実行
し、短時間撮像時刻における画像については過程Ｆを実
行することを特徴とする高ダイナミックレンジ映像の生
成方法。 - 【請求項５】 過程Ｅでは、 長時間撮像の画像中にあるオーバーフロー領域Ｘを検出
する過程Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する過程Ｄ
と、 ２領域の画像のパターンマッチングを行う過程とを有
し、 過程Ｃにより長時間撮像の画像を領域Ｘとそれ以外の領
域Ｘ-に分離し、 過程Ｄにより直前の短時間撮像の画像から領域Ｙ１を切
り出し、 過程Ｄにより直後の短時間撮像の画像から領域Ｙ２を切
り出し、 ２領域の画像のパターンマッチングを行う過程により２
領域である領域Ｙ１と領域Ｙ２から長時間撮像時刻にお
ける中間画像Ｙ３を生成し、 中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出
し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と
合成することによって、長時間撮像と直前の短時間画像
と直後の短時間撮像の３画像から長時間撮像時刻におけ
る画像を合成することを特徴とする請求項４に記載の高
ダイナミックレンジ映像の生成方法。 - 【請求項６】 過程Ｆでは、 長時間撮像の画像中にあるオーバーフロー領域Ｘを検出
する過程Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する過程Ｄ
と、 ２領域の画像のパターンマッチングを行う過程とを有
し、 過程Ｄにより短時間撮像の画像を領域Ｙとその他の領域
Ｙ-に分離し、 過程Ｃにより直前の長時間撮像の画像を領域Ｘ１とその
他の領域Ｘ１-に分離し、 過程Ｃにより直後の長時間撮像の画像を領域Ｘ２とその
他の領域Ｘ２-に分離し、 ２領域の画像のパターンマッチングを行う過程により２
領域である領域Ｘ１-と領域Ｘ２-から短時間撮像時刻に
おける中間画像Ｘ３-を生成し、 中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り
出した後で、画素の輝度値の倍率補正を行った後の領域
Ｙと合成することによって、短時間撮像と直前の長時間
撮像と直後の短時間撮像の３画像から短時間撮像時刻に
おける画像を合成することを特徴とする請求項４に記載
の高ダイナミックレンジ映像の生成方法。 - 【請求項７】 ２領域の画像のパターンマッチングを行
う過程が２領域のパターンの類似度を算出する過程も有
し、 請求項５または請求項６に記載の高ダイナミックレンジ
映像の生成方法において、 ２領域の画像のパターンマッチングを行う際に類似度も
算出し、予め設定された値よりも類似度が小さい場合に
は、請求項５においてはＹ１とＸおよびＹ２とＸに対し
て輪郭線のパターンマッチングを行い、請求項６におい
てはＸ１とＹおよびＸ２とＹに対して輪郭線のパターン
マッチングを行い、 該輪郭線のパターンマッチングの結果、ＸとＹ２あるい
はＹとＸ２の類似度の方が大きい場合は請求項４に記載
の高ダイナミックレンジ映像の生成方法の代わりに直後
の画像を用いる請求項１に記載の高ダイナミックレンジ
映像の生成方法に切り替え、Ｙ１とＸあるいはＸ１とＹ
の類似度の方が大きい場合は請求項４に記載の高ダイナ
ミックレンジ映像の生成方法の代わりに直前の画像を用
いる請求項１に記載の高ダイナミックレンジ映像の生成
方法に切り替えることを特徴とする高ダイナミックレン
ジ映像の生成方法。 - 【請求項８】 撮像時間を可変に制御できる撮像装置を
用いて長時間撮像と短時間撮像を交互に繰り返して高ダ
イナミックレンジ映像を生成する装置において、 長時間撮像と直後または直前の短時間撮像の２画像より
長時間撮像時刻における高ダイナミックレンジ画像を合
成する合成器Ａと、 短時間撮像と直後または直前の長時間撮像の２画像より
短時間撮像時刻における高ダイナミックレンジ画像を合
成する合成器Ｂの異なる２つの合成器とを有し、 長時間撮像時刻における画像については合成器Ａを用
い、短時間撮像時刻における画像については合成器Ｂを
用いることを特徴とする高ダイナミックレンジ映像の生
成装置。 - 【請求項９】 合成器Ａは、 長時間撮像の画像内にあるオーバーフロー領域Ｘを検出
する検出器Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する検出器Ｄ
と、 ２領域の輪郭線のパターンマッチングを行うパターンマ
ッチング器とを有し、 検出器Ｃを用いて長時間撮像画像を領域Ｘとそれ以外の
領域Ｘ-に分離し、検出器Ｄを用いて直後または直前の
短時間撮像画像から領域Ｙを抜き出し、該パターンマッ
チング器を用いて領域Ｙの位置、形状を領域Ｘの位置、
形状に合わせた後で画素の輝度値の倍率補正を行った後
に、領域Ｘ-と合成することによって、長時間撮像と直
後または直前の短時間撮像の２画像から長時間撮像時刻
における画像を合成するものであることを特徴とする請
求項８に記載の高ダイナミックレンジ映像の生成装置。 - 【請求項１０】 合成器Ｂは、 長時間撮像の画像内にあるオーバーフロー領域Ｘを検出
する検出器Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する検出器Ｄ
と、 ２領域の輪郭線のパターンマッチングを行うパターンマ
ッチング器とを有し、検出器Ｄを用いて短時間撮像画像
を領域Ｙとその他の領域Ｙ-に分離し、検出器Ｃを用い
て直後または直前の長時間撮像画像を領域Ｘとその他の
領域Ｘ-に分離し、該パターンマッチング器を用いて領
域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた後
で、画素の輝度値の倍率補正を行った後の領域Ｙと合成
することによって、短時間撮像と直後または直前の長時
間撮像の２画像から短時間撮像時刻における画像を合成
するものであることを特徴とする請求項８に記載の高ダ
イナミックレンジ映像の生成装置。 - 【請求項１１】 撮像時間を可変に制御できる撮像装置
を用いて長時間撮像と短時間撮像を交互に繰り返して高
ダイナミックレンジ映像を生成する装置において、 長時間撮像と直前の短時間撮像と直後の短時間撮像の３
画像より長時間撮像時刻における高ダイナミックレンジ
画像を合成する合成器Ｅと、 短時間撮像と直前の長時間撮像と直後の長時間撮像の３
画像より短時間撮像時刻における高ダイナミックレンジ
画像を合成する合成器Ｆの異なる２つの合成器とを有
し、 長時間撮像時刻における画像については合成器Ｅを用
い、短時間撮像時刻における画像については合成器Ｆを
用いることを特徴とする高ダイナミックレンジ映像の生
成装置。 - 【請求項１２】 合成器Ｅは、 長時間撮像の画像中にあるオーバーフロー領域Ｘを検出
する検出器Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する検出器Ｄ
と、 ２領域の画像のパターンマッチングを行うパターンマッ
チング器とを有し、 検出器Ｃを用いて長時間撮像の画像を領域Ｘとそれ以外
の領域Ｘ-に分離し、検出器Ｄを用いて直前の短時間撮
像の画像から領域Ｙ１を切り出し、検出器Ｄを用いて直
後の短時間撮像の画像から領域Ｙ２を切り出し、領域Ｙ
１と領域Ｙ２から該パターンマッチング器を用いて長時
間撮像時刻における中間画像Ｙ３を生成し、中間画像Ｙ
３から領域Ｘと位置的に重なる領域を切り出し、画素の
輝度値の倍率補正を行った後で、領域Ｘ-と合成するこ
とによって、長時間撮像と直前の短時間画像と直後の短
時間撮像の３画像から長時間撮像時刻における画像を合
成するものであることを特徴とする請求項１１に記載の
高ダイナミックレンジ映像の生成装置。 - 【請求項１３】 合成器Ｆは、 長時間撮像の画像中にあるオーバーフロー領域Ｘを検出
する検出器Ｃと、 短時間撮像の画像において長時間撮像であったならオー
バーフローすると予測される領域Ｙを検出する検出器Ｄ
と、 ２領域の画像のパターンマッチングを行うパターンマッ
チング器とを有し、 検出器Ｄを用いて短時間撮像の画像を領域Ｙとその他の
領域Ｙ-に分離し、検出器Ｃを用いて直前の長時間撮像
の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、検出
器Ｃを用いて直後の長時間撮像の画像を領域Ｘ２とその
他の領域Ｘ２-に分離し、領域Ｘ１-と領域Ｘ２-から該
パターンマッチング器を用いて短時間撮像時刻における
中間画像Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と
位置的に重なる領域を切り出した後で、画素の輝度値の
倍率補正を行った後の領域Ｙと合成することによって、
短時間撮像と直前の長時間撮像と直後の短時間撮像の３
画像から短時間撮像時刻における画像を合成するもので
あることを特徴とする請求項１１に記載の高ダイナミッ
クレンジ映像の生成装置。 - 【請求項１４】 ２領域の画像のパターンマッチングを
行うパターンマッチング器が２領域の画像のパターンの
類似度を算出する類似度評価器も有し、 請求項１２または請求項１３に記載の高ダイナミックレ
ンジ映像の生成装置おいて、画像のパターンマッチング
を行う際に類似度も算出し、予め設定された値よりも類
似度が小さい場合には、請求項１２に記載の高ダイナミ
ックレンジ映像の生成装置おいてはＹ１とＸおよびＹ２
とＸに対して輪郭線のパターンマッチングを行い、請求
項１３に記載の高ダイナミックレンジ映像の生成装置お
いてはＸ１とＹおよびＸ２とＹに対して輪郭線のパター
ンマッチングを行い、ＸとＹ２あるいはＹとＸ２の類似
度の方が大きい場合は請求項１１に記載の高ダイナミッ
クレンジ映像の生成装置の代わりに直後の画像を用いる
請求項８に記載の高ダイナミックレンジ映像の生成装置
で処理を行い、Ｙ１とＸあるいはＸ１とＹの類似度の方
が大きい場合は請求項１１に記載の高ダイナミックレン
ジ映像の生成装置の代わりに直前の画像を用いる請求項
８に記載の高ダイナミックレンジ映像の生成装置で処理
を行うものであることを特徴とする高ダイナミックレン
ジ映像の生成装置。 - 【請求項１５】 請求項１から請求項７のいずれか１項
に記載の高ダイナミックレンジ映像の生成方法における
過程を、コンピュータに実行させるためのプログラムと
したことを特徴とする高ダイナミックレンジ映像の生成
方法の実行プログラム。 - 【請求項１６】 請求項１から請求項７のいずれか１項
に記載の高ダイナミックレンジ映像の生成方法における
過程を、コンピュータに実行させるためのプログラムと
し、 該プログラムを、該コンピュータが読み取りできる記録
媒体に記録したことを特徴とする高ダイナミックレンジ
映像の生成方法の実行プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001227008A JP3740394B2 (ja) | 2001-07-27 | 2001-07-27 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001227008A JP3740394B2 (ja) | 2001-07-27 | 2001-07-27 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003046857A true JP2003046857A (ja) | 2003-02-14 |
| JP3740394B2 JP3740394B2 (ja) | 2006-02-01 |
Family
ID=19059731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001227008A Expired - Fee Related JP3740394B2 (ja) | 2001-07-27 | 2001-07-27 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3740394B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006087063A (ja) * | 2004-09-17 | 2006-03-30 | Ulead Systems Inc | 多重露光画像合成システム及び多重露光画像合成方法 |
| JP2006525747A (ja) * | 2003-04-29 | 2006-11-09 | マイクロソフト コーポレーション | ハイダイナミックレンジビデオを生成するシステムおよび方法 |
| EP2018050A1 (en) * | 2006-05-01 | 2009-01-21 | Opt Corporation | Camera device and image processing method |
| JP2010256810A (ja) * | 2009-04-28 | 2010-11-11 | Canon Inc | 表示装置及びその制御方法 |
| US20100295932A1 (en) * | 2009-05-25 | 2010-11-25 | Olympus Corporation | Image obtaining apparatus, image synthesis method and microscope system |
| JP2012010307A (ja) * | 2010-05-26 | 2012-01-12 | Olympus Imaging Corp | 撮像装置および撮像方法 |
| US8305487B2 (en) | 2009-10-21 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling multiple exposures |
| JP2012235390A (ja) * | 2011-05-06 | 2012-11-29 | Canon Inc | 画像処理装置及びその制御方法、並びにプログラム |
| US8638374B2 (en) | 2010-03-30 | 2014-01-28 | Olympus Imaging Corp. | Image pickup apparatus, image pickup system, and image pickup method |
| JP2014036357A (ja) * | 2012-08-09 | 2014-02-24 | Olympus Corp | 画像処理装置及び画像処理方法 |
| US8947550B2 (en) | 2010-04-08 | 2015-02-03 | Canon Kabushiki Kaisha | Image processing apparatus with frame conversion, and method of controlling same |
| US8970722B2 (en) | 2011-03-28 | 2015-03-03 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the same |
| JP2016034109A (ja) * | 2014-07-31 | 2016-03-10 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
| CN110175255A (zh) * | 2019-05-29 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
| CN111416945A (zh) * | 2019-01-07 | 2020-07-14 | 三星电子株式会社 | 用于处理图像的方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07298142A (ja) * | 1994-04-25 | 1995-11-10 | Canon Inc | 階調制御機能を有する撮像装置 |
| JP2000078480A (ja) * | 1998-08-31 | 2000-03-14 | Sony Corp | 撮像装置及び撮像方法 |
| JP2000341582A (ja) * | 1999-05-31 | 2000-12-08 | Sony Corp | 撮像装置及びその方法 |
| JP2003009006A (ja) * | 2001-06-20 | 2003-01-10 | Sony Corp | 撮像方法および装置 |
-
2001
- 2001-07-27 JP JP2001227008A patent/JP3740394B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07298142A (ja) * | 1994-04-25 | 1995-11-10 | Canon Inc | 階調制御機能を有する撮像装置 |
| JP2000078480A (ja) * | 1998-08-31 | 2000-03-14 | Sony Corp | 撮像装置及び撮像方法 |
| JP2000341582A (ja) * | 1999-05-31 | 2000-12-08 | Sony Corp | 撮像装置及びその方法 |
| JP2003009006A (ja) * | 2001-06-20 | 2003-01-10 | Sony Corp | 撮像方法および装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006525747A (ja) * | 2003-04-29 | 2006-11-09 | マイクロソフト コーポレーション | ハイダイナミックレンジビデオを生成するシステムおよび方法 |
| US7443533B2 (en) | 2004-09-17 | 2008-10-28 | Corel Tw Corp. | Image composition systems and methods |
| JP2006087063A (ja) * | 2004-09-17 | 2006-03-30 | Ulead Systems Inc | 多重露光画像合成システム及び多重露光画像合成方法 |
| EP2018050A1 (en) * | 2006-05-01 | 2009-01-21 | Opt Corporation | Camera device and image processing method |
| EP2018050A4 (en) * | 2006-05-01 | 2009-04-29 | Opt Corp | CAMERA AND IMAGE PROCESSING METHOD |
| US8330857B2 (en) | 2009-04-28 | 2012-12-11 | Canon Kabushiki Kaisha | Display apparatus and control method thereof |
| JP2010256810A (ja) * | 2009-04-28 | 2010-11-11 | Canon Inc | 表示装置及びその制御方法 |
| US8547479B2 (en) | 2009-04-28 | 2013-10-01 | Canon Kabushiki Kaisha | Display apparatus and control method thereof |
| US20100295932A1 (en) * | 2009-05-25 | 2010-11-25 | Olympus Corporation | Image obtaining apparatus, image synthesis method and microscope system |
| EP2256688A1 (en) | 2009-05-25 | 2010-12-01 | Olympus Corporation | Image obtaining apparatus, image synthesis method and microscope system |
| JP2010272094A (ja) * | 2009-05-25 | 2010-12-02 | Olympus Corp | 画像取得装置、画像合成方法、及び顕微鏡システム |
| US8305487B2 (en) | 2009-10-21 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling multiple exposures |
| US8638374B2 (en) | 2010-03-30 | 2014-01-28 | Olympus Imaging Corp. | Image pickup apparatus, image pickup system, and image pickup method |
| US8947550B2 (en) | 2010-04-08 | 2015-02-03 | Canon Kabushiki Kaisha | Image processing apparatus with frame conversion, and method of controlling same |
| JP2012010307A (ja) * | 2010-05-26 | 2012-01-12 | Olympus Imaging Corp | 撮像装置および撮像方法 |
| US8970722B2 (en) | 2011-03-28 | 2015-03-03 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the same |
| JP2012235390A (ja) * | 2011-05-06 | 2012-11-29 | Canon Inc | 画像処理装置及びその制御方法、並びにプログラム |
| JP2014036357A (ja) * | 2012-08-09 | 2014-02-24 | Olympus Corp | 画像処理装置及び画像処理方法 |
| JP2016034109A (ja) * | 2014-07-31 | 2016-03-10 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
| CN111416945A (zh) * | 2019-01-07 | 2020-07-14 | 三星电子株式会社 | 用于处理图像的方法和装置 |
| CN110175255A (zh) * | 2019-05-29 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
| CN110175255B (zh) * | 2019-05-29 | 2022-04-05 | 腾讯医疗健康(深圳)有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
| US12046056B2 (en) | 2019-05-29 | 2024-07-23 | Tencent Technology (Shenzhen) Company Limited | Image annotation method and apparatus, annotation presentation method and apparatus, device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3740394B2 (ja) | 2006-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4321287B2 (ja) | 撮影装置および撮影方法、並びに、プログラム | |
| KR101609491B1 (ko) | 화상 합성 장치, 화상 합성 방법 및 기록 매체 | |
| US8885061B2 (en) | Image processing apparatus, image processing method and program | |
| JP4720859B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2003046857A (ja) | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 | |
| US20110199494A1 (en) | Imaging device and image processing apparatus | |
| US20070040918A1 (en) | Image processing apparatus, image processing method and program | |
| JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
| CN102741883A (zh) | 高动态范围图像生成和渲染 | |
| US20230069014A1 (en) | Method and apparatus for generating low bit width hdr image, storage medium, and terminal | |
| JP4507948B2 (ja) | 撮影装置、撮影画像の画像処理方法及びプログラム | |
| CN110958361B (zh) | 能够进行hdr合成的摄像设备及其控制方法和存储介质 | |
| JP2018182376A (ja) | 画像処理装置 | |
| JP2006325274A (ja) | 撮像装置 | |
| JP2010283548A (ja) | 映像補間装置及び映像表示装置 | |
| JP4622711B2 (ja) | 画像合成装置、画像合成方法、及び、プログラム | |
| US20050088531A1 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2002223355A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
| KR20100088282A (ko) | 영상 데이터 인페인팅 방법 및 장치 | |
| JP2008141616A (ja) | 動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置 | |
| JP6708131B2 (ja) | 映像処理装置、映像処理方法及びプログラム | |
| US11373316B2 (en) | Apparatus and method for calculating motion vector | |
| JP2017212698A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
| JP2016129281A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131111 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |