JP2001238130A - 移動体画像の高画質化方法及び装置 - Google Patents
移動体画像の高画質化方法及び装置Info
- Publication number
- JP2001238130A JP2001238130A JP2000049163A JP2000049163A JP2001238130A JP 2001238130 A JP2001238130 A JP 2001238130A JP 2000049163 A JP2000049163 A JP 2000049163A JP 2000049163 A JP2000049163 A JP 2000049163A JP 2001238130 A JP2001238130 A JP 2001238130A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving body
- moving object
- quality
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 画像監視装置などは低照度の場所で、しか
も移動している物体の画像を、撮像する必要がある。こ
の方法としては画像を蓄積する方法があるが、移動体が
ある場合は移動体がぼけて撮像されてしまう。そのため
本発明では、移動体を高画質で撮像できるようにする事
を目的とする。 【解決手段】 入力画像の中から移動体領域を抽出し、
その中心が一致するようデジタル加算して移動体部分を
高画質化すると共に、移動体領域以外の背景部分もデジ
タル加算し、両画像を組み合わせて高画質画像を得るよ
うにした。
も移動している物体の画像を、撮像する必要がある。こ
の方法としては画像を蓄積する方法があるが、移動体が
ある場合は移動体がぼけて撮像されてしまう。そのため
本発明では、移動体を高画質で撮像できるようにする事
を目的とする。 【解決手段】 入力画像の中から移動体領域を抽出し、
その中心が一致するようデジタル加算して移動体部分を
高画質化すると共に、移動体領域以外の背景部分もデジ
タル加算し、両画像を組み合わせて高画質画像を得るよ
うにした。
Description
【０００１】
【発明の属する技術分野】本発明は、画像監視装置など
が低照度の場所で、しかも移動している物体の画像を、
高画質で撮像できるようにした方法及び装置に関する。
が低照度の場所で、しかも移動している物体の画像を、
高画質で撮像できるようにした方法及び装置に関する。
【０００２】
【従来の技術】一般に、低照度の画像を撮像する方法と
しては、超高感度カメラを使い、しかもカメラゲインを
上げて撮像する方法、赤外線カメラを使う方法、撮像し
た画像を蓄積する方法などがある。
しては、超高感度カメラを使い、しかもカメラゲインを
上げて撮像する方法、赤外線カメラを使う方法、撮像し
た画像を蓄積する方法などがある。
【０００３】しかしながらこのうちカメラゲインを上げ
る方法は、画像が荒くなってノイズが乗り、画質が悪
い。赤外線カメラを使う方法はカラーの撮像に向かな
い。しかし、撮像した画像を蓄積する方法は、カメラゲ
インを高くすることによって生じるノイズを相殺し、画
質を向上させる。
る方法は、画像が荒くなってノイズが乗り、画質が悪
い。赤外線カメラを使う方法はカラーの撮像に向かな
い。しかし、撮像した画像を蓄積する方法は、カメラゲ
インを高くすることによって生じるノイズを相殺し、画
質を向上させる。
【０００４】以下図５で、この撮像した画像を蓄積する
方法を、画像を４枚蓄積する場合を例に説明すると、図
中Ｉ（ｔＲ−３）、Ｉ（ｔＲ−２）、…Ｉ（ｔＲ＋２）
…はそれぞれ時間ｔＲ−３、ｔＲ−２、…ｔＲ＋２に撮
像した入力画像、Ｊ（ｔＲ）、Ｊ（ｔＲ＋１）、Ｊ（ｔ
Ｒ＋２）…は撮像した画像を蓄積した出力画像である。
時間ｔＲの出力画像Ｊ（ｔＲ）は、時間ｔＲ−３、ｔ
Ｒ−２、ｔＲ−１、ｔＲの画像Ｉ（ｔＲ−３）、Ｉ（ｔ
Ｒ−２）、Ｉ（ｔＲ−１）、Ｉ（ｔＲ）をデジタル加算
した画像で、時間ｔＲ＋１の出力画像Ｊ（ｔＲ＋１）
は、時間ｔＲ−２、ｔＲ−１、ｔＲ、ｔＲ＋１の画像Ｉ
（ｔＲ−２）、Ｉ（ｔＲ−１）、Ｉ（ｔＲ）Ｉ（ｔ
Ｒ＋１）をデジタル加算した画像である。こうすると、
カメラゲインを高くすることによって生じるノイズはデ
ジタル加算で相殺され、高画質の画像が得られる。
方法を、画像を４枚蓄積する場合を例に説明すると、図
中Ｉ（ｔＲ−３）、Ｉ（ｔＲ−２）、…Ｉ（ｔＲ＋２）
…はそれぞれ時間ｔＲ−３、ｔＲ−２、…ｔＲ＋２に撮
像した入力画像、Ｊ（ｔＲ）、Ｊ（ｔＲ＋１）、Ｊ（ｔ
Ｒ＋２）…は撮像した画像を蓄積した出力画像である。
時間ｔＲの出力画像Ｊ（ｔＲ）は、時間ｔＲ−３、ｔ
Ｒ−２、ｔＲ−１、ｔＲの画像Ｉ（ｔＲ−３）、Ｉ（ｔ
Ｒ−２）、Ｉ（ｔＲ−１）、Ｉ（ｔＲ）をデジタル加算
した画像で、時間ｔＲ＋１の出力画像Ｊ（ｔＲ＋１）
は、時間ｔＲ−２、ｔＲ−１、ｔＲ、ｔＲ＋１の画像Ｉ
（ｔＲ−２）、Ｉ（ｔＲ−１）、Ｉ（ｔＲ）Ｉ（ｔ
Ｒ＋１）をデジタル加算した画像である。こうすると、
カメラゲインを高くすることによって生じるノイズはデ
ジタル加算で相殺され、高画質の画像が得られる。
【０００５】しかしながら、この撮像した画像を蓄積す
る方法も、静止している物体の場合はいいが、動いてい
る物体を撮像すると、蓄積によってぼけが生じる。
る方法も、静止している物体の場合はいいが、動いてい
る物体を撮像すると、蓄積によってぼけが生じる。
【０００６】すなわち、通常のＣＣＤを用いたカメラの
フレーム蓄積では、１／３０秒間ＣＣＤの電荷を蓄積す
るが、照度が低いシーンでは、２〜Ｎフレーム蓄積す
る。今Ｎ＝６０とすると、蓄積は２秒であり、その間に
移動体が移動すると画像上では非常にぼけた画像にな
る。
フレーム蓄積では、１／３０秒間ＣＣＤの電荷を蓄積す
るが、照度が低いシーンでは、２〜Ｎフレーム蓄積す
る。今Ｎ＝６０とすると、蓄積は２秒であり、その間に
移動体が移動すると画像上では非常にぼけた画像にな
る。
【０００７】たとえば図６のように、静止している家な
どの物体１は前記した方法による画像蓄積によって画質
が向上するが、動いている自動車２などの物体は、画像
蓄積によって出力側の３のようにぼけた画像となってし
まう。
どの物体１は前記した方法による画像蓄積によって画質
が向上するが、動いている自動車２などの物体は、画像
蓄積によって出力側の３のようにぼけた画像となってし
まう。
【０００８】このような移動体画像を検出する従来技術
として特開平４−１１１０７９号公報には、移動体の識
別と追尾のため、複数の画像を記憶するメモリを持ち、
そのメモリの同一アドレスの輝度を比較して変化した部
分を移動体と見る技術が示されているが、この場合は高
輝度の被写体のためぼけるようなことがなく、画像蓄積
については言及されていない。
として特開平４−１１１０７９号公報には、移動体の識
別と追尾のため、複数の画像を記憶するメモリを持ち、
そのメモリの同一アドレスの輝度を比較して変化した部
分を移動体と見る技術が示されているが、この場合は高
輝度の被写体のためぼけるようなことがなく、画像蓄積
については言及されていない。
【０００９】また特開平５−２２７４６号公報には、画
像データを所定画素単位のブロックに分割し、そのブロ
ックを複数含む移動体を囲んだ追跡ベクトル検出領域を
設定して動きベクトルを検出することで、移動体の移動
方向と移動量を検出する装置が示されている。しかし、
この場合も単に移動体の移動方向と移動量を検出するこ
とが記されているだけで、画像蓄積については言及され
ていない。
像データを所定画素単位のブロックに分割し、そのブロ
ックを複数含む移動体を囲んだ追跡ベクトル検出領域を
設定して動きベクトルを検出することで、移動体の移動
方向と移動量を検出する装置が示されている。しかし、
この場合も単に移動体の移動方向と移動量を検出するこ
とが記されているだけで、画像蓄積については言及され
ていない。
【００１０】さらに特開平７−５０７６９号公報には、
後続車両が近づく速度を検出して危険かどうかを判断す
るため、車両上の一点の移動をベクトルとして検出し、
移動方向と速度を検出する技術が示されているが、これ
にも画像蓄積についての記載はない。
後続車両が近づく速度を検出して危険かどうかを判断す
るため、車両上の一点の移動をベクトルとして検出し、
移動方向と速度を検出する技術が示されているが、これ
にも画像蓄積についての記載はない。
【００１１】
【発明が解決しようとする課題】上述の課題に鑑み、本
発明は、低照度の場所で移動している物体を撮像した画
像を高画質化する方法、及び装置を提供することを目的
とする。
発明は、低照度の場所で移動している物体を撮像した画
像を高画質化する方法、及び装置を提供することを目的
とする。
【００１２】
【課題を解決するための手段】上記課題を達成するため
第１の発明は、請求項１に記載したように撮像装置で撮
像した低照度の入力画像を蓄積して高画質化する方法に
おいて、入力画像における移動体を検知して移動体領域
を抽出し、複数入力画像の前記移動体領域を中心が一致
するように重ね合わせながらデジタル加算することを特
徴とする。
第１の発明は、請求項１に記載したように撮像装置で撮
像した低照度の入力画像を蓄積して高画質化する方法に
おいて、入力画像における移動体を検知して移動体領域
を抽出し、複数入力画像の前記移動体領域を中心が一致
するように重ね合わせながらデジタル加算することを特
徴とする。
【００１３】このようにすることで、単に画像蓄積をお
こなっただけのときはぼけてしまう移動体が、デジタル
加算でノイズが相殺され、高画質化できるという効果が
ある。
こなっただけのときはぼけてしまう移動体が、デジタル
加算でノイズが相殺され、高画質化できるという効果が
ある。
【００１４】また、ノイズなどによって移動体領域が正
しく把握できなかった場合に対処するため第２の発明に
おいては、請求項２に記載したように、撮像装置で撮像
した低照度の入力画像を蓄積して高画質化する方法にお
いて、入力画像における移動体を検知して移動体領域を
抽出すると共に、前後する移動体領域の中心を少しずつ
ずらして明るさの変化分を検出し、その変化分の絶対値
が最も小さくなるずらし量で移動体領域を重ね合わせて
デジタル加算することを特徴とする。
しく把握できなかった場合に対処するため第２の発明に
おいては、請求項２に記載したように、撮像装置で撮像
した低照度の入力画像を蓄積して高画質化する方法にお
いて、入力画像における移動体を検知して移動体領域を
抽出すると共に、前後する移動体領域の中心を少しずつ
ずらして明るさの変化分を検出し、その変化分の絶対値
が最も小さくなるずらし量で移動体領域を重ね合わせて
デジタル加算することを特徴とする。
【００１５】すなわち、移動体領域が正しく把握できな
かった場合、移動体がずれてデジタル加算されることで
判別不能な画像になってしまう可能性があるが、このよ
うにすることで移動体部分の画像をピッタリと重ね合わ
すことができ、ズレのない高画質画像が得られるという
効果がある。
かった場合、移動体がずれてデジタル加算されることで
判別不能な画像になってしまう可能性があるが、このよ
うにすることで移動体部分の画像をピッタリと重ね合わ
すことができ、ズレのない高画質画像が得られるという
効果がある。
【００１６】また背景部分については、移動体領域以外
の残余の部分をデジタル加算すればよく、請求項３に記
載したように、撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する方法において、入力画像における
移動体を検知して移動体領域を抽出し、複数入力画像の
前記移動体領域を中心が一致するように重ね合わせなが
らデジタル加算することで移動体領域の高画質化画像を
得ると共に、残余の背景画像をそのままデジタル加算
し、該デジタル加算した背景画像と前記移動体領域の高
画質化画像とを組み合わせて出力画像とすればよい。な
お、これは請求項４に記載した第４の発明も全く同様で
ある。
の残余の部分をデジタル加算すればよく、請求項３に記
載したように、撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する方法において、入力画像における
移動体を検知して移動体領域を抽出し、複数入力画像の
前記移動体領域を中心が一致するように重ね合わせなが
らデジタル加算することで移動体領域の高画質化画像を
得ると共に、残余の背景画像をそのままデジタル加算
し、該デジタル加算した背景画像と前記移動体領域の高
画質化画像とを組み合わせて出力画像とすればよい。な
お、これは請求項４に記載した第４の発明も全く同様で
ある。
【００１７】このようにすることで、移動体と背景画像
が両方とも高画質化された映像が得られるという効果が
ある。
が両方とも高画質化された映像が得られるという効果が
ある。
【００１８】また、移動体の検知手段は、請求項５に記
載したように移動体の検知手段は、連続する２枚の画像
の明るさの変化分を検出する時間差分法と、請求項６に
記載したように移動体の検知手段は、入力画像とあらか
じめ登録しておいた背景画像との変化分を検出する背景
差分法を採用できる。
載したように移動体の検知手段は、連続する２枚の画像
の明るさの変化分を検出する時間差分法と、請求項６に
記載したように移動体の検知手段は、入力画像とあらか
じめ登録しておいた背景画像との変化分を検出する背景
差分法を採用できる。
【００１９】これによって、簡単な構成で移動体を確実
に検知できるという効果がある。
に検知できるという効果がある。
【００２０】また、請求項３に記載した方法発明を実現
するため第７の発明においては、請求項７に記載したよ
うに、撮像装置で撮像した低照度の入力画像を蓄積して
高画質化する装置において、撮像装置が撮像した２枚の
入力画像の差分をとって移動体を検知する移動体検知部
と、該移動体検知部が検知した移動体の領域を抽出する
移動体領域抽出部と、該移動体領域抽出部が抽出した複
数入力画像の移動体領域を中心が一致するように重ね合
わせてデジタル加算して高画質化移動体領域画像とする
と共に、残余の背景画像をそのままデジタル加算し、該
デジタル加算した背景画像と前記移動体領域の高画質化
画像とを組み合わせて出力する画像加算部とから構成す
ることを特徴とする。
するため第７の発明においては、請求項７に記載したよ
うに、撮像装置で撮像した低照度の入力画像を蓄積して
高画質化する装置において、撮像装置が撮像した２枚の
入力画像の差分をとって移動体を検知する移動体検知部
と、該移動体検知部が検知した移動体の領域を抽出する
移動体領域抽出部と、該移動体領域抽出部が抽出した複
数入力画像の移動体領域を中心が一致するように重ね合
わせてデジタル加算して高画質化移動体領域画像とする
と共に、残余の背景画像をそのままデジタル加算し、該
デジタル加算した背景画像と前記移動体領域の高画質化
画像とを組み合わせて出力する画像加算部とから構成す
ることを特徴とする。
【００２１】このようにすることで、単に画像蓄積をお
こなっただけのときはぼけてしまう移動体が、デジタル
加算でノイズが相殺され、かつ、背景画像も高画質化さ
れた映像が簡単な構成で得ることができるという効果が
ある。
こなっただけのときはぼけてしまう移動体が、デジタル
加算でノイズが相殺され、かつ、背景画像も高画質化さ
れた映像が簡単な構成で得ることができるという効果が
ある。
【００２２】また、請求項４に記載した方法発明を実現
するため第８の発明においては、請求項８に記載したよ
うに撮像装置で撮像した低照度の入力画像を蓄積して高
画質化する装置において、撮像装置で撮像した２枚の入
力画像の差分をとって移動体を検知する移動体検知部
と、該移動体検知部が検知した移動体の領域を抽出する
移動体領域抽出部と、該移動体領域抽出部が抽出した前
後する移動体領域を中心を少しずつずらして明るさの変
化分を検出し、その変化分の絶対値が最も小さくなるず
らし量で移動体領域をデジタル加算するよう指示するマ
ッチング処理部と、該マッチング処理部が指示したずら
し量で移動体領域を重ね合わせてデジタル加算して高画
質化移動体領域画像とすると共に、残余の背景画像をそ
のままデジタル加算し、該デジタル加算した背景画像と
前記移動体領域の高画質化画像を組み合わせて出力する
画像加算部とからなることを特徴とする。
するため第８の発明においては、請求項８に記載したよ
うに撮像装置で撮像した低照度の入力画像を蓄積して高
画質化する装置において、撮像装置で撮像した２枚の入
力画像の差分をとって移動体を検知する移動体検知部
と、該移動体検知部が検知した移動体の領域を抽出する
移動体領域抽出部と、該移動体領域抽出部が抽出した前
後する移動体領域を中心を少しずつずらして明るさの変
化分を検出し、その変化分の絶対値が最も小さくなるず
らし量で移動体領域をデジタル加算するよう指示するマ
ッチング処理部と、該マッチング処理部が指示したずら
し量で移動体領域を重ね合わせてデジタル加算して高画
質化移動体領域画像とすると共に、残余の背景画像をそ
のままデジタル加算し、該デジタル加算した背景画像と
前記移動体領域の高画質化画像を組み合わせて出力する
画像加算部とからなることを特徴とする。
【００２３】移動体領域が正しく把握できなかった場
合、移動体がずれてデジタル加算されることで判別不能
な画像になってしまう可能性があるが、このように構成
することで移動体部分の画像をピッタリと重ね合わすこ
とができ、ズレのない高画質画像が得られるという効果
がある。
合、移動体がずれてデジタル加算されることで判別不能
な画像になってしまう可能性があるが、このように構成
することで移動体部分の画像をピッタリと重ね合わすこ
とができ、ズレのない高画質画像が得られるという効果
がある。
【００２４】また、請求項５、または６の方法発明を実
現するため第９の発明においては、請求項９に記載した
ように移動体検知部は、連続する２枚の画像の明るさの
変化分を検出する時間差分法、あるいは入力画像とあら
かじめ登録しておいた背景画像との変化分を検出する背
景差分法で移動体を検知することを特徴とする。
現するため第９の発明においては、請求項９に記載した
ように移動体検知部は、連続する２枚の画像の明るさの
変化分を検出する時間差分法、あるいは入力画像とあら
かじめ登録しておいた背景画像との変化分を検出する背
景差分法で移動体を検知することを特徴とする。
【００２５】これによって、簡単な構成で移動体を確実
に検知できるという効果がある。
に検知できるという効果がある。
【００２６】
【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態を例示的に詳しく説明する。但しこの実施の形
態に記載されている構成部品の寸法、材質、形状、その
相対配置などは特に特定的な記載がない限りは、この発
明の範囲をそれのみに限定する趣旨ではなく単なる説明
例に過ぎない。
施の形態を例示的に詳しく説明する。但しこの実施の形
態に記載されている構成部品の寸法、材質、形状、その
相対配置などは特に特定的な記載がない限りは、この発
明の範囲をそれのみに限定する趣旨ではなく単なる説明
例に過ぎない。
【００２７】図１は本発明の第１の実施の形態を示した
装置のブロック図で、図２は抽出した移動体領域の説明
図である。図において、１１はＣＣＤカメラなどを用い
た撮像装置、１２は撮像した画像をアナログデジタル変
換するＡ／Ｄ変換部、１３はＡ／Ｄ変換部１２からの入
力画像から移動体を検知する移動体検知部で、これは入
力画像の差分を検出する差分検出部１４、入力画像を記
憶する画像記録部１５、移動体判別部１６でできてい
る。
装置のブロック図で、図２は抽出した移動体領域の説明
図である。図において、１１はＣＣＤカメラなどを用い
た撮像装置、１２は撮像した画像をアナログデジタル変
換するＡ／Ｄ変換部、１３はＡ／Ｄ変換部１２からの入
力画像から移動体を検知する移動体検知部で、これは入
力画像の差分を検出する差分検出部１４、入力画像を記
憶する画像記録部１５、移動体判別部１６でできてい
る。
【００２８】差分検出部１４は、連続する２枚の画像の
明るさの差分をとる時間差分法、もしくはあらかじめ登
録しておいた背景との差分をとる背景差分法のいずれか
で両画像の明るさの差分をとり、結果を移動体判別部１
６に送る。移動体判別部１６は、差分検出部１４の検出
結果から入力画像に移動体があるかどうか判別するもの
で、基本的に明るさに差が出たところは移動体と判別す
る。
明るさの差分をとる時間差分法、もしくはあらかじめ登
録しておいた背景との差分をとる背景差分法のいずれか
で両画像の明るさの差分をとり、結果を移動体判別部１
６に送る。移動体判別部１６は、差分検出部１４の検出
結果から入力画像に移動体があるかどうか判別するもの
で、基本的に明るさに差が出たところは移動体と判別す
る。
【００２９】１７は移動体と判別された領域に略外接す
る四角形を移動体領域とする移動体領域抽出部、１８は
移動体領域と残余の背景画像をそれぞれ重ね合わせてデ
ジタル加算し、その結果を組み合わせて表示装置２１に
送る画像加算部で、これは加算部１９、画像記録部２０
でできている。
る四角形を移動体領域とする移動体領域抽出部、１８は
移動体領域と残余の背景画像をそれぞれ重ね合わせてデ
ジタル加算し、その結果を組み合わせて表示装置２１に
送る画像加算部で、これは加算部１９、画像記録部２０
でできている。
【００３０】今図５の時間ｔＲで、撮像装置１１からＡ
／Ｄ変換部１２にＩ（ｔＲ）の入力画像が来ると、この
入力画像はＡ／Ｄ変換されて移動体検知部１３の差分検
出部１４と画像記録部１５に送られ、画像記録部１５に
記録される。差分検出部１４に送られた入力画像は、画
像記録部１５に記録されている一つ前の画像Ｉ（ｔＲ
−１）との差分（時間差分）、もしくはあらかじめ登録
されている背景画像との差分（背景差分）がとられ、結
果が移動体判別部１６に送られる。
／Ｄ変換部１２にＩ（ｔＲ）の入力画像が来ると、この
入力画像はＡ／Ｄ変換されて移動体検知部１３の差分検
出部１４と画像記録部１５に送られ、画像記録部１５に
記録される。差分検出部１４に送られた入力画像は、画
像記録部１５に記録されている一つ前の画像Ｉ（ｔＲ
−１）との差分（時間差分）、もしくはあらかじめ登録
されている背景画像との差分（背景差分）がとられ、結
果が移動体判別部１６に送られる。
【００３１】移動体判別部１６は、この結果から明るさ
に差のある部分が移動体かどうか判別し、結果を移動体
領域抽出部１７に送る。入力画像に移動体があるという
結果の場合、移動体領域抽出部１７は明るさに差の出た
部分に略外接する四角形の領域を、図２のＩ（ｔＲ）の
Ｒ（ｔＲ）のように移動体領域として抽出し、結果を画
像加算部１８の加算部１９と画像記録部２０に送り、画
像記録部２０に記録する。
に差のある部分が移動体かどうか判別し、結果を移動体
領域抽出部１７に送る。入力画像に移動体があるという
結果の場合、移動体領域抽出部１７は明るさに差の出た
部分に略外接する四角形の領域を、図２のＩ（ｔＲ）の
Ｒ（ｔＲ）のように移動体領域として抽出し、結果を画
像加算部１８の加算部１９と画像記録部２０に送り、画
像記録部２０に記録する。
【００３２】そして図５の時間ｔＲ＋１で、撮像装置１
１からＡ／Ｄ変換部１２にＩ（ｔＲ ＋１）の入力画像が
来ると上記したのと全く同じ処理がなされ、図２におけ
るＩ（ｔＲ＋１）のＲ（ｔＲ＋１）のように移動体領域
が抽出され、結果が画像加算部１８の加算部１９に送ら
れる。
１からＡ／Ｄ変換部１２にＩ（ｔＲ ＋１）の入力画像が
来ると上記したのと全く同じ処理がなされ、図２におけ
るＩ（ｔＲ＋１）のＲ（ｔＲ＋１）のように移動体領域
が抽出され、結果が画像加算部１８の加算部１９に送ら
れる。
【００３３】すると加算部１９は、画像記録部２０に記
録されている図２の移動体領域Ｒ（ｔＲ）を含む画像Ｉ
（ｔＲ）を読み出し、移動体領域Ｒ（ｔＲ＋１）の中心
ＰＲ ＋１と移動体領域Ｒ（ｔＲ）の中心ＰＲとが一致す
るように両画像を重ね合わせてデジタル加算すると共
に、移動体領域Ｒ（ｔＲ＋１）とＲ（ｔＲ）を除く画像
を背景画像としてデジタル加算し、両加算結果を組み合
わせて図２におけるＪ（ｔＲ＋１）の画像として表示装
置２１に送る。そしてこのＪ（ｔＲ＋１）の画像を画像
記録部２０に記録する。
録されている図２の移動体領域Ｒ（ｔＲ）を含む画像Ｉ
（ｔＲ）を読み出し、移動体領域Ｒ（ｔＲ＋１）の中心
ＰＲ ＋１と移動体領域Ｒ（ｔＲ）の中心ＰＲとが一致す
るように両画像を重ね合わせてデジタル加算すると共
に、移動体領域Ｒ（ｔＲ＋１）とＲ（ｔＲ）を除く画像
を背景画像としてデジタル加算し、両加算結果を組み合
わせて図２におけるＪ（ｔＲ＋１）の画像として表示装
置２１に送る。そしてこのＪ（ｔＲ＋１）の画像を画像
記録部２０に記録する。
【００３４】以下同様に、図５の時間ｔＲ＋２で図２に
おける移動体領域Ｒ（ｔＲ＋２）が抽出され、画像加算
部１８の加算部１９は画像記録部２０に記録されている
Ｊ（ｔＲ＋１）を読み出して、移動体領域Ｒと背景画像
のデジタル加算を実施し、表示装置に表示する。
おける移動体領域Ｒ（ｔＲ＋２）が抽出され、画像加算
部１８の加算部１９は画像記録部２０に記録されている
Ｊ（ｔＲ＋１）を読み出して、移動体領域Ｒと背景画像
のデジタル加算を実施し、表示装置に表示する。
【００３５】このようにすることにより、Ｊ
（ｔＲ＋２）の画像はＩ（ｔＲ＋２）とＩ（ｔ Ｒ＋１）
とＩ（ｔＲ）の移動体領域と背景画像をデジタル加算し
た画像となり、以下同じことを繰り返すことによって複
数の入力画像をデジタル加算した画像が順次得られてゆ
く。
（ｔＲ＋２）の画像はＩ（ｔＲ＋２）とＩ（ｔ Ｒ＋１）
とＩ（ｔＲ）の移動体領域と背景画像をデジタル加算し
た画像となり、以下同じことを繰り返すことによって複
数の入力画像をデジタル加算した画像が順次得られてゆ
く。
【００３６】なお、移動体領域Ｒがノイズなどにより正
しく抽出されなかった場合、デジタル加算した画像はぼ
けたものになる。図３は、このようなことに対処した本
発明の第２の実施の形態を示した装置のブロック図で、
図１と同じ構成要素には同一番号を付した。また図４
は、図３のマッチング処理部３０のマッチング処理を説
明するための図である。
しく抽出されなかった場合、デジタル加算した画像はぼ
けたものになる。図３は、このようなことに対処した本
発明の第２の実施の形態を示した装置のブロック図で、
図１と同じ構成要素には同一番号を付した。また図４
は、図３のマッチング処理部３０のマッチング処理を説
明するための図である。
【００３７】今図４のようにノイズなどによって、移動
体領域ＲがＲ（ｔＲ）とＲ（ｔＲ＋ １）とで大きさが異
なったり、大きさは同じでも中心がずれたりした場合、
マッチング処理部３０で片方の移動体領域Ｒ（ｔＲ）を
微少距離ずらして明るさの差をとり、その絶対値をすべ
て加算して和が最小になるずらし量をパターンマッチン
グ法等で求め、このずらし量に対応させて前記２つの移
動体領域Ｒ（ｔＲ）とＲ（ｔＲ＋１）をデジタル加算す
る。
体領域ＲがＲ（ｔＲ）とＲ（ｔＲ＋ １）とで大きさが異
なったり、大きさは同じでも中心がずれたりした場合、
マッチング処理部３０で片方の移動体領域Ｒ（ｔＲ）を
微少距離ずらして明るさの差をとり、その絶対値をすべ
て加算して和が最小になるずらし量をパターンマッチン
グ法等で求め、このずらし量に対応させて前記２つの移
動体領域Ｒ（ｔＲ）とＲ（ｔＲ＋１）をデジタル加算す
る。
【００３８】すなわち今、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであ
り、ｌ１、ｌ２の値を−Ｌ〜Ｌの間で変化させながら、
り、ｌ１、ｌ２の値を−Ｌ〜Ｌの間で変化させながら、
【数１】 におけるＣ（ｌ１、ｌ２）を最小にするｌ’１、ｌ’２
を求め、この値を用いて次の（２）式によりデジタル加
算を行うと、移動体の画像がピッタリ重なった加算がで
きる。ｌ’１、ｌ’２を求める方法としては、このパタ
ーンマッチング法以外にも、時間的勾配法も適用可能で
ある。 Ｒ’（ｔＲ＋１）＝１／２｛Ｒ（ｔＲ＋１、ｍ、ｎ）＋Ｒ（ｔＲ、ｍ＋ｌ’１ 、ｎ＋ｌ’２）｝ ………………………（２）
を求め、この値を用いて次の（２）式によりデジタル加
算を行うと、移動体の画像がピッタリ重なった加算がで
きる。ｌ’１、ｌ’２を求める方法としては、このパタ
ーンマッチング法以外にも、時間的勾配法も適用可能で
ある。 Ｒ’（ｔＲ＋１）＝１／２｛Ｒ（ｔＲ＋１、ｍ、ｎ）＋Ｒ（ｔＲ、ｍ＋ｌ’１ 、ｎ＋ｌ’２）｝ ………………………（２）
【００３９】なお、Ｒ’（ｔＲ＋２）については、Ｒ’
（ｔＲ＋１）とＲ（ｔＲ＋２）でマッチング処理を行
い、Ｒ’（ｔＲ＋２）を生成する。これを繰り返すと、
ずれのない高画質な画像が得られる。
（ｔＲ＋１）とＲ（ｔＲ＋２）でマッチング処理を行
い、Ｒ’（ｔＲ＋２）を生成する。これを繰り返すと、
ずれのない高画質な画像が得られる。
【００４０】これを図３に基づいて説明すると、移動体
領域Ｒ（ｔＲ）が抽出されてその画像が画像記録部２０
に記憶され、次の入力画像Ｉ（ｔＲ＋１）の移動体領域
Ｒ（ｔＲ＋１）が抽出されると、マッチング処理部３０
は画像記録部２０に記憶されている移動体領域Ｒ
（ｔＲ）を読み出し、両移動体領域をｌ１、ｌ２だけず
らして式（１）によりＣ（ｌ１、ｌ２）を計算する。そ
してこのＣ（ｌ１、ｌ２）が最小になるｌ’１、ｌ’２
をパターンマッチング法等で求め、両移動体領域Ｒをこ
のｌ’１、ｌ’２だけずらしてデジタル加算するよう加
算部１９に指示する。
領域Ｒ（ｔＲ）が抽出されてその画像が画像記録部２０
に記憶され、次の入力画像Ｉ（ｔＲ＋１）の移動体領域
Ｒ（ｔＲ＋１）が抽出されると、マッチング処理部３０
は画像記録部２０に記憶されている移動体領域Ｒ
（ｔＲ）を読み出し、両移動体領域をｌ１、ｌ２だけず
らして式（１）によりＣ（ｌ１、ｌ２）を計算する。そ
してこのＣ（ｌ１、ｌ２）が最小になるｌ’１、ｌ’２
をパターンマッチング法等で求め、両移動体領域Ｒをこ
のｌ’１、ｌ’２だけずらしてデジタル加算するよう加
算部１９に指示する。
【００４１】そのため加算部１９は、指示された量だけ
移動体領域Ｒ（ｔＲ）とＲ（ｔＲ＋ １）をずらしてデジ
タル加算し、前記したように残余の背景画像もデジタル
加算して両加算結果を組み合わせ、表示装置２１に送る
と共に画像記録部２０に記録する。そして次の移動体領
域Ｒ（ｔＲ＋２）は、このマッチング処理してデジタル
加算した画像と加算され、これが繰り返される。
移動体領域Ｒ（ｔＲ）とＲ（ｔＲ＋ １）をずらしてデジ
タル加算し、前記したように残余の背景画像もデジタル
加算して両加算結果を組み合わせ、表示装置２１に送る
と共に画像記録部２０に記録する。そして次の移動体領
域Ｒ（ｔＲ＋２）は、このマッチング処理してデジタル
加算した画像と加算され、これが繰り返される。
【００４２】以下、前記したように移動体領域の抽出と
マッチング処理、及びデジタル加算が繰り返され、移動
体を含んだ高画質な画像が得られる。
マッチング処理、及びデジタル加算が繰り返され、移動
体を含んだ高画質な画像が得られる。
【００４３】
【発明の効果】以上記載の如く、請求項１に記載した発
明により、単に画像蓄積をおこなっただけではぼけてし
まう移動体が、デジタル加算でノイズが相殺され、高画
質化できるという効果がある。
明により、単に画像蓄積をおこなっただけではぼけてし
まう移動体が、デジタル加算でノイズが相殺され、高画
質化できるという効果がある。
【００４４】また請求項２に記載した発明により、何ら
かの理由で移動体領域が正しく把握できなかった場合、
移動体がずれてデジタル加算されることで判別不能な画
像になってしまうことを防止し、移動体部分の画像をピ
ッタリと重ね合わせてズレのない高画質画像が得られる
という効果がある。
かの理由で移動体領域が正しく把握できなかった場合、
移動体がずれてデジタル加算されることで判別不能な画
像になってしまうことを防止し、移動体部分の画像をピ
ッタリと重ね合わせてズレのない高画質画像が得られる
という効果がある。
【００４５】また背景部分については、請求項３、およ
び請求項４に記載した発明により、移動体領域以外の残
余の部分をデジタル加算することで、移動体と背景画像
が両方とも高画質化された映像が得られるという効果が
ある。
び請求項４に記載した発明により、移動体領域以外の残
余の部分をデジタル加算することで、移動体と背景画像
が両方とも高画質化された映像が得られるという効果が
ある。
【００４６】また、移動体の検知手段は、請求項５、お
よび請求項６に記載した発明により、連続する２枚の画
像の明るさの変化分を検出する時間差分法と、入力画像
をあらかじめ登録しておいた背景画像との変化分を検出
する背景差分法のいづれかを採用し、これによって、簡
単な構成で移動体を確実に検知できるという効果があ
る。
よび請求項６に記載した発明により、連続する２枚の画
像の明るさの変化分を検出する時間差分法と、入力画像
をあらかじめ登録しておいた背景画像との変化分を検出
する背景差分法のいづれかを採用し、これによって、簡
単な構成で移動体を確実に検知できるという効果があ
る。
【００４７】また、請求項３に記載した方法発明を実現
するための構成である請求項７の発明により、単に画像
蓄積をおこなっただけではぼけてしまう移動体が、デジ
タル加算でノイズが相殺され、かつ、背景画像も高画質
化された映像が簡単な構成で得ることができるという効
果がある。
するための構成である請求項７の発明により、単に画像
蓄積をおこなっただけではぼけてしまう移動体が、デジ
タル加算でノイズが相殺され、かつ、背景画像も高画質
化された映像が簡単な構成で得ることができるという効
果がある。
【００４８】また、請求項４に記載した方法発明を実現
するための構成である請求項８の発明により、移動体領
域が正しく把握できなかった場合でも、移動体部分の画
像をピッタリと重ね合わすことができ、ズレのない高画
質画像が得られるという効果がある。
するための構成である請求項８の発明により、移動体領
域が正しく把握できなかった場合でも、移動体部分の画
像をピッタリと重ね合わすことができ、ズレのない高画
質画像が得られるという効果がある。
【００４９】また、請求項５、または６の方法発明を実
現する請求項９の発明により、簡単な構成で移動体を確
実に検知できるという効果がある。
現する請求項９の発明により、簡単な構成で移動体を確
実に検知できるという効果がある。
【００５０】以上、種々述べてきたように本発明によれ
ば、低照度な場所で移動する物体を、カメラゲインをあ
げてノイズが増大するにも関わらず高画質で表示でき、
画像監視装置などに利用すれば大きな効果が得られるも
のである。
ば、低照度な場所で移動する物体を、カメラゲインをあ
げてノイズが増大するにも関わらず高画質で表示でき、
画像監視装置などに利用すれば大きな効果が得られるも
のである。
【図１】 本発明の第１実施形態に係る移動体画像の高
画質化装置のブロック図である。
画質化装置のブロック図である。
【図２】 図１の移動体領域抽出部で抽出した移動体領
域の説明図である。
域の説明図である。
【図３】 本発明の第２実施形態に係る移動体画像の高
画質化装置のブロック図である。
画質化装置のブロック図である。
【図４】 移動体領域を正しく把握できなかったときの
説明図である。
説明図である。
【図５】 撮像した画像を蓄積する方法の説明図であ
る。
る。
【図６】 移動物体を画像蓄積法で撮像したときの説明
図である。
図である。
１１ 撮像装置 １２ Ａ／Ｄ変換部 １３ 移動体検知部 １４ 差分検出部 １５ 画像記録部 １６ 移動体判別部 １７ 移動体領域抽出部 １８ 画像加算部 １９ 加算部 ２０ 画像記録部 ２１ 表示装置 ３０ マッチング処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 日浦 誠一 愛知県小牧市大字東田中1200番地 三菱重 工業株式会社名古屋誘導推進システム製作 所内 Ｆターム(参考） 5C022 AA01 AB06 AB37 AC42 AC69 5C054 CA04 CA05 CC03 EA01 EJ05 GA04 GB11 GB14 GD04 GD05 GD09 HA05 HA18 HA26
Claims (9)
- 【請求項１】 撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する方法において、入力画像における
移動体を検知して移動体領域を抽出し、複数入力画像の
前記移動体領域を中心が一致するように重ね合わせなが
らデジタル加算することを特徴とする移動体画像の高画
質化方法。 - 【請求項２】 撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する方法において、入力画像における
移動体を検知して移動体領域を抽出すると共に、前後す
る移動体領域の中心を少しずつずらして明るさの変化分
を検出し、その変化分の絶対値が最も小さくなるずらし
量で移動体領域を重ね合わせてデジタル加算することを
特徴とする移動体画像の高画質化方法。 - 【請求項３】 撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する方法において、入力画像における
移動体を検知して移動体領域を抽出し、複数入力画像の
前記移動体領域を中心が一致するように重ね合わせなが
らデジタル加算することで移動体領域の高画質化画像を
得ると共に、残余の背景画像をそのままデジタル加算
し、該デジタル加算した背景画像と前記移動体領域の高
画質化画像とを組み合わせて出力画像とすることを特徴
とする移動体画像の高画質化方法。 - 【請求項４】 撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する方法において、入力画像における
移動体を検知して移動体領域を抽出すると共に、前後す
る移動体領域の中心を少しずつずらして明るさの変化分
を検出し、その変化分の絶対値が最も小さくなるずらし
量で移動体領域を重ね合わせてデジタル加算することで
移動体領域の高画質化画像を得ると共に、残余の背景画
像をそのままデジタル加算し、該デジタル加算した背景
画像と前記移動体領域の高画質化画像とを組み合わせて
出力画像とすることを特徴とする移動体画像の高画質化
方法。 - 【請求項５】 移動体の検知手段は、連続する２枚の画
像の明るさの変化分を検出する時間差分法であることを
特徴とする請求項１または２、または３、または４に記
載した移動体画像の高画質化方法。 - 【請求項６】 移動体の検知手段は、入力画像とあらか
じめ登録しておいた背景画像との変化分を検出する背景
差分法であることを特徴とする請求項１または２、また
は３、または４に記載した移動体画像の高画質化方法。 - 【請求項７】 撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する装置において、撮像装置が撮像し
た２枚の入力画像の差分をとって移動体を検知する移動
体検知部と、該移動体検知部が検知した移動体の領域を
抽出する移動体領域抽出部と、該移動体領域抽出部が抽
出した複数入力画像の移動体領域を中心が一致するよう
に重ね合わせてデジタル加算して高画質化移動体領域画
像とすると共に、残余の背景画像をそのままデジタル加
算し、該デジタル加算した背景画像と前記移動体領域の
高画質化画像とを組み合わせて出力する画像加算部とか
らなることを特徴とする移動体画像の高画質化装置。 - 【請求項８】 撮像装置で撮像した低照度の入力画像を
蓄積して高画質化する装置において、撮像装置で撮像し
た２枚の入力画像の差分をとって移動体を検知する移動
体検知部と、該移動体検知部が検知した移動体の領域を
抽出する移動体領域抽出部と、該移動体領域抽出部が抽
出した前後する移動体領域を中心を少しずつずらして明
るさの変化分を検出し、その変化分の絶対値が最も小さ
くなるずらし量で移動体領域をデジタル加算するよう指
示するマッチング処理部と、複数入力画像の前記マッチ
ング処理部が指示したずらし量で移動体領域を重ね合わ
せてデジタル加算して高画質化移動体領域画像とすると
共に、残余の背景画像をそのままデジタル加算し、該デ
ジタル加算した背景画像と前記移動体領域の高画質化画
像を組み合わせて出力する画像加算部とからなることを
特徴とする移動体画像の高画質化装置。 - 【請求項９】 移動体検知部は、連続する２枚の画像の
明るさの変化分を検出する時間差分法、あるいは入力画
像とあらかじめ登録しておいた背景画像との変化分を検
出する背景差分法で移動体を検知することを特徴とする
請求項７または８に記載した移動体画像の高画質化装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000049163A JP4354073B2 (ja) | 2000-02-25 | 2000-02-25 | 移動体画像の高画質化方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000049163A JP4354073B2 (ja) | 2000-02-25 | 2000-02-25 | 移動体画像の高画質化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001238130A true JP2001238130A (ja) | 2001-08-31 |
| JP4354073B2 JP4354073B2 (ja) | 2009-10-28 |
Family
ID=18571141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000049163A Expired - Fee Related JP4354073B2 (ja) | 2000-02-25 | 2000-02-25 | 移動体画像の高画質化方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4354073B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1509040A2 (en) * | 2003-08-20 | 2005-02-23 | Lg Electronics Inc. | Method for managing digital slow shutter mode in monitor camera |
| KR100595084B1 (ko) | 2003-08-20 | 2006-06-30 | 엘지전자 주식회사 | 감시용 카메라에서의 디지털 슬로우 셔터 모드 관리 방법 |
| JP2010035050A (ja) * | 2008-07-30 | 2010-02-12 | Nikon Corp | 電子カメラ |
| KR101161979B1 (ko) | 2010-08-19 | 2012-07-03 | 삼성전기주식회사 | 나이트 비전용 영상 처리 장치 및 방법 |
-
2000
- 2000-02-25 JP JP2000049163A patent/JP4354073B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1509040A2 (en) * | 2003-08-20 | 2005-02-23 | Lg Electronics Inc. | Method for managing digital slow shutter mode in monitor camera |
| KR100595084B1 (ko) | 2003-08-20 | 2006-06-30 | 엘지전자 주식회사 | 감시용 카메라에서의 디지털 슬로우 셔터 모드 관리 방법 |
| JP2010035050A (ja) * | 2008-07-30 | 2010-02-12 | Nikon Corp | 電子カメラ |
| KR101161979B1 (ko) | 2010-08-19 | 2012-07-03 | 삼성전기주식회사 | 나이트 비전용 영상 처리 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4354073B2 (ja) | 2009-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8509481B2 (en) | Image processing apparatus, image processing method, imaging apparatus | |
| JP4984915B2 (ja) | 撮像装置、撮像システム及び撮像方法 | |
| JP3733392B2 (ja) | 画像の構図変化検出方法 | |
| KR100737655B1 (ko) | 화상처리장치 및 감시시스템 | |
| JP5413002B2 (ja) | 撮像装置および方法、並びにプログラム | |
| KR101491170B1 (ko) | 차량 주위 화상 표시 시스템 | |
| JP3300337B2 (ja) | 画像処理装置および監視システム | |
| CN103391424B (zh) | 分析监控摄像机捕获的图像中的对象的方法和对象分析器 | |
| US20100007754A1 (en) | Image processing device, electronic camera and image processing program | |
| US20060274177A1 (en) | Image processing apparatus | |
| KR20140048539A (ko) | 차량의 주변영상을 이용한 객체 인식장치 및 방법 | |
| WO2007129591A1 (ja) | 遮蔽物映像識別装置及び方法 | |
| JP2001238130A (ja) | 移動体画像の高画質化方法及び装置 | |
| JP2005031800A (ja) | 熱画像表示装置 | |
| JP5733588B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2004289709A (ja) | 撮像装置、撮像方法 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP4960442B2 (ja) | アップショット検出装置及び方法、電子機器、並びにコンピュータプログラム | |
| JPH04309078A (ja) | ビデオデータの動き検出装置および方法 | |
| JP2022029717A (ja) | 撮像装置 | |
| JP2008270983A (ja) | 手ぶれ補正装置及び手ぶれ補正方法 | |
| JP5029573B2 (ja) | 撮像装置及び撮像方法 | |
| WO2005024726A1 (ja) | 対象物進行方向検出方法 | |
| JPH1021378A (ja) | 撮像装置及び撮像方法 | |
| US8902360B2 (en) | Method for detecting image sequences having linewise repeated data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090703 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090729 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |