JP2004096504A - 移動物体撮影装置 - Google Patents
移動物体撮影装置 Download PDFInfo
- Publication number
- JP2004096504A JP2004096504A JP2002256060A JP2002256060A JP2004096504A JP 2004096504 A JP2004096504 A JP 2004096504A JP 2002256060 A JP2002256060 A JP 2002256060A JP 2002256060 A JP2002256060 A JP 2002256060A JP 2004096504 A JP2004096504 A JP 2004096504A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- moving
- image processing
- cmos camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】非蓄積型CMOSカメラで撮影した移動物体の画像から移動方向もしくは移動速度を算出することができる移動物体撮影装置を提供する。
【解決手段】本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の歪みを抽出し、歪み方向および歪み量から、移動物体(3)の移動方向および移動速度を算出する。
【選択図】 図1
【解決手段】本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の歪みを抽出し、歪み方向および歪み量から、移動物体(3)の移動方向および移動速度を算出する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、移動物体撮影装置に関し、特に非蓄積型CMOSカメラを用いて、画像から移動物体の移動方向と移動速度を算出する移動物体撮影装置に関する。
【0002】
【従来の技術】
イメージセンサに受光素子を行列に複数配置して、画像を撮影するCMOS(相補性金属酸化膜半導体)を使用したカメラが使用されている。受光素子の各々は、フォトダイオード、アンプを具備する。
CMOSカメラは従来から多く使用されているCCDカメラと比較して、小型・軽量、低消費電力、低コスト、であるというメリットがある。
【0003】
さらに、CMOSカメラは行列方向に複数配列された受光素子に、ランダムにアクセスすることが可能である。具体的には、受光素子のアドレスを指定することにより、自由に撮影可能範囲の一部分、ライン毎、または、ラインの一部の読み出しが可能である。さらに、CMOSカメラでは読み出す画面の大きさや画素数に応じて、単位時間当りの撮像数であるフレームレートが変化する。従って、解像度を下げたり、画像範囲を小さくすれば画像取込速度が速くなる、すなわちフレームレートが速くなる特性を持つ。
CCDカメラは、ライン毎の読み出しが可能な場合があるが、実質的にフレームレートは変わらない。
【0004】
フレームレートが速くなると、単位時間当りに撮影できる画像数が増加し、移動物体を検知、追跡するのに好ましい。
【0005】
さらに、所定の瞬間に撮影した画像を蓄積して読み出す蓄積型CMOSカメラと、各受光素子が受光により発生した電荷を順次読み出して画像を作成する非蓄積型CMOSカメラがある。
蓄積型CMOSカメラは、電子シャッタで指定された瞬間(短時間)に、受光によりフォトダイオードで発生した電荷を、受光素子それぞれに設けられているキャパシタなどに蓄積し、キャパシタに蓄積されている電荷を読み出すことで、その瞬間に撮影された画像を作成する。このため移動物体を歪みなく撮影することができる。しかし、蓄積型CMOSカメラでは、フォトダイオ−ドが、瞬間(短時間)に必要な電荷を発生するために高い照度が必要である。
【0006】
蓄積型CMOSカメラは、瞬間(短時間)に画像を取り込むため、移動物体をボケなく撮影するためには電子シャッタなどのシャッタ機構を搭載する必要がある。蓄積型CMOSカメラで移動物体を撮影するためにシャッタスピードを速くすると、必要な感度が得られない場合がある。逆に、蓄積型CMOSカメラで移動物体を撮影するためにシャッタスピードを遅くすると、画像がボケる場合がある。
さらに、蓄積型CMOSカメラでは、電子シャッタを使用するため、瞬間(短時間)で必要な照度を得るためにストロボ照明を用いる必要がある場合があるが、電子シャッタとストロボを同期するために、タイミング制御等が必要で、回路が複雑化する場合がある。さらに、瞬時に大出力が必要なため照明装置が大型化し、照明装置の重量が増大する場合がある。
【0007】
非蓄積型CMOSカメラは、ストロボより弱い連続光で撮影が可能であること、電子シャッタ等の複雑な機構を必要としないこと、などのメリットがある。
また、非蓄積型CMOSカメラは、広いダイナミックレンジにより、画像内の輝度の差が大きい場合でも、輝度の異なる箇所を一画像に撮影可能である。
【0008】
また、非蓄積型CMOSカメラは、受光素子が発生した電荷を、行や列毎に所定の規則で読み出している。具体的には、指定された受光素子が発生した電荷を、行毎に画像の左から右へ、上の行から下の行へ順に読み出している場合がある。この場合、1枚の画像において左上の素子の電荷が時間的に一番古く、右下の素子の電荷が一番新しい。このため、画像中の移動物体は、上部分が撮影されたときよりも、下部分が撮影されたときの方が、時間が経過している。このため、撮影中に画像中の移動物体が、下方にかけて順次、進行方向に進んでいる。従って、移動物体の移動方向と撮影方向により、移動物体が歪んで撮影される。
撮影される物体の歪みは、移動物体の移動速度と撮影速度に相関がある。
【0009】
また、非蓄積型CMOSカメラは、移動体の撮影時にボケのような残像が残ることがある。これは、受光素子のフォトダイオ−ドの電荷が、新たな画像に対応する電荷に変化が完了する前に読み出されることで発生する。例えば、残像の発生原因の一つに照度の不足の場合がある。照度が高ければ、画像の変化に対応する電荷の変化が早くなり、照度が低ければ、画像の変化に対応する電荷の変化が遅くなる。フォトダイオードの電荷が変化する前に、読み出されると、過去の電荷と新たな電荷との間の電荷が読み出され、クリアな画像とならない。
従って、移動体の画像の残像発生は、照度、移動物体の速度、撮影速度、移動物体のカメラに対する移動角度(以下、画角)等に影響を受ける。
このため、照度、撮影速度(ピクセルレート)、画角が既知であれば、残像のずれ量から、移動物体の速度を演算できる。
【0010】
非蓄積型CMOSカメラで撮影した移動物体の画像の歪みまたは残像から、移動物体の移動方向および移動速度が演算されることが好ましい。
【0011】
【発明が解決しようとする課題】
本発明の目的は、非蓄積型CMOSカメラで撮影した移動物体の画像から移動方向もしくは移動速度を算出することができる移動物体撮影装置を提供することにある。
【0012】
【課題を解決するための手段】
以下に、[発明の実施の形態]で使用する番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、[特許請求の範囲]の記載と[発明の実施の形態]の記載との対応関係を明らかにするために付加されたものであるが、[特許請求の範囲]に記載されている発明の技術的範囲の解釈に用いてはならない。
【0013】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の歪みを抽出し、歪み方向から、移動物体の移動方向を算出する。
【0014】
本発明の移動物体撮影装置の画像処理部(2)は、移動物体に含まれる既知の形状を有する基準形状の歪みを抽出して、移動物体の移動方向を算出する。基準形状は、車両に付属するナンバープレートに例示される。
【0015】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の歪みを抽出し、歪みの歪み方向と歪み量から、移動物体の移動速度を算出する。
【0016】
本発明の移動物体撮影装置の画像処理部(2)は、移動物体に含まれる既知の形状を有する基準形状の歪みを抽出して、移動物体の移動速度を算出する。基準形状は、車両に付属するナンバープレートに例示される。
【0017】
本発明の移動物体撮影装置の画像処理部(2)は、撮影速度から、一画像中の移動物体の部分の最初に撮影された部分と最後に撮影された部分の撮影時間の差である撮影時間差を算出し、撮影時間差と歪みの歪み方向と歪み量から、移動物体の移動速度を算出する。撮影速度は、一画素あたりの読出し速度であるピクセルレートである。
【0018】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の残像を抽出して、実際の画像に対する残像の位置から、移動物体の移動方向を算出する。
残像は、画像中の移動物体がボケることにより発生する。
【0019】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の残像を抽出して、実際の画像に対する残像の位置とずれ量から、移動物体の移動速度を算出する。
【0020】
本発明の移動物体撮影装置の画像処理部(2)は、さらに、撮影速度、照度、移動物体の画像中の位置の少なくとも一つを使用し、移動物体の移動方向と移動速度の少なくともいずれかを算出する。撮影速度は、一画素あたりの読出し速度であるピクセルレートである。
【0021】
【発明の実施の形態】
添付図面を参照して、本発明による移動物体撮影装置の実施の形態を以下に説明する。
【0022】
(実施の形態1)
図1を参照して、移動物体撮影装置の構成の例が説明される。
実施の形態1では、非蓄積型CMOSカメラが撮影した画像の移動物体の歪みから、移動物体の移動方向と移動速度を算出する例が示される。
【0023】
移動物体撮影装置は、非蓄積型CMOSカメラ1、画像処理装置2を具備する。
画像処理部2は、速度・移動方向演算部21を具備する。
【0024】
非蓄積型CMOSカメラ1は、所定の範囲を撮影するよう設置され、所定の範囲内を移動する移動物体3を撮影する。図1では移動物体3の例として車両が示されているが、車両に限定されない。
【0025】
CMOSカメラが具備するイメージセンサは、受光素子が行列に複数配置されている。各受光素子は、フォトダイオード、アンプを具備する。
さらに、CMOSカメラは行列方向に複数配列された受光素子に、ランダムにアクセスすることが可能である。具体的には、読み出す受光素子のアドレスを指定することで、自由に撮影可能範囲の一部分、ライン毎、および、ラインの一部の読み出しが可能である。さらに、CMOSカメラでは読み出す画像の大きさや画素数に応じて、単位時間当りの撮像数であるフレームレートが変化する。従って、解像度を下げたり、画像範囲を小さくすれば画像取込速度が速くなる、すなわちフレームレートが速くなる特性を持つ。フレームレートが速くなると、単位時間当りに撮影できる画像数が増加し、移動物体を検知、追跡するのに好ましい。
【0026】
さらに、非蓄積型CMOSカメラ1は、蓄積型のカメラより弱い連続光で撮影が可能であること、電子シャッタ等の複雑な機構を必要としないこと、などのメリットを有する。
また、非蓄積型CMOSカメラ1は、広いダイナミックレンジを有することにより、画像内の輝度の差が大きい場合でも、輝度の異なる複数の箇所を一画像に判別可能に撮影することができる。
【0027】
また、非蓄積型CMOSカメラ1は、受光素子が発生した電荷を、行や列毎に所定の規則で読み出している。具体的には、指定された受光素子が発生した電荷を、行毎に画像の左から右へ、上の行から下の行へ順に読み出している場合がある。この場合、1枚の画像において左上の素子の電荷が時間的に一番古く、右下の素子の電荷が一番新しい。このため、画像中の移動物体は、上部分が撮影されたときよりも、下部分が撮影されたときの方が、時間が経過している。このため、撮影中に画像中の移動物体が、下方にかけて順次、進行方向に進んでいる。従って、移動物体の移動方向と走査方向により、移動物体が歪んで撮影される。
撮影される物体の歪みは、移動物体の移動速度と、移動物体のカメラに対する移動方向およびカメラに対する距離により決定される画角、撮影速度(ピクセルレート)に相関がある。
【0028】
図2に、非蓄積型CMOSカメラ1で撮影された画像の例が示される。
静止している長方形の物体5を撮影した場合、図2(a)の画像4に示されるような画像が得られる場合を想定する。
この物体5が、撮影時に画像の左から右に移動している場合で、かつ、非蓄積型CMOSカメラ1が、行6ごとに画像の左から右へ、上の行6から下の行6へ順に読み出している場合、物体5は図2(b)の物体5’のように下方にかけて順次、進行方向に進んで撮影される。このように撮影の時間差により歪みが発生する。
従って、歪み量は、画像を撮影する速度(ピクセルレート)、移動物体のカメラに対する移動方向およびカメラに対する距離により決定される画角、および移動する物体の速度と相関がある。
【0029】
画像処理装置2は、速度・移動方向演算部21を具備する。
【0030】
画像処理装置2は、非蓄積型CMOSカメラ1が撮影した画像を処理して、画像中の移動物体の抽出、移動物体の判定、所定の範囲に移動物体が進入したことの検知をすることができる。
画像処理装置2は、画像から得た移動物体の情報を、監視装置やその他の装置に送信することができる。
【0031】
画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
画像処理装置2は、所定の物体の特徴量を記憶し、記憶されている物体の特徴量と撮影された移動物体の特徴量を比較して、移動物体が何であるか判定する。画像処理装置2は、画像中の移動物体の位置から、所定の範囲に移動物体が進入したことを検知する。
【0032】
さらに、画像処理装置2は、移動物体の画像に含まれる基準形状となる既知の形状を抽出することができる。
既知の形状は、事前に特定の物体に含まれる基準となる基準形状が、画像処理装置2に記憶され、判定された移動物体が特定の物体で基準形状を含んでいる場合に、その物体に含まれる基準形状が抽出される。
【0033】
非蓄積型CMOSカメラ1は、受光素子にランダムにアクセスすることが可能なので、画像処理装置2は、画像中の読み出す範囲の指定、高解像度と低解像度の撮影切替、単位時間の画像撮影数であるフレームレートの変更等をすることができる。画像処理装置2は、撮影速度であるピクセルレートと移動物体の画像の領域から、画像の最初に撮影された行と、最後に撮影された行の時間差を算出することができる。
【0034】
速度・移動方向演算部21は、抽出された基準形状と記憶されている基準形状を比較し、歪み量を抽出する。基準形状の歪みは、基準形状のカメラに対する角度や、画像中の位置により発生する場合もあるので、カメラに対する基準形状の角度や基準形状の画面中の位置が考慮され、非蓄積型CMOSカメラ1の撮像時間差による歪みだけが抽出されることが好ましい。
【0035】
図3に、歪み量の例が示される。(a)に示される長方形の物体10が基準形状である場合に、画面中に物体10が(b)の物体11のように撮影されていた場合、歪み量εが測定される。
【0036】
速度・移動方向演算部21は、さらに、物体11を撮影したときの撮影速度(ピクセルレート)から移動物体の部分が撮影された初めのと終わりの時間差を算出し、歪み量εと時間差から物体11の速度を演算する。さらに、歪みの方向から物体11移動方向を判断する。
具体的には、移動物体画像の最初に撮影された行とから最後に撮影された行の間に撮影された画素数を、一画素あたりの読出し速度であるピクセルレートで割り移動物体部分の撮影時間を算出する。さらに、歪み量の画素数を移動物体部分の撮影時間で割り、移動物体の画像中での歪み速度を算出する。画像中の長さと実際の長さは、画角により決定されるので、歪み速度から、実際の速度を演算することができる。
【0037】
図4に物体の移動方向と歪みの発生の概要が示される。
本例では、非蓄積型CMOSカメラ1のイメージセンサを、行毎に右から左へ、上の行から下の行へ走査して画像を撮影している場合を仮定する。物体13aは、高さαの長方形である。
図4の物体13aが、画像に対して下から上へ移動している場合、物体13bのように、上下の長さが縮んで撮影される。物体13bの速度は、縮み量βと時間差から求めることができる。
図4の物体13aが、画像に対して上から下へ移動している場合、物体13cのように、上下の長さが伸びて撮影される。物体13cの速度は、伸び量γと時間差から求めることができる。
図4の物体13aが、画像に対して右から左へ移動している場合、物体13dのように、下側が左方向に歪んで撮影される。物体13dの速度は、歪み量δと時間差から求めることができる。
図4の物体13aが、画像に対して左から右へ移動している場合、物体13eのように、下側が右方向に歪んで撮影される。物体13eの速度は、歪み量εと時間差から求めることができる。
上記の他、移動物体が画面を斜めに移動する場合も、縦方向と横方向の速度と方向を別々に求め、ベクトルを合成することで、速度と方向を求めることができる。
【0038】
(動作)
図6を参照して、移動物体撮影装置の動作が説明される。
非蓄積型CMOSカメラ1が移動物体を撮影し(S1)、画像を画像処理部2へ送信する。画像処理部2は、非蓄積型CMOSカメラ1から画像を受信し、画像から移動物体を抽出する(S2)。画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
【0039】
画像処理部2は、移動物体の特徴量と記憶している物体の特徴量から移動物体が何であるか判別し、さらに、その判別した物体が具備している既知形状である基準形状を画像から抽出する(S3)。具体的には、移動物体が車両の場合、基準形状はナンバープレートの場合がある。
【0040】
画像処理部2は、記憶されている基準形状と画像中の基準形状とを比較し、歪み方向と歪み量を抽出する(S4)。基準形状を撮影したときの基準形状と非蓄積型CMOSカメラ1の角度、基準形状の画像中の位置などにより基準形状が歪んで撮影される場合は、撮影による歪みが考慮され、移動による歪みだけが抽出される。撮影による歪みは、事前に角度や位置を変化させて撮影した情報から算出される。さらに、画像処理部2は、画像中の移動物体の位置や移動方向から画角の情報を抽出する。
画像処理部2は、ピクセルレートD1から移動物体の画像の撮影の時間差を算出し、画角と、歪み方向、歪み量から、移動物体の移動方向と速度を演算する(S5)。
移動物体の移動方向と速度は、他の装置に送信される(S6)。具体的に、他の装置は、通行料金自動課金システムや監視装置である。
【0041】
上記の移動物体撮影装置のように、非蓄積型CMOSカメラ1で移動物体を撮影し、画像から移動物体の移動方向および速度を算出することにより、速度センサなどのセンサを設置する必要がない。また、一の画像から移動方向および移動速度を算出できるので、フレームレートに対して移動物体の移動速度が速く、複数の画像を撮影できない場合でも、移動方向および速度の算出をすることができる。
【0042】
本例の移動物体撮影装置は、車両検知・車番認識装置、交通監視装置、侵入者監視装置などに好適に使用される。
【0043】
(実施の形態2)
実施の形態2の構成は、実施の形態1と同様で、図1に示される。
実施の形態2では、非蓄積型CMOSカメラが撮影した画像の移動物体のボケから、移動物体の移動方向と移動速度を算出する例が示される。
【0044】
移動物体撮影装置は、非蓄積型CMOSカメラ1、画像処理装置2を具備する。
画像処理部2は、速度・移動方向演算部21を具備する。
【0045】
非蓄積型CMOSカメラ1は、所定の範囲を撮影するよう設置され、所定の範囲内を移動する移動物体3を撮影する。図1では移動物体3の例として車両が示されているが、車両に限定されない。
【0046】
CMOSカメラが具備するイメージセンサは、受光素子が行列に複数配置されている。各受光素子は、フォトダイオード、アンプを具備する。
さらに、CMOSカメラは行列方向に複数配列された受光素子に、ランダムにアクセスすることが可能である。具体的には、読み出す受光素子のアドレスを指定することで、自由に撮影可能範囲の一部分、ライン毎、および、ラインの一部の読み出しが可能である。さらに、CMOSカメラでは読み出す画像の大きさや画素数に応じて、単位時間当りの撮像数であるフレームレートが変化する。従って、解像度を下げたり、画像範囲を小さくすれば画像取込速度が速くなる、すなわちフレームレートが速くなる特性を持つ。フレームレートが速くなると、単位時間当りに撮影できる画像数が増加し、移動物体を検知、追跡するのに好ましい。
【0047】
さらに、非蓄積型CMOSカメラ1は、蓄積型のカメラより弱い連続光で撮影が可能であること、電子シャッタ等の複雑な機構を必要としないこと、などのメリットを有する。
また、非蓄積型CMOSカメラ1は、広いダイナミックレンジを有することにより、画像内の輝度の差が大きい場合でも、輝度の異なる複数の箇所を一画像に判別可能に撮影することができる。
【0048】
非蓄積型CMOSカメラ1では、移動物体を撮影した場合に特有のボケが撮影される場合がある。
ボケは、受光素子のフォトダイオ−ドの電荷が、新たな画像に対応する電荷に変化が完了する前に読み出されることで発生する。例えば、ボケの発生原因の一つに照度の不足の場合がある。照度が高ければ、画像の変化に対応する電荷の変化が早くなり、照度が低ければ、画像の変化に対応する電荷の変化が遅くなる。フォトダイオードの電荷が変化する前に、読み出されると、過去の電荷と新たな電荷との間の電荷が読み出され、クリアな画像とならない。
従って、移動体の画像のボケ発生は、照度、移動物体の速度、移動物体のカメラに対する距離および移動角度(以下、画角)等に影響を受ける。
このため、照度、画角が既知であれば、ボケ量から、移動物体の速度を演算できる。演算には一画素あたりの読出し速度であるピクセルレートも使用される。
【0049】
図5に、非蓄積型CMOSカメラ1で撮影された画像の例が示される。
この物体14が、撮影時に画像4の左から右に移動している場合で、かつ、非蓄積型CMOSカメラ1が、行6ごとに画像の左から右へ、上の行6から下の行6へ順に読み出している場合、物体14は図5のように下方にかけて順次、進行方向に進んで撮影される。この撮影の時間差により歪みが発生する。さらに、物体14の画像にはボケ12が残る場合がある。
ボケ量は、移動する物体の速度、画角および照度と相関がある。
【0050】
画像処理装置2は、速度・移動方向演算部21を具備する。
画像処理装置2は、非蓄積型CMOSカメラ1が撮影した画像を処理して、画像中の移動物体の抽出、移動物体の判定、所定の範囲に移動物体が進入したことの検知をすることができる。
画像処理装置2は、画像から得た移動物体の情報を、監視装置やその他の装置に送信することができる。
【0051】
画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
画像処理装置2は、所定の物体の特徴量を記憶し、記憶されている物体の特徴量と撮影された移動物体の特徴量を比較して、移動物体が何であるか判定する。画像処理装置2は、画像中の移動物体の位置から、所定の範囲に移動物体が進入したことを検知する。
さらに、画像処理装置2は、移動物体の画像に含まれるボケ12を抽出することができる。
また、画像処理装置2は、移動物体の画像中の位置や移動方向、大きさからが書く情報を抽出することができる。
【0052】
非蓄積型CMOSカメラ1は、受光素子にランダムにアクセスすることが可能なので、画像処理装置2は、画像中の読み出す範囲の指定、高解像度と低解像度の撮影切替、単位時間の画像撮影数であるフレームレートの変更等をすることができる。このため、画像により画素数が変化する。画像処理装置2は、必要な部分の画素数を算出することができる。
【0053】
速度・移動方向演算部21は、ボケの画像における、ボケの発生位置から、移動物体の移動方向を特定することができる。さらに、ボケ量と、照度、画角から移動物体の速度を算出することができる。
速度・移動方向演算部21は、撮影速度および画角を、画像処理装置2から受信する。速度・移動方向演算部21は、画像処理装置2が画像から算出した照度もしくは、照度センサ(図示なし)で検出した照度を受信する。
【0054】
(動作)
図7を参照して、移動物体撮影装置の動作が説明される。
非蓄積型CMOSカメラ1が移動物体を撮影し(P1)、画像を画像処理部2へ送信する。画像処理部2は、非蓄積型CMOSカメラ1から画像を受信し、画像から移動物体を抽出する(P2)。画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
【0055】
画像処理部2は、移動物体のボケ12を抽出する(P3)。さらに、画像処理部2の速度・移動方向演算部21が、ボケの方向、ボケ量を抽出する(P4)。速度・移動方向演算部21は、ボケの方向から移動物体の移動方向を特定する。さらに、移動物体の速度を算出する場合、速度・移動方向演算部21が、画像処理部2から撮影速度、画角情報、ピクセルレートまたは必要な部分の画素数を入手し、照度センサ(図示無し)等から照度情報を入手する。
速度・移動方向演算部21は、ボケ量、画角、照度から移動速度を算出する(P5)。画角、照度とボケ量の関係は、事前にデータが収集され、関係式や表で画像処理部1に記憶され、速度計算時に検出され使用される。
【0056】
移動物体の移動方向と速度は、他の装置に送信される(P6)。具体的に、他の装置は、通行料金自動課金システムや監視装置である。
【0057】
上記の移動物体撮影装置のように、非蓄積型CMOSカメラ1で移動物体を撮影し、画像から移動物体の移動方向および速度を算出することにより、速度センサなどのセンサを設置する必要がない。また、一の画像から移動方向および移動速度を算出できるので、フレームレートに対し移動物体の移動速度が速く、複数の画像を撮影できない場合でも、移動方向および速度の算出をすることができる。
【0058】
このように、進行方向が既知でない物体について1枚の画像から、移動方向、移動速度を算出できることは、移動物体を追跡する場合に好ましい。さらに、複数のカメラを切り替えて使用する場合に、切り替えるカメラを決定するために有効である。
【0059】
本例の移動物体撮影装置は、車両検知・車番認識装置、交通監視装置、侵入者監視装置などに好適に使用される。
【0060】
【発明の効果】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラで撮影した移動物体の画像から移動方向もしくは移動速度を算出することができる。
【図面の簡単な説明】
【図1】図1は、移動物体撮影システムの構成の概要を示す。
【図2】図2は、非蓄積型CMOSカメラで撮影された画像の例を示す。
【図3】図3は、歪みの例を示す。
【図4】図4は、物体の移動方向と歪みの発生の概要を示す。
【図5】図5は、非蓄積型CMOSカメラで撮影されたボケのある画像の例を示す。
【図6】図6は、移動物体撮影装置の動作のフローを示す。
【図7】図7は、別の形態の移動物体撮影装置の動作のフローを示す。
【符号の説明】
1 非蓄積型CMOSカメラ
2 画像処理部
3 移動物体
4 画像
5、5’ 物体
6 (受光素子の)行
10 物体
11 (歪んで撮影された)物体
12 ボケ
13a〜13b 物体
14 物体
α (物体13aの)高さ
β、γ、ε、δ 歪み量
【発明の属する技術分野】
本発明は、移動物体撮影装置に関し、特に非蓄積型CMOSカメラを用いて、画像から移動物体の移動方向と移動速度を算出する移動物体撮影装置に関する。
【0002】
【従来の技術】
イメージセンサに受光素子を行列に複数配置して、画像を撮影するCMOS(相補性金属酸化膜半導体)を使用したカメラが使用されている。受光素子の各々は、フォトダイオード、アンプを具備する。
CMOSカメラは従来から多く使用されているCCDカメラと比較して、小型・軽量、低消費電力、低コスト、であるというメリットがある。
【0003】
さらに、CMOSカメラは行列方向に複数配列された受光素子に、ランダムにアクセスすることが可能である。具体的には、受光素子のアドレスを指定することにより、自由に撮影可能範囲の一部分、ライン毎、または、ラインの一部の読み出しが可能である。さらに、CMOSカメラでは読み出す画面の大きさや画素数に応じて、単位時間当りの撮像数であるフレームレートが変化する。従って、解像度を下げたり、画像範囲を小さくすれば画像取込速度が速くなる、すなわちフレームレートが速くなる特性を持つ。
CCDカメラは、ライン毎の読み出しが可能な場合があるが、実質的にフレームレートは変わらない。
【0004】
フレームレートが速くなると、単位時間当りに撮影できる画像数が増加し、移動物体を検知、追跡するのに好ましい。
【0005】
さらに、所定の瞬間に撮影した画像を蓄積して読み出す蓄積型CMOSカメラと、各受光素子が受光により発生した電荷を順次読み出して画像を作成する非蓄積型CMOSカメラがある。
蓄積型CMOSカメラは、電子シャッタで指定された瞬間(短時間)に、受光によりフォトダイオードで発生した電荷を、受光素子それぞれに設けられているキャパシタなどに蓄積し、キャパシタに蓄積されている電荷を読み出すことで、その瞬間に撮影された画像を作成する。このため移動物体を歪みなく撮影することができる。しかし、蓄積型CMOSカメラでは、フォトダイオ−ドが、瞬間(短時間)に必要な電荷を発生するために高い照度が必要である。
【0006】
蓄積型CMOSカメラは、瞬間(短時間)に画像を取り込むため、移動物体をボケなく撮影するためには電子シャッタなどのシャッタ機構を搭載する必要がある。蓄積型CMOSカメラで移動物体を撮影するためにシャッタスピードを速くすると、必要な感度が得られない場合がある。逆に、蓄積型CMOSカメラで移動物体を撮影するためにシャッタスピードを遅くすると、画像がボケる場合がある。
さらに、蓄積型CMOSカメラでは、電子シャッタを使用するため、瞬間(短時間)で必要な照度を得るためにストロボ照明を用いる必要がある場合があるが、電子シャッタとストロボを同期するために、タイミング制御等が必要で、回路が複雑化する場合がある。さらに、瞬時に大出力が必要なため照明装置が大型化し、照明装置の重量が増大する場合がある。
【0007】
非蓄積型CMOSカメラは、ストロボより弱い連続光で撮影が可能であること、電子シャッタ等の複雑な機構を必要としないこと、などのメリットがある。
また、非蓄積型CMOSカメラは、広いダイナミックレンジにより、画像内の輝度の差が大きい場合でも、輝度の異なる箇所を一画像に撮影可能である。
【0008】
また、非蓄積型CMOSカメラは、受光素子が発生した電荷を、行や列毎に所定の規則で読み出している。具体的には、指定された受光素子が発生した電荷を、行毎に画像の左から右へ、上の行から下の行へ順に読み出している場合がある。この場合、1枚の画像において左上の素子の電荷が時間的に一番古く、右下の素子の電荷が一番新しい。このため、画像中の移動物体は、上部分が撮影されたときよりも、下部分が撮影されたときの方が、時間が経過している。このため、撮影中に画像中の移動物体が、下方にかけて順次、進行方向に進んでいる。従って、移動物体の移動方向と撮影方向により、移動物体が歪んで撮影される。
撮影される物体の歪みは、移動物体の移動速度と撮影速度に相関がある。
【0009】
また、非蓄積型CMOSカメラは、移動体の撮影時にボケのような残像が残ることがある。これは、受光素子のフォトダイオ−ドの電荷が、新たな画像に対応する電荷に変化が完了する前に読み出されることで発生する。例えば、残像の発生原因の一つに照度の不足の場合がある。照度が高ければ、画像の変化に対応する電荷の変化が早くなり、照度が低ければ、画像の変化に対応する電荷の変化が遅くなる。フォトダイオードの電荷が変化する前に、読み出されると、過去の電荷と新たな電荷との間の電荷が読み出され、クリアな画像とならない。
従って、移動体の画像の残像発生は、照度、移動物体の速度、撮影速度、移動物体のカメラに対する移動角度(以下、画角)等に影響を受ける。
このため、照度、撮影速度(ピクセルレート)、画角が既知であれば、残像のずれ量から、移動物体の速度を演算できる。
【0010】
非蓄積型CMOSカメラで撮影した移動物体の画像の歪みまたは残像から、移動物体の移動方向および移動速度が演算されることが好ましい。
【0011】
【発明が解決しようとする課題】
本発明の目的は、非蓄積型CMOSカメラで撮影した移動物体の画像から移動方向もしくは移動速度を算出することができる移動物体撮影装置を提供することにある。
【0012】
【課題を解決するための手段】
以下に、[発明の実施の形態]で使用する番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、[特許請求の範囲]の記載と[発明の実施の形態]の記載との対応関係を明らかにするために付加されたものであるが、[特許請求の範囲]に記載されている発明の技術的範囲の解釈に用いてはならない。
【0013】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の歪みを抽出し、歪み方向から、移動物体の移動方向を算出する。
【0014】
本発明の移動物体撮影装置の画像処理部(2)は、移動物体に含まれる既知の形状を有する基準形状の歪みを抽出して、移動物体の移動方向を算出する。基準形状は、車両に付属するナンバープレートに例示される。
【0015】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の歪みを抽出し、歪みの歪み方向と歪み量から、移動物体の移動速度を算出する。
【0016】
本発明の移動物体撮影装置の画像処理部(2)は、移動物体に含まれる既知の形状を有する基準形状の歪みを抽出して、移動物体の移動速度を算出する。基準形状は、車両に付属するナンバープレートに例示される。
【0017】
本発明の移動物体撮影装置の画像処理部(2)は、撮影速度から、一画像中の移動物体の部分の最初に撮影された部分と最後に撮影された部分の撮影時間の差である撮影時間差を算出し、撮影時間差と歪みの歪み方向と歪み量から、移動物体の移動速度を算出する。撮影速度は、一画素あたりの読出し速度であるピクセルレートである。
【0018】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の残像を抽出して、実際の画像に対する残像の位置から、移動物体の移動方向を算出する。
残像は、画像中の移動物体がボケることにより発生する。
【0019】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラ(1)と、画像処理部(2)と、を具備する。
非蓄積型CMOSカメラ(1)は移動物体を撮影し、撮影した画像を画像処理部(2)へ送信し、画像処理部(2)は、非蓄積型CMOSカメラ(1)から画像を受信し、画像中の移動物体の部分の残像を抽出して、実際の画像に対する残像の位置とずれ量から、移動物体の移動速度を算出する。
【0020】
本発明の移動物体撮影装置の画像処理部(2)は、さらに、撮影速度、照度、移動物体の画像中の位置の少なくとも一つを使用し、移動物体の移動方向と移動速度の少なくともいずれかを算出する。撮影速度は、一画素あたりの読出し速度であるピクセルレートである。
【0021】
【発明の実施の形態】
添付図面を参照して、本発明による移動物体撮影装置の実施の形態を以下に説明する。
【0022】
(実施の形態1)
図1を参照して、移動物体撮影装置の構成の例が説明される。
実施の形態1では、非蓄積型CMOSカメラが撮影した画像の移動物体の歪みから、移動物体の移動方向と移動速度を算出する例が示される。
【0023】
移動物体撮影装置は、非蓄積型CMOSカメラ1、画像処理装置2を具備する。
画像処理部2は、速度・移動方向演算部21を具備する。
【0024】
非蓄積型CMOSカメラ1は、所定の範囲を撮影するよう設置され、所定の範囲内を移動する移動物体3を撮影する。図1では移動物体3の例として車両が示されているが、車両に限定されない。
【0025】
CMOSカメラが具備するイメージセンサは、受光素子が行列に複数配置されている。各受光素子は、フォトダイオード、アンプを具備する。
さらに、CMOSカメラは行列方向に複数配列された受光素子に、ランダムにアクセスすることが可能である。具体的には、読み出す受光素子のアドレスを指定することで、自由に撮影可能範囲の一部分、ライン毎、および、ラインの一部の読み出しが可能である。さらに、CMOSカメラでは読み出す画像の大きさや画素数に応じて、単位時間当りの撮像数であるフレームレートが変化する。従って、解像度を下げたり、画像範囲を小さくすれば画像取込速度が速くなる、すなわちフレームレートが速くなる特性を持つ。フレームレートが速くなると、単位時間当りに撮影できる画像数が増加し、移動物体を検知、追跡するのに好ましい。
【0026】
さらに、非蓄積型CMOSカメラ1は、蓄積型のカメラより弱い連続光で撮影が可能であること、電子シャッタ等の複雑な機構を必要としないこと、などのメリットを有する。
また、非蓄積型CMOSカメラ1は、広いダイナミックレンジを有することにより、画像内の輝度の差が大きい場合でも、輝度の異なる複数の箇所を一画像に判別可能に撮影することができる。
【0027】
また、非蓄積型CMOSカメラ1は、受光素子が発生した電荷を、行や列毎に所定の規則で読み出している。具体的には、指定された受光素子が発生した電荷を、行毎に画像の左から右へ、上の行から下の行へ順に読み出している場合がある。この場合、1枚の画像において左上の素子の電荷が時間的に一番古く、右下の素子の電荷が一番新しい。このため、画像中の移動物体は、上部分が撮影されたときよりも、下部分が撮影されたときの方が、時間が経過している。このため、撮影中に画像中の移動物体が、下方にかけて順次、進行方向に進んでいる。従って、移動物体の移動方向と走査方向により、移動物体が歪んで撮影される。
撮影される物体の歪みは、移動物体の移動速度と、移動物体のカメラに対する移動方向およびカメラに対する距離により決定される画角、撮影速度(ピクセルレート)に相関がある。
【0028】
図2に、非蓄積型CMOSカメラ1で撮影された画像の例が示される。
静止している長方形の物体5を撮影した場合、図2(a)の画像4に示されるような画像が得られる場合を想定する。
この物体5が、撮影時に画像の左から右に移動している場合で、かつ、非蓄積型CMOSカメラ1が、行6ごとに画像の左から右へ、上の行6から下の行6へ順に読み出している場合、物体5は図2(b)の物体5’のように下方にかけて順次、進行方向に進んで撮影される。このように撮影の時間差により歪みが発生する。
従って、歪み量は、画像を撮影する速度(ピクセルレート)、移動物体のカメラに対する移動方向およびカメラに対する距離により決定される画角、および移動する物体の速度と相関がある。
【0029】
画像処理装置2は、速度・移動方向演算部21を具備する。
【0030】
画像処理装置2は、非蓄積型CMOSカメラ1が撮影した画像を処理して、画像中の移動物体の抽出、移動物体の判定、所定の範囲に移動物体が進入したことの検知をすることができる。
画像処理装置2は、画像から得た移動物体の情報を、監視装置やその他の装置に送信することができる。
【0031】
画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
画像処理装置2は、所定の物体の特徴量を記憶し、記憶されている物体の特徴量と撮影された移動物体の特徴量を比較して、移動物体が何であるか判定する。画像処理装置2は、画像中の移動物体の位置から、所定の範囲に移動物体が進入したことを検知する。
【0032】
さらに、画像処理装置2は、移動物体の画像に含まれる基準形状となる既知の形状を抽出することができる。
既知の形状は、事前に特定の物体に含まれる基準となる基準形状が、画像処理装置2に記憶され、判定された移動物体が特定の物体で基準形状を含んでいる場合に、その物体に含まれる基準形状が抽出される。
【0033】
非蓄積型CMOSカメラ1は、受光素子にランダムにアクセスすることが可能なので、画像処理装置2は、画像中の読み出す範囲の指定、高解像度と低解像度の撮影切替、単位時間の画像撮影数であるフレームレートの変更等をすることができる。画像処理装置2は、撮影速度であるピクセルレートと移動物体の画像の領域から、画像の最初に撮影された行と、最後に撮影された行の時間差を算出することができる。
【0034】
速度・移動方向演算部21は、抽出された基準形状と記憶されている基準形状を比較し、歪み量を抽出する。基準形状の歪みは、基準形状のカメラに対する角度や、画像中の位置により発生する場合もあるので、カメラに対する基準形状の角度や基準形状の画面中の位置が考慮され、非蓄積型CMOSカメラ1の撮像時間差による歪みだけが抽出されることが好ましい。
【0035】
図3に、歪み量の例が示される。(a)に示される長方形の物体10が基準形状である場合に、画面中に物体10が(b)の物体11のように撮影されていた場合、歪み量εが測定される。
【0036】
速度・移動方向演算部21は、さらに、物体11を撮影したときの撮影速度(ピクセルレート)から移動物体の部分が撮影された初めのと終わりの時間差を算出し、歪み量εと時間差から物体11の速度を演算する。さらに、歪みの方向から物体11移動方向を判断する。
具体的には、移動物体画像の最初に撮影された行とから最後に撮影された行の間に撮影された画素数を、一画素あたりの読出し速度であるピクセルレートで割り移動物体部分の撮影時間を算出する。さらに、歪み量の画素数を移動物体部分の撮影時間で割り、移動物体の画像中での歪み速度を算出する。画像中の長さと実際の長さは、画角により決定されるので、歪み速度から、実際の速度を演算することができる。
【0037】
図4に物体の移動方向と歪みの発生の概要が示される。
本例では、非蓄積型CMOSカメラ1のイメージセンサを、行毎に右から左へ、上の行から下の行へ走査して画像を撮影している場合を仮定する。物体13aは、高さαの長方形である。
図4の物体13aが、画像に対して下から上へ移動している場合、物体13bのように、上下の長さが縮んで撮影される。物体13bの速度は、縮み量βと時間差から求めることができる。
図4の物体13aが、画像に対して上から下へ移動している場合、物体13cのように、上下の長さが伸びて撮影される。物体13cの速度は、伸び量γと時間差から求めることができる。
図4の物体13aが、画像に対して右から左へ移動している場合、物体13dのように、下側が左方向に歪んで撮影される。物体13dの速度は、歪み量δと時間差から求めることができる。
図4の物体13aが、画像に対して左から右へ移動している場合、物体13eのように、下側が右方向に歪んで撮影される。物体13eの速度は、歪み量εと時間差から求めることができる。
上記の他、移動物体が画面を斜めに移動する場合も、縦方向と横方向の速度と方向を別々に求め、ベクトルを合成することで、速度と方向を求めることができる。
【0038】
(動作)
図6を参照して、移動物体撮影装置の動作が説明される。
非蓄積型CMOSカメラ1が移動物体を撮影し(S1)、画像を画像処理部2へ送信する。画像処理部2は、非蓄積型CMOSカメラ1から画像を受信し、画像から移動物体を抽出する(S2)。画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
【0039】
画像処理部2は、移動物体の特徴量と記憶している物体の特徴量から移動物体が何であるか判別し、さらに、その判別した物体が具備している既知形状である基準形状を画像から抽出する(S3)。具体的には、移動物体が車両の場合、基準形状はナンバープレートの場合がある。
【0040】
画像処理部2は、記憶されている基準形状と画像中の基準形状とを比較し、歪み方向と歪み量を抽出する(S4)。基準形状を撮影したときの基準形状と非蓄積型CMOSカメラ1の角度、基準形状の画像中の位置などにより基準形状が歪んで撮影される場合は、撮影による歪みが考慮され、移動による歪みだけが抽出される。撮影による歪みは、事前に角度や位置を変化させて撮影した情報から算出される。さらに、画像処理部2は、画像中の移動物体の位置や移動方向から画角の情報を抽出する。
画像処理部2は、ピクセルレートD1から移動物体の画像の撮影の時間差を算出し、画角と、歪み方向、歪み量から、移動物体の移動方向と速度を演算する(S5)。
移動物体の移動方向と速度は、他の装置に送信される(S6)。具体的に、他の装置は、通行料金自動課金システムや監視装置である。
【0041】
上記の移動物体撮影装置のように、非蓄積型CMOSカメラ1で移動物体を撮影し、画像から移動物体の移動方向および速度を算出することにより、速度センサなどのセンサを設置する必要がない。また、一の画像から移動方向および移動速度を算出できるので、フレームレートに対して移動物体の移動速度が速く、複数の画像を撮影できない場合でも、移動方向および速度の算出をすることができる。
【0042】
本例の移動物体撮影装置は、車両検知・車番認識装置、交通監視装置、侵入者監視装置などに好適に使用される。
【0043】
(実施の形態2)
実施の形態2の構成は、実施の形態1と同様で、図1に示される。
実施の形態2では、非蓄積型CMOSカメラが撮影した画像の移動物体のボケから、移動物体の移動方向と移動速度を算出する例が示される。
【0044】
移動物体撮影装置は、非蓄積型CMOSカメラ1、画像処理装置2を具備する。
画像処理部2は、速度・移動方向演算部21を具備する。
【0045】
非蓄積型CMOSカメラ1は、所定の範囲を撮影するよう設置され、所定の範囲内を移動する移動物体3を撮影する。図1では移動物体3の例として車両が示されているが、車両に限定されない。
【0046】
CMOSカメラが具備するイメージセンサは、受光素子が行列に複数配置されている。各受光素子は、フォトダイオード、アンプを具備する。
さらに、CMOSカメラは行列方向に複数配列された受光素子に、ランダムにアクセスすることが可能である。具体的には、読み出す受光素子のアドレスを指定することで、自由に撮影可能範囲の一部分、ライン毎、および、ラインの一部の読み出しが可能である。さらに、CMOSカメラでは読み出す画像の大きさや画素数に応じて、単位時間当りの撮像数であるフレームレートが変化する。従って、解像度を下げたり、画像範囲を小さくすれば画像取込速度が速くなる、すなわちフレームレートが速くなる特性を持つ。フレームレートが速くなると、単位時間当りに撮影できる画像数が増加し、移動物体を検知、追跡するのに好ましい。
【0047】
さらに、非蓄積型CMOSカメラ1は、蓄積型のカメラより弱い連続光で撮影が可能であること、電子シャッタ等の複雑な機構を必要としないこと、などのメリットを有する。
また、非蓄積型CMOSカメラ1は、広いダイナミックレンジを有することにより、画像内の輝度の差が大きい場合でも、輝度の異なる複数の箇所を一画像に判別可能に撮影することができる。
【0048】
非蓄積型CMOSカメラ1では、移動物体を撮影した場合に特有のボケが撮影される場合がある。
ボケは、受光素子のフォトダイオ−ドの電荷が、新たな画像に対応する電荷に変化が完了する前に読み出されることで発生する。例えば、ボケの発生原因の一つに照度の不足の場合がある。照度が高ければ、画像の変化に対応する電荷の変化が早くなり、照度が低ければ、画像の変化に対応する電荷の変化が遅くなる。フォトダイオードの電荷が変化する前に、読み出されると、過去の電荷と新たな電荷との間の電荷が読み出され、クリアな画像とならない。
従って、移動体の画像のボケ発生は、照度、移動物体の速度、移動物体のカメラに対する距離および移動角度(以下、画角)等に影響を受ける。
このため、照度、画角が既知であれば、ボケ量から、移動物体の速度を演算できる。演算には一画素あたりの読出し速度であるピクセルレートも使用される。
【0049】
図5に、非蓄積型CMOSカメラ1で撮影された画像の例が示される。
この物体14が、撮影時に画像4の左から右に移動している場合で、かつ、非蓄積型CMOSカメラ1が、行6ごとに画像の左から右へ、上の行6から下の行6へ順に読み出している場合、物体14は図5のように下方にかけて順次、進行方向に進んで撮影される。この撮影の時間差により歪みが発生する。さらに、物体14の画像にはボケ12が残る場合がある。
ボケ量は、移動する物体の速度、画角および照度と相関がある。
【0050】
画像処理装置2は、速度・移動方向演算部21を具備する。
画像処理装置2は、非蓄積型CMOSカメラ1が撮影した画像を処理して、画像中の移動物体の抽出、移動物体の判定、所定の範囲に移動物体が進入したことの検知をすることができる。
画像処理装置2は、画像から得た移動物体の情報を、監視装置やその他の装置に送信することができる。
【0051】
画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
画像処理装置2は、所定の物体の特徴量を記憶し、記憶されている物体の特徴量と撮影された移動物体の特徴量を比較して、移動物体が何であるか判定する。画像処理装置2は、画像中の移動物体の位置から、所定の範囲に移動物体が進入したことを検知する。
さらに、画像処理装置2は、移動物体の画像に含まれるボケ12を抽出することができる。
また、画像処理装置2は、移動物体の画像中の位置や移動方向、大きさからが書く情報を抽出することができる。
【0052】
非蓄積型CMOSカメラ1は、受光素子にランダムにアクセスすることが可能なので、画像処理装置2は、画像中の読み出す範囲の指定、高解像度と低解像度の撮影切替、単位時間の画像撮影数であるフレームレートの変更等をすることができる。このため、画像により画素数が変化する。画像処理装置2は、必要な部分の画素数を算出することができる。
【0053】
速度・移動方向演算部21は、ボケの画像における、ボケの発生位置から、移動物体の移動方向を特定することができる。さらに、ボケ量と、照度、画角から移動物体の速度を算出することができる。
速度・移動方向演算部21は、撮影速度および画角を、画像処理装置2から受信する。速度・移動方向演算部21は、画像処理装置2が画像から算出した照度もしくは、照度センサ(図示なし)で検出した照度を受信する。
【0054】
(動作)
図7を参照して、移動物体撮影装置の動作が説明される。
非蓄積型CMOSカメラ1が移動物体を撮影し(P1)、画像を画像処理部2へ送信する。画像処理部2は、非蓄積型CMOSカメラ1から画像を受信し、画像から移動物体を抽出する(P2)。画像処理装置2は、画像中の移動物体の抽出を、移動物体が撮影された画像と移動物体が写っていない背景だけの画像とを比較することで行うことができる。その他、移動物体の抽出には、好適な公知技術が使用される場合がある。
【0055】
画像処理部2は、移動物体のボケ12を抽出する(P3)。さらに、画像処理部2の速度・移動方向演算部21が、ボケの方向、ボケ量を抽出する(P4)。速度・移動方向演算部21は、ボケの方向から移動物体の移動方向を特定する。さらに、移動物体の速度を算出する場合、速度・移動方向演算部21が、画像処理部2から撮影速度、画角情報、ピクセルレートまたは必要な部分の画素数を入手し、照度センサ(図示無し)等から照度情報を入手する。
速度・移動方向演算部21は、ボケ量、画角、照度から移動速度を算出する(P5)。画角、照度とボケ量の関係は、事前にデータが収集され、関係式や表で画像処理部1に記憶され、速度計算時に検出され使用される。
【0056】
移動物体の移動方向と速度は、他の装置に送信される(P6)。具体的に、他の装置は、通行料金自動課金システムや監視装置である。
【0057】
上記の移動物体撮影装置のように、非蓄積型CMOSカメラ1で移動物体を撮影し、画像から移動物体の移動方向および速度を算出することにより、速度センサなどのセンサを設置する必要がない。また、一の画像から移動方向および移動速度を算出できるので、フレームレートに対し移動物体の移動速度が速く、複数の画像を撮影できない場合でも、移動方向および速度の算出をすることができる。
【0058】
このように、進行方向が既知でない物体について1枚の画像から、移動方向、移動速度を算出できることは、移動物体を追跡する場合に好ましい。さらに、複数のカメラを切り替えて使用する場合に、切り替えるカメラを決定するために有効である。
【0059】
本例の移動物体撮影装置は、車両検知・車番認識装置、交通監視装置、侵入者監視装置などに好適に使用される。
【0060】
【発明の効果】
本発明の移動物体撮影装置は、非蓄積型CMOSカメラで撮影した移動物体の画像から移動方向もしくは移動速度を算出することができる。
【図面の簡単な説明】
【図1】図1は、移動物体撮影システムの構成の概要を示す。
【図2】図2は、非蓄積型CMOSカメラで撮影された画像の例を示す。
【図3】図3は、歪みの例を示す。
【図4】図4は、物体の移動方向と歪みの発生の概要を示す。
【図5】図5は、非蓄積型CMOSカメラで撮影されたボケのある画像の例を示す。
【図6】図6は、移動物体撮影装置の動作のフローを示す。
【図7】図7は、別の形態の移動物体撮影装置の動作のフローを示す。
【符号の説明】
1 非蓄積型CMOSカメラ
2 画像処理部
3 移動物体
4 画像
5、5’ 物体
6 (受光素子の)行
10 物体
11 (歪んで撮影された)物体
12 ボケ
13a〜13b 物体
14 物体
α (物体13aの)高さ
β、γ、ε、δ 歪み量
Claims (8)
- 非蓄積型CMOSカメラと、
画像処理部と、
を具備し、
前記非蓄積型CMOSカメラは移動物体を撮影し、撮影した画像を前記画像処理部へ送信し、
前記画像処理部は、前記非蓄積型CMOSカメラから前記画像を受信し、前記画像の前記移動物体の部分の歪みを抽出し、前記歪みの歪み方向から、前記移動物体の移動方向を算出する、
移動物体撮影装置。 - 前記画像処理部は、前記移動物体に含まれる既知の形状を有する基準形状の歪みを抽出して、前記移動物体の移動方向を算出する、
請求項1に記載された移動物体撮影装置。 - 非蓄積型CMOSカメラと、
画像処理部と、
を具備し、
前記非蓄積型CMOSカメラは移動物体を撮影し、撮影した画像を前記画像処理部へ送信し、
前記画像処理部は、前記非蓄積型CMOSカメラから前記画像を受信し、前記画像の前記移動物体の部分の歪みを抽出し、前記歪みの歪み方向と歪み量から、前記移動物体の移動速度を算出する、
移動物体撮影装置。 - 前記画像処理部は、前記移動物体に含まれる既知の形状を有する基準形状の歪みを抽出して、前記移動物体の移動速度を算出する、
請求項3に記載された移動物体撮影装置。 - 前記画像処理部は、撮影速度から、一画像中の前記移動物体の部分の最初に撮影された部分と最後に撮影された部分の撮影時間の差である撮影時間差を算出し、前記撮影時間差と前記歪みの歪み方向と歪み量から、前記移動物体の移動速度を算出する、
請求項3または4のいずれかに記載された移動物体撮影装置。 - 非蓄積型CMOSカメラと、
画像処理部と、
を具備し、
前記非蓄積型CMOSカメラは移動物体を撮影し、撮影した画像を前記画像処理部へ送信し、
前記画像処理部は、前記非蓄積型CMOSカメラから前記画像を受信し、前記画像中の前記移動物体の部分の残像を抽出して、実際の画像に対する前記残像の位置から、前記移動物体の移動方向を算出する、
移動物体撮影装置。 - 非蓄積型CMOSカメラと、
画像処理部と、
を具備し、
前記非蓄積型CMOSカメラは移動物体を撮影し、撮影した画像を前記画像処理部へ送信し、
前記画像処理部は、前記非蓄積型CMOSカメラから前記画像を受信し、前記画像中の前記移動物体の部分の残像を抽出して、実際の画像に対する前記残像の位置とずれ量から、前記移動物体の移動速度を算出する、
移動物体撮影装置。 - 前記画像処理部は、さらに、撮影速度、照度、移動物体の画像中の位置の少なくとも一つを使用し、前記移動物体の移動方向と移動速度の少なくともいずれかを算出する、
請求項6または7のいずれかに記載された移動物体撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002256060A JP2004096504A (ja) | 2002-08-30 | 2002-08-30 | 移動物体撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002256060A JP2004096504A (ja) | 2002-08-30 | 2002-08-30 | 移動物体撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004096504A true JP2004096504A (ja) | 2004-03-25 |
Family
ID=32061383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002256060A Withdrawn JP2004096504A (ja) | 2002-08-30 | 2002-08-30 | 移動物体撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004096504A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007048796A1 (en) * | 2005-10-27 | 2007-05-03 | Thomson Licensing | Device and method for measuring the speed of an object moving in a restricted environment |
JP2007195141A (ja) * | 2005-12-20 | 2007-08-02 | Nissan Motor Co Ltd | 画像速度算出装置及び画像速度算出方法 |
JP2012203795A (ja) * | 2011-03-28 | 2012-10-22 | Nissin Electric Co Ltd | 車両速度計測方法及びそれを利用した車両全体像検出方法並びに車両ナンバープレート情報誤認防止方法 |
JP2013515418A (ja) * | 2009-12-23 | 2013-05-02 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Hdrカメラを用いた相対運動の決定方法 |
US8704888B2 (en) | 2011-08-08 | 2014-04-22 | Casio Computer Co., Ltd. | Imaging device and image analysis method |
JP2019504768A (ja) * | 2016-01-12 | 2019-02-21 | ピルツ ゲーエムベーハー アンド コー.カーゲー | 機械のモニタリング方法およびその方法を用いる安全デバイス |
WO2019054719A1 (ko) * | 2017-09-15 | 2019-03-21 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 차량 |
WO2020261838A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
-
2002
- 2002-08-30 JP JP2002256060A patent/JP2004096504A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007048796A1 (en) * | 2005-10-27 | 2007-05-03 | Thomson Licensing | Device and method for measuring the speed of an object moving in a restricted environment |
FR2892822A1 (fr) * | 2005-10-27 | 2007-05-04 | Thomson Licensing Sas | Dispositif et procede de mesure de vitesse d'un element mobile dans un environnement borne |
JP2007195141A (ja) * | 2005-12-20 | 2007-08-02 | Nissan Motor Co Ltd | 画像速度算出装置及び画像速度算出方法 |
JP2013515418A (ja) * | 2009-12-23 | 2013-05-02 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Hdrカメラを用いた相対運動の決定方法 |
KR101753928B1 (ko) | 2009-12-23 | 2017-07-04 | 로베르트 보쉬 게엠베하 | Hdr 카메라를 이용한 상대 운동 측정 방법 |
JP2012203795A (ja) * | 2011-03-28 | 2012-10-22 | Nissin Electric Co Ltd | 車両速度計測方法及びそれを利用した車両全体像検出方法並びに車両ナンバープレート情報誤認防止方法 |
US8704888B2 (en) | 2011-08-08 | 2014-04-22 | Casio Computer Co., Ltd. | Imaging device and image analysis method |
JP2019504768A (ja) * | 2016-01-12 | 2019-02-21 | ピルツ ゲーエムベーハー アンド コー.カーゲー | 機械のモニタリング方法およびその方法を用いる安全デバイス |
WO2019054719A1 (ko) * | 2017-09-15 | 2019-03-21 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 차량 |
WO2020261838A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
CN114026436A (zh) * | 2019-06-25 | 2022-02-08 | 索尼集团公司 | 图像处理装置、图像处理方法和程序 |
US20220319013A1 (en) * | 2019-06-25 | 2022-10-06 | Sony Group Corporation | Image processing device, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8675116B2 (en) | Image sensor and focus detection apparatus | |
US7304681B2 (en) | Method and apparatus for continuous focus and exposure in a digital imaging device | |
US8223235B2 (en) | Digital imager with dual rolling shutters | |
KR101626894B1 (ko) | 롤링 셔터를 이용하여 촬상하는 촬상 장치 | |
US20160057352A1 (en) | Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method | |
US7697037B2 (en) | Image signal processing device and method | |
CN108347563B (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
CN102065221A (zh) | 具抖动补偿的图像传感器 | |
JP2013536625A (ja) | 画像センサーおよび検知方法 | |
JP2004096504A (ja) | 移動物体撮影装置 | |
JP3386025B2 (ja) | 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム | |
JP2009044475A (ja) | 監視カメラ装置 | |
JP2006074693A (ja) | 撮像装置 | |
JP5263023B2 (ja) | 撮像装置 | |
US7421091B2 (en) | Image-capturing apparatus | |
JP2004096498A (ja) | 移動物体撮影システム | |
JP2004096497A (ja) | 移動物体撮影装置 | |
CN111131667B (zh) | 进行闪烁检测的摄像设备及其控制方法和存储介质 | |
US7609312B2 (en) | Driving controlling method for image sensing device, and imaging device | |
JP3993541B2 (ja) | 2次元マクロセル制御イメージセンサ、撮像素子、及び撮像方法 | |
JP4247608B2 (ja) | 監視用撮像装置 | |
JP5341560B2 (ja) | 車両番号監視用撮像装置 | |
JP2004096509A (ja) | 移動物体撮影装置 | |
KR100562334B1 (ko) | 씨모스 영상 센서 왜곡 보정 방법 및 장치 | |
TWI772029B (zh) | 監視攝影機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051101 |