JP2016164737A - 認識装置、認識システム、認識プログラムおよび認識方法 - Google Patents
認識装置、認識システム、認識プログラムおよび認識方法 Download PDFInfo
- Publication number
- JP2016164737A JP2016164737A JP2015044915A JP2015044915A JP2016164737A JP 2016164737 A JP2016164737 A JP 2016164737A JP 2015044915 A JP2015044915 A JP 2015044915A JP 2015044915 A JP2015044915 A JP 2015044915A JP 2016164737 A JP2016164737 A JP 2016164737A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- image
- line segment
- motion blur
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【課題】撮像画像にモーションボケが発生している状態でも文字等の認識精度の低下を抑制する。
【解決手段】認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と、を備える。
【選択図】図4
【解決手段】認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と、を備える。
【選択図】図4
Description
本発明は、認識装置、認識システム、認識プログラムおよび認識方法に関する。
撮像装置により撮像した画像から文字等を認識する技術が存在する。例えば、車番認識システムとして、道路を走行する車両のプレート(ナンバープレート)から文字を自動的に読み取ることが行われている。
車両のような高速に移動する物体の撮像画像を扱う場合においては、露光時間内での撮像素子上の露光点の移動に起因するモーションボケによる認識精度の低下が問題となりやすい。露光時間は、動画像を出力する撮像装置では、シャッターを備える場合はシャッタースピードにより決まり、シャッターを備えていない場合は1フレームの時間により決まる。静止画像を出力する撮像装置では、露光時間はシャッタースピードにより決まる。
図1はモーションボケの例を示す図であり、(a)(b)(c)は露光時間が短い場合、(d)(e)(f)は露光時間が長い場合を示している。図1(a)(d)において、各格子(セル)は撮像素子の画素を示しており、灰色の線71は撮像素子上での物体の一点の像の動きであり、黒色の線72は露光時間内での動きである。露光時間が短い(a)の場合は、(b)に示すように、1つの画素に明確な露光量の違いとして検出される。しかし、露光時間が長い(d)の場合は、(e)に示すように、移動方向に伸びた形で複数の画素にわたって露光量が検出され(色の濃さは露光量に対応)、モーションボケが発生する。車両全体を撮像した場合、露光時間が短い場合、車両は(c)に示すように鮮明に撮像されるが、露光時間が長い場合、車両は(f)に示すように全体が移動方向に沿ってボケて撮像される。
撮像画像に含まれる文字等の認識にあたり、撮像画像は予め用意された辞書画像と照合が行われ、一致率から特定の文字であると認識される。図2は辞書画像との照合の例を示す図であり、(a)はモーションボケがない場合、(b)はモーションボケがある場合を示している。なお、撮像画像は、辞書画像との照合を行う前に、斜め方向から撮像された歪んだ画像である場合、正面から見た画像に変換される。
モーションボケがない(a)の場合、撮像画像の白枠で囲んだ文字を認識するにあたり、辞書画像の「A」に明確に合致し、「B」には明確に合致しないと判断される。モーションボケがある(b)の場合、モーションボケにより辞書画像との差異が大きくなるため、辞書画像の「A」に合致するとも、「B」に合致しないとも判断がつかなくなる場合があり、認識精度の低下を招く。
上述したモーションボケの発生を防止するためには、撮像時の露光時間を短くすることが有効である。しかし、露光時間を短くすることで露光量が減少するため、特に夜間における撮像時に露光量不足となる問題がある。露光量不足を防止するためには、撮像装置の感度を高めるか、照明装置の光量を増大させることが考えられる。しかし、撮像装置の感度向上にはコスト的にも限界があり、照明装置の光量増大のためには照明装置の台数や消費電力の増大を伴うことになって、いずれも困難である。
本発明は、一つの側面では、撮像画像にモーションボケが発生している状態でも文字等の認識精度の低下を抑制することを目的とする。
一つの態様では、認識装置は、認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と、を備える。
一つの側面として、撮像画像にモーションボケが発生している状態でも文字等の認識精度の低下を抑制することができる。
以下、本発明の好適な実施形態につき説明する。
<構成>
図3は一実施形態にかかるシステムの構成例を示す図である。図3において、車両2が走行する道路1に対し、車両2とそのプレート3を視野とする所定の位置に照明装置4と撮像装置5が配置され、撮像装置5の撮像画像は認識装置6に入力され、認識装置6は所定の処理を経て認識結果を出力するようになっている。照明装置4は例えばLED(Light Emitting Diode)照明装置であり、撮像装置5は例えば動画像デジタルカメラである。認識装置6は例えばパーソナルコンピュータ等の情報処理装置である。
図3は一実施形態にかかるシステムの構成例を示す図である。図3において、車両2が走行する道路1に対し、車両2とそのプレート3を視野とする所定の位置に照明装置4と撮像装置5が配置され、撮像装置5の撮像画像は認識装置6に入力され、認識装置6は所定の処理を経て認識結果を出力するようになっている。照明装置4は例えばLED(Light Emitting Diode)照明装置であり、撮像装置5は例えば動画像デジタルカメラである。認識装置6は例えばパーソナルコンピュータ等の情報処理装置である。
図4は認識装置6の構成例を示す図である。図4において、認識装置6は、車両検出部601と、プレート検出部603と、プレート検出部603を構成するプレート候補抽出部604と画像変換部605と一連番号認識部607とプレート判定部609とを備えている。また、認識装置6は、モーションボケ量推定部610とモーションボケフィルタ生成部611と一時辞書生成部612と小文字認識部614と認識結果出力部615とを備えている。
車両検出部601は、撮像装置5から動画像(静止画像のフレームが連続する画像)の撮像画像を入力する機能を有している。また、車両検出部601は、撮像画像に外観から車両と判断される物体が含まれる場合に、撮像時刻情報を伴う少なくとも2枚の静止画像を撮像画像602として一時的に保持する機能を有している。なお、撮像時刻情報を伴う少なくとも2枚の静止画像は、連続したフレームの静止画像または数フレームおきにピックアップしたフレームの静止画像である。また、車両検出部601は、車両を検出した旨の車両検出結果を出力する機能を有している。なお、撮像装置5は、シャッターを備える場合と備えない場合とがある。また、車両検出は、後続のプレート検出等の処理を効率的に行うためのものであり、処理効率をさほど考慮しなくてよい場合には撮像画像から車両検出を経ずに直接にプレート検出等を行うこともできる。
プレート検出部603は、車両検出結果により車両検出部601が車両を検出した場合に、撮像画像602に基づいて車両のプレートを検出(プレート位置を特定)する機能を有している。
プレート候補抽出部604は、撮像画像602からプレートである可能性のある所定の形状(例えば、矩形または平行四辺形)の輪郭の画像部分を候補として抽出し、その画像上の座標位置(例えば、プレート下部の中央部の座標位置)をプレート候補位置として出力する機能を有している。
画像変換部605は、プレート候補抽出部604から入力したプレート候補位置に基づき、撮像画像602からプレート候補画像を切り出す機能を有している。また、画像変換部605は、輪郭の傾きと縦横比等に基づいてアフィン変換等により正面画像に変換してプレート候補画像606として一時的に保持する機能を有している。また、画像変換部605は、プレート候補画像を生成した旨を示す画像変換結果を出力する機能を有している。一般に、車両の斜め方向から撮像することになるため、プレート部分は平行四辺形状に歪んだものとなるが、正面画像に変換することで、正面画像に基づいて作成されている辞書画像との照合が可能となる。
一連番号認識部607は、画像変換部605から画像変換結果を入力した場合に、プレート候補画像606から一連番号用の辞書608を用いてプレート中央のサイズの大きな数字である一連番号を認識し、認識された一連番号または認識できなかった旨を示す一連番号認識結果を出力する機能を有している。なお、この構成例では、サイズの大きな数字である一連番号については、モーションボケの影響が少ないとして、辞書画像の加工は行っていない。
プレート判定部609は、一連番号認識部607から入力した一連番号認識結果に基づき、プレートにおける一連番号の形式(例えば、4桁の数字列等)によりプレートであるか否か判定し、その旨を示すプレート判定結果を出力する機能を有している。
モーションボケ量推定部610は、プレート判定結果がプレートであると判定したことを示す場合に、正面画像への変換後の撮像画像上に存在するモーションボケの発生方向および大きさを推定し、モーションボケパラメータとして出力する機能を有している。モーションボケの発生方向および大きさは、モーションボケの発生方向および大きさの両方をまとめて「モーションボケ量」または単に「ボケ量」とも呼ぶ。この推定は、プレート候補抽出部604の出力するプレート候補位置(プレートであると判定されたことにより「プレート位置」となる)および画像変換部605の画像変換に用いたパラメータ(アフィン変換の行列値等)に基づいて行われる。なお、対象となる車両の代表的な速度からモーションボケの大きさを既定値として与えることができる場合には、モーションボケの発生方向のみを推定するようにしてもよい。
モーションボケフィルタ生成部611は、モーションボケ量推定部610から入力したモーションボケパラメータに基づき、コンボリューション行列等によるモーションボケフィルタを生成して出力する機能を有している。
一時辞書生成部612は、モーションボケフィルタ生成部611から入力したモーションボケフィルタを小文字用の辞書613の辞書画像に適用(コンボリューション演算等)することにより一時辞書を生成して出力する機能を有している。
小文字認識部614は、一時辞書生成部612により生成された一時辞書を用い、プレート候補画像606から一連番号の部分を除いた小文字の部分から小文字を認識し、認識された小文字または認識できなかった旨を示す小文字認識結果を出力する機能を有している。
認識結果出力部615は、一連番号認識部607の一連番号認識結果と小文字認識部614の小文字認識結果とを含むプレート全体の認識結果を出力する機能を有している。
図5は認識装置6の他の構成例を示す図である。図4に示した認識装置6では、サイズの大きな数字である一連番号については、モーションボケの影響が少ないとして、辞書画像の加工は行っていなかったが、図5の構成例では、モーションボケによる影響で一連番号についても認識できない場合に備え、一連番号の認識に際しても辞書画像の加工を行うようにしている。実装として、図4または図5のいずれかの構成としてもよいし、両者の構成を含めておき、ユーザに選択させるようにしてもよいし、プレート検出の失敗頻度等に応じて自動的に切り替えるようにしてもよい。
図5において、図4の構成と異なるのは、図4におけるモーションボケ量推定部610とモーションボケフィルタ生成部611を画像変換部605の直後に移動し、一連番号認識部607の直前に一時辞書生成部612−1を設けた点である。図4における一時辞書生成部612は、新たに設けた一時辞書生成部612−1と区別するために、一時辞書生成部612−2としてある。
図5において、モーションボケ量推定部610とモーションボケフィルタ生成部611は処理のタイミングが異なるだけで、図4と機能は同様である。一時辞書生成部612−1は、モーションボケフィルタ生成部611から入力したモーションボケフィルタを一連番号用の辞書608の辞書画像に適用(コンボリューション演算等)することにより一時辞書を生成して出力する機能を有している。一連番号認識部607は、一時辞書生成部612−1により生成された一時辞書を用い、プレート候補画像606から一連番号を認識し、認識された一連番号または認識できなかった旨を示す一連番号認識結果を出力する機能を有している。
なお、図5では一連番号の認識によりプレートを検出し、プレートが検出された後に小文字の認識を行っているが、プレートの検出を省略し、一連番号と小文字を逐次または同時に認識することもできる。
図6は認識装置6のハードウェア構成例を示す図である。図6において、認識装置6は、システムバス6001に接続されたCPU(Central Processing Unit)6002、ROM(Read Only Memory)6003、RAM(Random Access Memory)6004、NVRAM(Non-Volatile Random Access Memory)6005を備えている。また、認識装置6は、I/F(Interface)6006と、I/F6006に接続された、I/O(Input/Output Device)6007、HDD(Hard Disk Drive)6008、NIC(Network Interface Card)6009と、I/O6007に接続されたモニタ6010、キーボード6011、マウス6012等を備えている。I/O6007にはCD/DVD(Compact Disk/Digital Versatile Disk)ドライブ等を接続することもできる。図示のハードウェア上ではOS(Operating System)が動作し、その上で図4および図5に示した各部がコンピュータプログラム等に基づいて動作する。
<動作>
図7は上記の実施形態の処理例を示すフローチャートであり、図4に示した認識装置6の処理例である。
図7は上記の実施形態の処理例を示すフローチャートであり、図4に示した認識装置6の処理例である。
図7において、車両検出部601は、撮像装置5から撮像画像を入力すると(ステップS101)、撮像画像に外観から車両と判断される物体が含まれるか否かにより車両を検出したかどうか判断する(ステップS102)。車両を検出していないと判断した場合(ステップS102のNo)、撮像画像の入力(ステップS101)に戻る。車両を検出したと判断した場合(ステップS102のYes)、撮像時刻情報を伴う少なくとも2枚の静止画像(連続したフレームの静止画像または数フレームおきにピックアップしたフレームの静止画像)を撮像画像602として一時保存する(ステップS103)。そして、車両を検出した旨(併せて一時保存した撮像画像へのハンドルを持たせてもよい)の車両検出結果を出力し(ステップS104)、撮像画像の入力(ステップS101)に戻る。図8は車両検出により一時保持される撮像画像602の例を示す図であり、(a)は時刻Tにおける撮像画像、(b)は時刻T+dtにおける撮像画像を示している。
図7に戻り、プレート検出部603は、車両検出部601の車両検出結果により車両を検出したか否か判断し(ステップS105)、車両を検出していない場合(ステップS105のNo)は待機する。車両を検出している場合(ステップS105のYes)、プレート候補抽出部604は、撮像画像602からプレートである可能性のある所定の形状(例えば、矩形または平行四辺形)の輪郭の画像部分を候補として抽出し、その画像上の座標位置(例えば、プレート下部の中央部の座標位置)をプレート候補位置として出力する(ステップS106)。図9はプレート候補の抽出の例を示す図であり、(a)の時刻Tにおける撮像画像と(b)の時刻T+dtにおける撮像画像のそれぞれにつき、プレートの下部中央の画像上の座標値x、yをプレート候補位置として抽出している。
次いで、図7に戻り、画像変換部605は、プレート候補抽出部604の出力したプレート候補位置に基づき、撮像画像602からプレート候補画像を切り出す。また、画像変換部605は、輪郭の傾きと縦横比等に基づいてアフィン変換等により正面画像に変換してプレート候補画像606として一時的に保持し、プレート候補画像を生成した旨を示す画像変換結果を出力する(ステップS107)。図10は画像変換の例を示す図であり、(a)の撮像画像602に含まれる歪んだプレートの画像から、(b)の正面から見た矩形の画像に変換した様子を示している。
次いで、図7に戻り、一連番号認識部607は、画像変換部605から画像変換結果を入力した場合に、プレート候補画像606から一連番号用の辞書608を用いてプレート中央のサイズの大きな数字である一連番号を認識し、認識された一連番号または認識できなかった旨を示す一連番号認識結果を出力する(ステップS108)。図11は一連番号の認識の例を示す図であり、「2345」という一連番号が認識された状態を示している。
次いで、図7に戻り、プレート判定部609は、一連番号認識部607の一連番号認識結果に基づき、プレートにおける一連番号の形式(例えば、4桁の数字列等)によりプレートであるか否か判定し、その旨を示すプレート判定結果を出力し、プレートでなかった場合(ステップS109のNo)、車両検出の待機(ステップS105)に戻る。
プレートであると判定した場合(ステップS109のYes)、モーションボケ量推定部610は、正面画像への変換後の撮像画像上に存在するモーションボケの発生方向および大きさを推定する。この推定は、プレート候補抽出部604の出力するプレート候補位置(プレート位置)および画像変換部605の画像変換に用いたパラメータ(アフィン変換の行列値等)に基づいて行われる。また、モーションボケ量推定部610は、推定結果であるモーションボケの発生方向および大きさをモーションボケパラメータとして出力する(ステップS110)。なお、対象となる車両の代表的な速度からモーションボケの大きさを既定値として与えることができる場合には、モーションボケ量推定部610においてモーションボケの発生方向のみを推定するようにしてもよい。撮像画像からモーションボケの大きさも推定すれば、より認識精度を向上させることができる。
図12は車両の移動量およびモーションボケ量の例を示す図である。図12(a)は説明のために時刻Tにおける撮像画像と時刻T+dtにおける撮像画像とを重ねて示しており、時刻Tにおけるプレート位置(図9(a))と時刻T+dtにおけるプレート位置(図9(b))との差から、時間dtにおける画像上のx方向の移動量dxとy方向の移動量dyとが算出される。全体としての移動方向と移動距離の両方を包含したものが移動量である。
そして、シャッター値(例えば、シャッタースピードが「1/1000」という場合には「1000」がシャッター値。シャッター値は露光時間の逆数)をsとした場合、図12(b)に示すように、x方向のボケの大きさはdx/(s・dt)、y方向のボケの大きさはdy/(s・dt)により算出(推定)される。なお、ボケの発生方向は、x方向のボケの大きさとy方向のボケの大きさの比に対するアークタンジェント(tan-1)から算出(推定)できる。
なお、上記のボケ量は画像変換前の画像上の値であるため、辞書画像と照合する際の正面画像上での値に変換する。図13は移動量またはモーションボケ量に対するアフィン変換の例を示す図であり、(a)に示す画像変換前の画像上でのボケ量ベクトルに画像変換部605での画像変換に用いたのと同じパラメータによるアフィン変換を施すことで、(b)に示すような正面画像上でのボケ量ベクトル(p,q)を得ることができる。ボケ量ベクトルの成分p,qはモーションボケパラメータとして出力される。
なお、上述の説明では撮像画像上の物体(プレート)の位置から移動量を求めるものとしたが、より精度を高めるために、実空間への逆投影を用いることができる。図14において、位置Aにあるプレートの画像と位置Bにあるプレートの画像とから移動量を算出する場合、位置Aと位置Bは撮像装置からの距離が異なるため、厳密な移動量とはならない。そこで、予め、撮像装置と視野内の各位置との物理的な距離と角度を測定しておき、位置A、Bを実空間に逆投影し、実空間上で移動量を算出し、それを画像空間に投影することで、より正確な移動量を算出することができる。移動量を算出した後の処理は前述したのと同様である。
次いで、図7に戻り、モーションボケフィルタ生成部611は、モーションボケ量推定部610の出力するモーションボケパラメータに基づき、コンボリューション行列等によるモーションボケフィルタを生成して出力する(ステップS111)。モーションボケフィルタの生成手法について以下に説明する。
図15はモーションボケフィルタの生成の例を示す図である。図15において、モーションボケフィルタ生成部611は、モーションボケ量推定部610からモーションボケパラメータ(x方向ボケ量p、y方向ボケ量q)を入力する(ステップS211)。
次いで、モーションボケフィルタ生成部611は、モーションボケパラメータからモーションボケの大きさに相当する長さWと発生方向に相当する角度θ を算出する(ステップS212)。それぞれの算式は図示の通りである。
次いで、モーションボケフィルタ生成部611は、仮想上のxy平面上に、長さWの線分Lを、中点が原点と重なり、x軸との傾きが角度θとなる直線を設定する(ステップS213)。仮想上のxy平面上に線分Lを引いた状態の例を図16に示している。
次いで、図15に戻り、モーションボケフィルタ生成部611は、xy平面上の座標値が整数となる点を中心とする縦横のサイズが1の格子を設定する(ステップS214)。図16において破線で囲まれる最小の矩形が格子となる。格子の一例をGとして示している。
次いで、図15に戻り、モーションボケフィルタ生成部611は、各格子(中心(m,n))と線分Lが重なる長さw(m,n)を算出する(ステップS215)。
そして、モーションボケフィルタ生成部611は、モーションボケフィルタB(m,n)を
B(m,n)=w(m,n)/W
により生成して出力する(ステップS216)。
B(m,n)=w(m,n)/W
により生成して出力する(ステップS216)。
図17は各格子と線分が重なる長さの算出例を示す図であり、m、nで特定される各格子につき、xについてはm−0.5〜m+0.5、yについてはn−0.5〜n+0.5の値域とし、線分L上で1、それ以外では0となる関数δを用いて数値計算を行うことで、w(m,n)を算出している。
次に、図18はモーションボケフィルタの生成の他の例を示す図である。図18において、モーションボケフィルタ生成部611は、モーションボケ量推定部610からモーションボケパラメータ(x方向ボケ量p、y方向ボケ量q)を入力する(ステップS221)。
次いで、モーションボケフィルタ生成部611は、モーションボケパラメータからモーションボケの大きさに相当する長さWと発生方向に相当する角度θ を算出する(ステップS222)。それぞれの算式は図示の通りである。
次いで、モーションボケフィルタ生成部611は、仮想上のxy平面上に、長さWの線分Lを、中点が原点と重なり、x軸との傾きが角度θとなる直線を設定する(ステップS223)。仮想上のxy平面上に線分Lを引いた状態(線上の白抜きの十字と白抜きの○を除く)の例を図19(a)に示している。
次いで、図18に戻り、モーションボケフィルタ生成部611は、線分Lを等間隔で区切った点(線分Lの片端点を含む)をli(i=0,…,N)に設定する(ステップS224)。liの座標値は、((i・W/N−W/2)cosθ,(i・W/N−W/2)sinθ))となる。図19(a)において、7等分(N=6)した場合のliを白抜きの十字で示している。
次いで、図18に戻り、モーションボケフィルタ生成部611は、liの座標値を四捨五入した値を(mi,ni)に設定する(ステップS225)。四捨五入した値の示す座標位置を図19(a)において白抜きの○で示している。なお、四捨五入する座標値として、片端点および各区切った点の座標値ではなく、各区切った線分の中点の座標値としてもよい。
次いで、図18に戻り、モーションボケフィルタ生成部611は、m=mi,n=niとなる数をカウントし、結果をC(m,n)に設定する(ステップS226)。図19(b)にC(m,n)の例(図19(a)に対応)を示している。
次いで、図18に戻り、モーションボケフィルタ生成部611は、C(m,n)を分割数(N+1)で割ることでモーションボケフィルタを生成し出力する(ステップS227)。
次に、図20はモーションボケフィルタの生成の更に他の例を示す図である。図20において、モーションボケフィルタ生成部611は、モーションボケ量推定部610からモーションボケパラメータ(x方向ボケ量p、y方向ボケ量q)を入力する(ステップS231)。
次いで、モーションボケフィルタ生成部611は、モーションボケパラメータからモーションボケの大きさに相当する長さWと発生方向に相当する角度θ を算出する(ステップS232)。それぞれの算式は図示の通りである。
次いで、モーションボケフィルタ生成部611は、仮想上のxy平面上に、長さWで幅Hの線分Lを、中点が原点と重なり、x軸との傾きが角度θとなる直線を設定する(ステップS233)。幅Hは、1×1のサイズの格子の対角線の長さよりも若干大きめに予め設定されたものである。仮想上のxy平面上に線分Lを引いた状態の例を図21に示している。
次いで、図20に戻り、モーションボケフィルタ生成部611は、xy平面上の座標値が整数となる点を中心とする縦横のサイズが1の格子を設定する(ステップS234)。
次いで、モーションボケフィルタ生成部611は、各格子(中心(m,n))と線分Lが重なる面積S(m,n)を算出する(ステップS235)。
そして、モーションボケフィルタ生成部611は、モーションボケフィルタB(m,n)を
B(m,n)=S(m,n)/WH
により生成して出力する(ステップS236)。
B(m,n)=S(m,n)/WH
により生成して出力する(ステップS236)。
図22は、W=7、θ=45°として生成したモーションボケフィルタの例を示す図であり、右上から左下に向かう対角線上の要素が1/7となり、その他の要素が0となっている。なお、長さWは基本格子の対角の長さを説明の都合上1としている。
次いで、図7に戻り、一時辞書生成部612は、モーションボケフィルタ生成部611から入力したモーションボケフィルタを小文字用の辞書613の辞書画像に適用(コンボリューション演算等)することにより一時辞書を生成して出力する(ステップS112)。図23は一時辞書の生成の例を示す図である。原画の辞書画像にモーションボケフィルタを適用することにより一時辞書画像を生成した状態を示している。
次いで、図7に戻り、小文字認識部614は、一時辞書生成部612により生成された一時辞書を用い、プレート候補画像606から一連番号の部分を除いた小文字の部分から小文字を認識し、認識された小文字または認識できなかった旨を示す小文字認識結果を出力する(ステップS113)。図24はモーションボケを加えた一時辞書画像との照合の例を示す図であり、撮像画像(プレート画像)上の白枠で囲んだ文字を一時辞書との照合により認識するにあたり、両者とも同じボケが生じた状態となっているため、一時辞書画像の「A」に明確に合致し、「B」には明確に合致しないと判断される。
次いで、図7に戻り、認識結果出力部615は、一連番号認識部607の一連番号認識結果と小文字認識部614の小文字認識結果とを含む認識結果を出力し(ステップS114)、車両検出の待機(ステップS105)に戻る。
次に、図25は、図5に示した構成の認識装置6における処理例を示すフローチャートである。
図25において、車両検出部601は、撮像装置5から撮像画像を入力すると(ステップS301)、撮像画像に外観から車両と判断される物体が含まれるか否かにより車両を検出したかどうか判断する(ステップS302)。車両を検出していないと判断した場合(ステップS302のNo)、撮像画像の入力(ステップS301)に戻る。車両を検出したと判断した場合(ステップS302のYes)、撮像時刻情報を伴う少なくとも2枚の静止画像(連続したフレームの静止画像または数フレームおきにピックアップしたフレームの静止画像)を撮像画像602として一時保存する(ステップS303)。そして、車両を検出した旨(併せて一時保存した撮像画像へのハンドルを持たせてもよい)の車両検出結果を出力し(ステップS304)、撮像画像の入力(ステップS301)に戻る。
一方、プレート検出部603は、車両検出部601の車両検出結果により車両を検出したか否か判断し(ステップS305)、車両を検出していない場合(ステップS305のNo)は待機する。車両を検出している場合(ステップS305のYes)、プレート候補抽出部604は、撮像画像602からプレートである可能性のある所定の形状(例えば、矩形または平行四辺形)の輪郭の画像部分を候補として抽出し、その画像上の座標位置(例えば、プレート下部の中央部の座標位置)をプレート候補位置として出力する(ステップS306)。
次いで、画像変換部605は、プレート候補抽出部604の出力したプレート候補位置に基づき、撮像画像602からプレート候補画像を切り出す。また、画像変換部605は、輪郭の傾きと縦横比等に基づいてアフィン変換等により正面画像に変換してプレート候補画像606として一時的に保持し、プレート候補画像を生成した旨を示す画像変換結果を出力する(ステップS307)。
次いで、モーションボケ量推定部610は、正面画像への変換後の撮像画像上に存在するモーションボケの発生方向および大きさを推定する。この推定は、プレート候補抽出部604の出力するプレート候補位置(プレート位置)および画像変換部605の画像変換に用いたパラメータ(アフィン変換の行列値等)に基づいて行われる。また、モーションボケ量推定部610は、推定結果であるモーションボケの発生方向および大きさをモーションボケパラメータとして出力する(ステップS308)。なお、対象となる車両の代表的な速度からモーションボケの大きさを既定値として与えることができる場合には、モーションボケ量推定部610においてモーションボケの発生方向のみを推定するようにしてもよい。
次いで、モーションボケフィルタ生成部611は、モーションボケ量推定部610の出力するモーションボケパラメータに基づき、コンボリューション行列等によるモーションボケフィルタを生成して出力する(ステップS309)。
次いで、一時辞書生成部612−1は、モーションボケフィルタ生成部611の出力するモーションボケフィルタを一連番号用の辞書608の辞書画像に適用(コンボリューション演算等)することにより一時辞書を生成して出力する(ステップS310)。
次いで、一連番号認識部607は、一時辞書生成部612−1により生成された一時辞書を用い、プレート候補画像606から一連番号を認識し、認識された一連番号または認識できなかった旨を示す一連番号認識結果を出力する(ステップS311)。
次いで、プレート判定部609は、一連番号認識部607の一連番号認識結果に基づき、プレートにおける一連番号の形式(例えば、4桁の数字列等)によりプレートであるか否か判定し、その旨を示すプレート判定結果を出力し、プレートでなかった場合(ステップS312のNo)、車両検出の待機(ステップS305)に戻る。
プレートであると判定した場合(ステップS312のYes)、一時辞書生成部612−2は、モーションボケフィルタ生成部611から入力したモーションボケフィルタを小文字用の辞書613の辞書画像に適用(コンボリューション演算等)することにより一時辞書を生成して出力する(ステップS313)。
次いで、小文字認識部614は、一時辞書生成部612−2により生成された一時辞書を用い、プレート候補画像606から一連番号の部分を除いた小文字の部分から小文字を認識し、認識された小文字または認識できなかった旨を示す小文字認識結果を出力する(ステップS314)。
そして、認識結果出力部615は、一連番号認識部607の一連番号認識結果と小文字認識部614の小文字認識結果とを含む認識結果を出力し(ステップS315)、車両検出の待機(ステップS305)に戻る。
<総括>
以上説明したように、本実施形態によれば、撮像装置により撮像した画像から文字等を認識する場合に、モーションボケが発生している状態でも文字等の認識精度の低下を抑制することができる。なお、撮影画像にモーションボケフィルタの逆フィルタをかける方法では、逆フィルタのサイズが大きくなり、データ処理負荷が高くなる。
以上説明したように、本実施形態によれば、撮像装置により撮像した画像から文字等を認識する場合に、モーションボケが発生している状態でも文字等の認識精度の低下を抑制することができる。なお、撮影画像にモーションボケフィルタの逆フィルタをかける方法では、逆フィルタのサイズが大きくなり、データ処理負荷が高くなる。
以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。
なお、モーションボケ量推定部610は、推定部の一例である。一時辞書生成部612は、生成部の一例である。小文字認識部614は、認識部の一例である。
以上の説明に関し、更に以下の項を開示する。
(付記1) 認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、
前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と、
を備えたことを特徴とする認識装置。
(付記2) 付記1に記載の認識装置において、
前記推定部は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成部は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識装置。
(付記3) 付記1または2のいずれか一項に記載の認識装置において、
前記生成部は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識装置。
(付記4) 付記3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。
(付記5) 付記3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。
(付記6) 付記3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。
(付記7) 付記1乃至6のいずれか一項に記載の認識装置において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識装置。
(付記8) 付記1乃至6のいずれか一項に記載の認識装置において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識装置。
(付記9) 撮像装置と照明装置と文字認識装置とを備え、
前記文字認識装置は、
認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、
前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と
を備えたことを特徴とする認識システム。
(付記10) 付記9に記載の認識システムにおいて、
前記推定部は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成部は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識システム。
(付記11) 付記9または10のいずれか一項に記載の認識システムにおいて、
前記生成部は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識システム。
(付記12) 付記11に記載の認識システムにおいて、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識システム。
(付記13) 付記11に記載の認識システムにおいて、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識システム。
(付記14) 付記11に記載の認識システムにおいて、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識システム。
(付記15) 付記9乃至14のいずれか一項に記載の認識システムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識システム。
(付記16) 付記9乃至14のいずれか一項に記載の認識システムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識システム。
(付記17) 認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定し、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成し、
前記複数の画像のいずれかと前記生成された辞書画像とを照合し、前記認識対象の認識を行う、
処理をコンピュータに実行させる認識プログラム。
(付記18) 付記17に記載の認識プログラムにおいて、
前記推定する処理は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成する処理は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
認識プログラム。
(付記19) 付記17または18のいずれか一項に記載の認識プログラムにおいて、
前記生成する処理は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
認識プログラム。
(付記20) 付記19に記載の認識プログラムにおいて、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
認識プログラム。
(付記21) 付記19に記載の認識プログラムにおいて、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
認識プログラム。
(付記22) 付記19に記載の認識プログラムにおいて、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
認識プログラム。
(付記23) 付記17乃至22のいずれか一項に記載の認識プログラムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成された辞書画像による認識を行う、
認識プログラム。
(付記24) 付記17乃至22のいずれか一項に記載の認識プログラムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成された辞書画像による認識を行う、
認識プログラム。
(付記25) 認識装置が、
認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定し、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成し、
前記複数の画像のいずれかと前記生成された辞書画像とを照合し、前記認識対象の認識を行う、
ことを特徴とする認識方法。
(付記26) 付記25に記載の認識方法において、
前記推定する処理は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成する処理は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識方法。
(付記27) 付記25または26のいずれか一項に記載の認識方法において、
前記生成する処理は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識方法。
(付記28) 付記27に記載の認識方法において、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識方法。
(付記29) 付記27に記載の認識方法において、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識方法。
(付記30) 付記27に記載の認識方法において、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識方法。
(付記31) 付記25乃至30のいずれか一項に記載の認識方法において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成された辞書画像による認識を行う、
ことを特徴とする認識方法。
(付記32) 付記25乃至30のいずれか一項に記載の認識方法において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成された辞書画像による認識を行う、
ことを特徴とする認識方法。
(付記1) 認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、
前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と、
を備えたことを特徴とする認識装置。
(付記2) 付記1に記載の認識装置において、
前記推定部は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成部は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識装置。
(付記3) 付記1または2のいずれか一項に記載の認識装置において、
前記生成部は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識装置。
(付記4) 付記3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。
(付記5) 付記3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。
(付記6) 付記3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。
(付記7) 付記1乃至6のいずれか一項に記載の認識装置において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識装置。
(付記8) 付記1乃至6のいずれか一項に記載の認識装置において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識装置。
(付記9) 撮像装置と照明装置と文字認識装置とを備え、
前記文字認識装置は、
認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、
前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と
を備えたことを特徴とする認識システム。
(付記10) 付記9に記載の認識システムにおいて、
前記推定部は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成部は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識システム。
(付記11) 付記9または10のいずれか一項に記載の認識システムにおいて、
前記生成部は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識システム。
(付記12) 付記11に記載の認識システムにおいて、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識システム。
(付記13) 付記11に記載の認識システムにおいて、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識システム。
(付記14) 付記11に記載の認識システムにおいて、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識システム。
(付記15) 付記9乃至14のいずれか一項に記載の認識システムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識システム。
(付記16) 付記9乃至14のいずれか一項に記載の認識システムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識システム。
(付記17) 認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定し、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成し、
前記複数の画像のいずれかと前記生成された辞書画像とを照合し、前記認識対象の認識を行う、
処理をコンピュータに実行させる認識プログラム。
(付記18) 付記17に記載の認識プログラムにおいて、
前記推定する処理は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成する処理は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
認識プログラム。
(付記19) 付記17または18のいずれか一項に記載の認識プログラムにおいて、
前記生成する処理は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
認識プログラム。
(付記20) 付記19に記載の認識プログラムにおいて、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
認識プログラム。
(付記21) 付記19に記載の認識プログラムにおいて、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
認識プログラム。
(付記22) 付記19に記載の認識プログラムにおいて、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
認識プログラム。
(付記23) 付記17乃至22のいずれか一項に記載の認識プログラムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成された辞書画像による認識を行う、
認識プログラム。
(付記24) 付記17乃至22のいずれか一項に記載の認識プログラムにおいて、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成された辞書画像による認識を行う、
認識プログラム。
(付記25) 認識装置が、
認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定し、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成し、
前記複数の画像のいずれかと前記生成された辞書画像とを照合し、前記認識対象の認識を行う、
ことを特徴とする認識方法。
(付記26) 付記25に記載の認識方法において、
前記推定する処理は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成する処理は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識方法。
(付記27) 付記25または26のいずれか一項に記載の認識方法において、
前記生成する処理は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識方法。
(付記28) 付記27に記載の認識方法において、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識方法。
(付記29) 付記27に記載の認識方法において、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識方法。
(付記30) 付記27に記載の認識方法において、
前記生成する処理は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識方法。
(付記31) 付記25乃至30のいずれか一項に記載の認識方法において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成された辞書画像による認識を行う、
ことを特徴とする認識方法。
(付記32) 付記25乃至30のいずれか一項に記載の認識方法において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成された辞書画像による認識を行う、
ことを特徴とする認識方法。
1 道路
2 車両
3 プレート
4 照明装置
5 撮像装置
6 認識装置
601 車両検出部
602 撮像画像
603 プレート検出部
604 プレート候補抽出部
605 画像変換部
606 プレート候補画像
607 一連番号認識部
608 辞書
609 プレート判定部
610 モーションボケ量推定部
611 モーションボケフィルタ生成部
612、612−1、612−2 一時辞書生成部
613 辞書
614 小文字認識部
615 認識結果出力部
2 車両
3 プレート
4 照明装置
5 撮像装置
6 認識装置
601 車両検出部
602 撮像画像
603 プレート検出部
604 プレート候補抽出部
605 画像変換部
606 プレート候補画像
607 一連番号認識部
608 辞書
609 プレート判定部
610 モーションボケ量推定部
611 モーションボケフィルタ生成部
612、612−1、612−2 一時辞書生成部
613 辞書
614 小文字認識部
615 認識結果出力部
Claims (11)
- 認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、
前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と、
を備えたことを特徴とする認識装置。 - 請求項1に記載の認識装置において、
前記推定部は、前記複数の画像から前記認識対象の画像上の移動方向および移動量を算出し、撮像の露光時間を用いてモーションボケの発生方向および大きさを推定し、
前記生成部は、辞書画像に前記発生方向に対する前記モーションボケの大きさのボケを加えた辞書画像を生成する、
ことを特徴とする認識装置。 - 請求項1または2のいずれか一項に記載の認識装置において、
前記生成部は、前記発生方向および前記大きさに対応したコンボリューション行列を生成し、辞書画像に前記コンボリューション行列によるコンボリューション演算を施すことで辞書画像を生成する、
ことを特徴とする認識装置。 - 請求項3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる長さを前記線分の長さで除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。 - 請求項3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さの線分を設定し、前記線分を等間隔に区切った点および前記線分の片端点の座標値、または前記線分を等間隔に区切った各区切線分の中点の座標値を四捨五入して、前記四捨五入した座標値の点の数を対応する格子の中心となる整数の格子座標値毎にカウントし、カウントした値を、前記線分を等間隔に区切った点および前記線分の片端点の数の合計値、または前記線分を等間隔に区切った数で、除した値を、各格子座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。 - 請求項3に記載の認識装置において、
前記生成部は、仮想的なxy平面上に前記発生方向および前記大きさに対応した角度および長さで所定の幅の線分を設定し、整数となる座標値を中心とした格子内での前記線分と重なる面積を前記線分の面積で除した値を、各格子の座標値に対応する行列位置に設定することで、前記コンボリューション行列を生成する、
ことを特徴とする認識装置。 - 請求項1乃至6のいずれか一項に記載の認識装置において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号については原画の辞書画像による認識を行い、
プレートと認識された後の小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識装置。 - 請求項1乃至6のいずれか一項に記載の認識装置において、
前記認識対象は車両のプレート上の文字であり、
前記プレートの一連番号および小文字について前記生成部によって生成された辞書画像による認識を行う、
ことを特徴とする認識装置。 - 撮像装置と照明装置と文字認識装置とを備え、
前記文字認識装置は、
認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定する推定部と、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成する生成部と、
前記複数の画像のいずれかと前記生成部によって生成された辞書画像とを照合し、前記認識対象の認識を行う認識部と
を備えたことを特徴とする認識システム。 - 認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定し、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成し、
前記複数の画像のいずれかと前記生成された辞書画像とを照合し、前記認識対象の認識を行う、
処理をコンピュータに実行させる認識プログラム。 - 認識装置が、
認識対象を撮像した、撮像時期が異なる複数の画像から前記認識対象の画像上の移動方向を算出し、該移動方向を、画像上に発生するモーションボケの発生方向と推定し、
辞書画像に前記発生方向に対する所定の大きさのボケを加えた辞書画像を生成し、
前記複数の画像のいずれかと前記生成された辞書画像とを照合し、前記認識対象の認識を行う、
ことを特徴とする認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015044915A JP6524721B2 (ja) | 2015-03-06 | 2015-03-06 | 認識装置、認識システム、認識プログラムおよび認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015044915A JP6524721B2 (ja) | 2015-03-06 | 2015-03-06 | 認識装置、認識システム、認識プログラムおよび認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016164737A true JP2016164737A (ja) | 2016-09-08 |
JP6524721B2 JP6524721B2 (ja) | 2019-06-05 |
Family
ID=56876675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015044915A Active JP6524721B2 (ja) | 2015-03-06 | 2015-03-06 | 認識装置、認識システム、認識プログラムおよび認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6524721B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003242445A (ja) * | 2002-02-19 | 2003-08-29 | Fujitsu Ltd | ナンバープレート読取装置 |
JP2006235921A (ja) * | 2005-02-24 | 2006-09-07 | Hitachi Ltd | 車番認識装置、および車番認識装置の電動レンズの調整方法 |
JP2010238234A (ja) * | 2009-03-30 | 2010-10-21 | Mitsubishi Electric Research Laboratories Inc | シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ |
WO2012029662A1 (ja) * | 2010-08-31 | 2012-03-08 | 国立大学法人熊本大学 | 画像処理方法および画像処理装置 |
-
2015
- 2015-03-06 JP JP2015044915A patent/JP6524721B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003242445A (ja) * | 2002-02-19 | 2003-08-29 | Fujitsu Ltd | ナンバープレート読取装置 |
JP2006235921A (ja) * | 2005-02-24 | 2006-09-07 | Hitachi Ltd | 車番認識装置、および車番認識装置の電動レンズの調整方法 |
JP2010238234A (ja) * | 2009-03-30 | 2010-10-21 | Mitsubishi Electric Research Laboratories Inc | シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ |
WO2012029662A1 (ja) * | 2010-08-31 | 2012-03-08 | 国立大学法人熊本大学 | 画像処理方法および画像処理装置 |
Non-Patent Citations (1)
Title |
---|
佐藤 徹也: "走行車両ナンバープレート画像のブレ補正", 電気学会論文誌C, vol. 117, no. 6, JPN6019012344, 20 May 1997 (1997-05-20), JP, pages 777 - 784, ISSN: 0004010990 * |
Also Published As
Publication number | Publication date |
---|---|
JP6524721B2 (ja) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948510B (zh) | 一种文档图像实例分割方法及装置 | |
EP2956891B1 (en) | Segmenting objects in multimedia data | |
JP5521164B2 (ja) | 連続して存在する英数字を識別するための画像処理システムおよびその方法 | |
JP4741704B2 (ja) | 画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラム | |
US20120269398A1 (en) | Method and system for identifying a license plate | |
JP2016516245A (ja) | モバイル装置を用いた画像内のオブジェクトの分類 | |
CN102779264B (zh) | 一种实现条码识读的方法及装置 | |
Lelore et al. | Super-resolved binarization of text based on the fair algorithm | |
CN111259878A (zh) | 一种检测文本的方法和设备 | |
CN111275036A (zh) | 目标检测方法、装置、电子设备及计算机可读存储介质 | |
Smith et al. | Effect of" ground truth" on image binarization | |
JP2016095701A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP6341059B2 (ja) | 文字認識装置、文字認識方法、およびプログラム | |
JP5338762B2 (ja) | ホワイトバランス係数算出装置及びプログラム | |
JP2010211460A (ja) | 識別モデル生成装置、対象物検出装置、及び識別モデル生成プログラム | |
CN110991440B (zh) | 一种像素驱动的手机操作界面文本检测方法 | |
CN112434581A (zh) | 一种室外目标颜色识别方法、系统、电子设备及存储介质 | |
JP2008040557A (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
US9378428B2 (en) | Incomplete patterns | |
CN111222355A (zh) | Pcb板上的条码定位方法及系统 | |
JP2016164737A (ja) | 認識装置、認識システム、認識プログラムおよび認識方法 | |
WO2015114021A1 (en) | Image capture using client device | |
CN111639640B (zh) | 基于人工智能的车牌识别方法、装置及设备 | |
JP4172236B2 (ja) | 顔画像処理装置及びプログラム | |
JP2011018175A (ja) | 文字認識装置及び文字認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6524721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |