JP2013222461A - ナンバープレート画像の確実なクロッピング - Google Patents

ナンバープレート画像の確実なクロッピング Download PDF

Info

Publication number
JP2013222461A
JP2013222461A JP2013077654A JP2013077654A JP2013222461A JP 2013222461 A JP2013222461 A JP 2013222461A JP 2013077654 A JP2013077654 A JP 2013077654A JP 2013077654 A JP2013077654 A JP 2013077654A JP 2013222461 A JP2013222461 A JP 2013222461A
Authority
JP
Japan
Prior art keywords
license plate
image
cropping
program instructions
details
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013077654A
Other languages
English (en)
Other versions
JP6163344B2 (ja
Inventor
Michael Burry Aaron
アーロン・マイケル・バリー
Fillion Claude
クロード・フィリオン
Kozitsky Vladimir
ウラディーミル・コジーツキー
Bala Raja
ラジャ・バーラ
Wang Zigan
ジガン・ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2013222461A publication Critical patent/JP2013222461A/ja
Application granted granted Critical
Publication of JP6163344B2 publication Critical patent/JP6163344B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ナンバープレートを安定してクロッピングし、正確に認識して、ノイズ源及び干渉アーチファクトを撃退する方法、システム、及びコンピュータ使用可能有形記憶装置を提供する。
【解決手段】画像ベースの分類子、及び諧調度ベースのクロッピングを用いて、ナンバープレート画像及び部分画像をぴったりと合わせてクロッピング(652)する。画像ベースの分類子により、画像上の有効な文字の位置を特定する(654)。例えば、残余プレートローテーション、及び画像内の文字のせん断等の複数のノイズ源のため、画像ベースの分類子は、画像の縁を「大ざっぱ」に特定する。諧調度ベースのクロッピングを用いる追加の処理ステップを行ってナンバープレート画像の縁を微調整する。諧調度ベースのクロッピングにより、分割及びナンバープレートの文字の認識結果にかなりの影響を及ぼす可能性のある、不要な縁のアーチファクトを削除する(658)。
【選択図】図12

Description

本発明の実施形態は、データ処理システム及びその方法に関する。本発明の実施形態はさらに、ナンバープレート認識技術に関する。また実施形態は、ナンバープレート及びナンバープレートのデータのクロッピング、及び正確な認識に関する。
自動ナンバープレート認識(「ALPR」)システムは、ビデオカメラや静止カメラにより撮影された画像内から車両ナンバープレートの番号を見つけ出し、読み取るために、警備員や警察官により使用されている。しかし、実在するほとんどのナンバープレート画像内には、例えば、暗い影、不均一な照明(車両と車両との間、昼間と夜間との間等の)、厄介な光学幾何形状(傾斜、せん断、投影歪み等)、文字の一部を覆うプレートのフレーム、及び/又はステッカー、部分的な文字の遮蔽(例えば、トレーラのヒッチボール)、僅かな濃淡差、及び一般的な画像ノイズ(ごま塩ノイズ等)等の複数の厄介なノイズ源が存在する。実際のノイズの条件のもとでは、ナンバープレートの文字を含む部分画像だけを正確に抽出することは非常に難しい。
この問題で特に難しい点は、ナンバープレートの部分画像を水平クロッピングすることに関連したものである。例えば、縁のアーチファクト、ロゴや特別な記号、及び実際のナンバープレート領域の外側にある目立つ画像コンテンツは、特に厄介である。これらの無関係な画像アーチファクトは大抵の場合、有効な文字(特に「1」)と識別することが簡単ではなく、その後の文字区分や文字認識に大きな影響を与える。
従来から、提案される方法は、ぴったりと合う水平クロッピングを行うために用いられる程きめの細かくはなく、その代り、不正確で、大ざっぱなプレートの位置確認(即ち、「プレートは、この辺のどこかにある」のような結果)に依存している。従来の位置確認の方法で用いる分類子は、個々の記号や文字よりは、むしろナンバープレート全体を認識するために構築されている。
したがって、ナンバープレートを確実にクロッピングし、正確に認識して、ノイズ源、及び干渉アーチファクトを撃退する方法及びシステムが必要となる。
ナンバープレートを確実にクロッピングし、正確に認識して、ノイズ源や干渉アーチファクトを撃退する、方法、システム、及びコンピュータ使用可能有形記憶装置を開示する。画像ベースの分類子、及び諧調度ベースのクロッピングを用いて、ナンバープレート画像、及びその部分画像をぴったりと合わせてクロッピングすることができる。画像ベースの分類子により、画像内の有効な文字の位置を特定することができる。画像ベースの分類子は、例えば、残余プレートローテーション、及び画像内の文字のせん断等の複数のノイズ源が存在するため、画像の縁を「大ざっぱ」にしか分類しない。諧調度ベースのクロッピングを用いた追加の処理ステップを行って、ナンバープレート画像の縁を微調整する。この諧調度ベースのクロッピングにより、分割及びナンバープレートの文字認識結果に大きな影響を及ぼす可能性のある、不要な縁のアーチファクトを取り除く。
図1は、開示した実施形態による、固定データを処理するために使用することができる例示的なデータ処理装置の例示的なブロック図である。 図2は、開示した実施形態による、オペレーティングシステム、アプリケーションソフトウェア、及びユーザインターフェースを含む例示的なソフトウェアシステムの例示的な概略図である。 図3は、開示した実施形態による、ナンバープレート文字の分割を実行するための例示的な処理の流れを示す、例示的なブロック図である。 図4は、開示した実施形態による、傾斜が取り除かれ、垂直方向にクロッピングされた(「TRVC」)状態のナンバープレートを示す例示的な写真画像である。 図5は、開示した実施形態による、干渉アーチファクトを示す例示的な写真画像である。 図6は、開示した実施形態による、実際のナンバープレート領域の外側の無関係な画像コンテンツを示す例示的な写真画像である。 図7は、開示した実施形態による、ナンバープレート画像を正確にクロッピングするための投影分割を示す例示的なグラフ図である。 図8は、開示した実施形態による、ナンバープレートに水平クロッピングを行うための諧調度ベースの方法を示す例示的な写真画像である。 図9は、開示した実施形態による、ナンバープレート縁が不明瞭のため失敗した諧調度ベースのクロッピングを示す例示的な写真画像である。 図10は、開示した実施形態による、ナンバープレート縁が不明瞭のため失敗した諧調度ベースのクロッピングを示す例示的な写真画像である。 図11A〜図11Dは、開示した実施形態による、ナンバープレート位置確認のために用いた画像ベースの分類子に関連した失敗モードを示す、例示的な写真画像である。 図12は、開示した実施形態による、開示したナンバープレートのクロッピング方法を示す例示的な高レベルのフローチャートである。 図13は、開示した実施形態による、特別な記号により失敗した諧調度ベースのクロッピングを示す例示的な写真画像である。 図14は、開示した実施形態による、分類子ベースの方法を用いて、特別な記号を正確に退けた様子を示す例示的な写真画像である。 図15は、開示した実施形態による、画像ベースの分類子を用いて、ナンバープレート画像のクロッピング成功した様子を示す例示的な写真画像である。 図16は、開示した実施形態による、プレートの縁のアーチファクトにより失敗した分類子ベースのクロッピングを示す例示的な写真画像である。 図17は、開示した実施形態による、プレートの縁のアーチファクトにより失敗した分類子ベースのクロッピングを示す例示的な写真画像である。 図18は、開示した実施形態による、誤り検出により失敗した分類子ベースのクロッピングを示す例示的な写真画像である。 図19は、開示した実施形態による、諧調ベースのクロッピングの座標微調整を示す例示的な高レベルのフローチャートである。 図20は、開示した実施形態による、左右の階調の連結成分(CC)、及び所望のクロッピング座標を示す例示的なグラフ図である。 図21は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。 図22は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。 図23は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。 図24は、開示した実施形態による、正確にクロッピングされたナンバープレートの画像を示す例示的な写真画像である。
当業者が理解されるように、開示した実施形態のうちの1つ以上を、方法、システム、或いは、コンピュータプログラム使用可能媒体、又はコンピュータプログラム製品として具体化することが可能である。したがって、開示している実施形態は、いくつかの例では、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアの様態とハードウェアの様態を組み合わせた実施形態の形態をとり、本明細書では、これらは全て全体を通して「モジュール」と呼ぶ。さらに、開示した実施形態は、コンピュータ使用可能媒体、コンピュータプログラム製品、コンピュータプログラムコードを格納するコンピュータ可読有形記憶装置の形態をとることができ、このコンピュータプログラムコードは、プログラム命令を含み、このプログラム命令は、その媒体内で具体化されるコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上で、プロセッサにより実行可能である。全ての好適なコンピュータ可読媒体を用いることができ、その中にはハードディスク、USBフラッシュドライブ、DVD、CDーROM、光記憶装置、磁気記憶装置等が含まれる。
本発明における動作を実行するためのコンピュータプログラムコードを、オブジェクト指向のプログラム言語(例えば、Java(登録商標)、C++、等)で書き込むことができる。しかし、本発明における動作を実行するためのコンピュータプログラムコードを、従来の「C」プログラム言語等の手続き型プログラム言語で、又は、Visual Basic等のプログラム環境で書き込むこともできる。
プログラムコードを、独立型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上、且つ、部分的に遠隔のコンピュータ上で、又は完全に遠隔のコンピュータ上で実行することができる。後者のシナリオでは、遠隔コンピュータを、ローカルエリアネットワーク(LAN)、又はワイドエリアネットワーク(WAN)、例えば、WiFi、Wimax、802.xx、及び移動体通信ネットワーク等の無線データネットワークを通してユーザのコンピュータに接続することができる、又は、ほとんど第三者にサポートするネットワーク(例えばインターネットサービスプロバイダを介してインターネットを通して)を通して、外部のコンピュータと接続することもできる。
本発明の実施形態による方法、システム、コンピュータプログラム製品、及びデータ構造のフローチャート図、及び/又はブロック図を参照して、開示されている実施形態を以下に説明する。図内の各ブロック、及びブロックの組合せは、コンピュータプログラムの命令により実行可能であることは理解されよう。これらのコンピュータプログラム命令を汎用コンピュータのプロセッサ、専用コンピュータのプロセッサ、又はその他のプログラマブルデータ処理装置に供給して、コンピュータのプロセッサ、又はその他のプログラマブルデータ処理装置を介して実行される命令により、ブロック、又は複数のブロック内で規定された機能/動作を実行する手段が得られるよう、装置を設定することができる。
図1には、サンプルデータ処理装置100のブロック図が示され、このデータ処理装置100は、改善されたナンバープレートの認識方法及びそのシステムをために用いることができる。データ処理装置100は、開示した実施形態に従って用いることができる、多くの利用可能なデータ処理装置、及び/又はコンピュータ装置のうちの一例を示す。データ処理装置100、及びその構成部品は、一般に説明のためにだけ提示されており、開示した実施形態の特徴の限定にはならないことを理解されたい。
図1に示す通り、メモリ105、大容量記憶装置107(ハードディスク等)、プロセッサ(CPU)110、リードオンリーメモリ(ROM)115、ランダムアクセスメモリ(RAM)120は、一般にデータ処理装置100内のシステムバス125に接続される。メモリ105をROM、RAM、それらの組合せ、又は単純に一般メモリユニットとして実装することができる。モジュール111は、ルーチン、及び/又はサブルーチンの形態をとるソフトウェアモジュールを含み、このソフトウェアモジュールが本発明の機能を実行し、さらにメモリ105内に格納され、次いで、プロセッサ110を介して検索され処理されて、特定の作業を実行することができる。キーボード、マウス、又はその他のポインティングディバイス等の、ユーザ入力装置140を、PCI(ペリフェラル・コンポーネント・インターコネクト)バス145に接続することができる。
データ処理装置100は、CPU110、ROM115、及びRAM120を含むことができ、これらもまたPCIのホストブリッジ135を通して、データ処理装置100のPCI(ペリフェラル・コンポーネント・インターコネクト)ローカルバス145に接続する。PCIホストブリッジ135は、低遅延経路を提供することができ、プロセッサ110は、この低遅延経路を通して、バスメモリ内、及び/又は入力/出力(I/O)アドレス空間内のどこかにマッピングされたPCI装置に直接アクセスすることができる。PCIホストブリッジ135は、高帯域幅経路を提供することもでき、これによりPCI装置が直接RAM120にアクセスすることができる。
通信アダプタ155、スモール・コンピュータ・システム・インターフェース(SCSI)150及び拡張バスブリッジ170もPCIローカルバス145に接続することができる。この通信アダプタ155を用いて、データ処理装置100とネットワーク165とを接続させることができる。SCSI150を用いて、高速のSCSIディスクドライブ160を制御することができる。PCI−ISAバスブリッジ等の拡張バスブリッジ170を用いて、ISAバス175をPCIローカルバス145に接続することができる。但し、PCIローカルバス145は、モニタ130とさらに接続することができ、このモニタ130が、ディスプレイ(例えば、ビデオモニタ)として機能して、ユーザに対するデータ及び情報を表示し、且つ、対話形式のグラフィカル・ユーザ・インターフェース(GUI)185を表示する。ユーザは、GUI 185上で適切なキー作動させて、データファイルのオプションを選択する。但し、用語「GUI」とは一般に、コンピュータのモニタ画面上に映像として表示されるアイコン、メニュー、及びダイアログボックスを用いて、プログラム、ファイル、オプション等を表す環境の一種類のことを指す。
本明細書に記載する実施形態を、オペレーティングシステム、及び1つ以上のモジュールと関連させて実装することができる。これらのモジュールが、例えば、コンピュータシステムの電子構成要素等のハードウェアモジュールを構成することができる。このようなモジュールは、ソフトウェアモジュールを構成することもできる。コンピュータプログラミングの技術において、一般にソフトウェア「モジュール」を、特定の作業を行う、又は特定な抽象データ型を実装する、ルーチン及びデータ構造の集まりとして実装することがでる。
ソフトウェアモジュールは、一般に画像処理装置の記憶場所に格納可能な命令媒体を含むことができ、一般的には2つのパートで構成される。第1のパートでは、ソフトウェアモジュールは、別のモジュール、又はルーチンからアクセス可能な定数、データ型、変数、ルーチン等を表示することができる。第2のパートでは、ソフトウェアモジュールは、非公開(即ち、おそらくそのモジュールだけがアクセス可能な)にすることができ、且つ、そのモジュールが基づいたルーチン又はサブルーチンを実際に実行するソースコードを含む実装手段として設定することができる。したがって、本明細書で用いられる用語「モジュール」とは、一般にソフトウェアモジュール、又はその実装手段のことを指すことができる。そのようなモジュールを、単独で用いて、又はいくつか用いて、プログラム製品を形成することができ、このプログラム製品は、伝送媒体、及び/又は、記録可能媒体を含む信号搬送媒体を介して実装可能である。そのような本発明の機能を具体化することができるモジュールの一例として、図2に示すナンバープレート認識モジュール155が挙げられる。
本発明の実施形態を、完全機能的なデータ処理システム(コンピュータシステム等)と関連して説明しているが、当業者なら理解されるように、本発明の実施形態のメカニズムは、様々な形態のプログラム製品として配信させることができ、本発明は、実際に配信を実行するために用いられる特定な種類の信号搬送媒体に関係なく平等に適用されるということに留意することが重要である。信号搬送媒体の例には、記憶媒体、即ちCDーROM等の記録可能型媒体、及びアナログ通信リンクやデジタル通信リンク等の伝送型媒体が含まれるが、これらには限定されない。
図2には、ソフトウェアシステム150の概略図が示され、このソフトウェアシステム150は、開示した実施形態を実行するためのオペレーティングシステム、アプリケーションソフトウェア、及びユーザインターフェースを含む。コンピュータソフトウェアシステム150は、図1に示すデータ処理システム100の動作に関する。メモリ105、及び大容量記憶装置107内に格納されるソフトウェアアプリケーション152は、カーネル、又はオペレーティングシステム151、及びシェル、又はインターフェース153を含む。データ処理システム100により実行するために、ソフトウェアアプリケーション152等の1つ以上のアプリケーションプログラムを「読み込む」ことができる(即ち、大容量記憶装置107からメインメモリ105に移動させる)。図2に示す通り、データ処理システム100は、ユーザからのコマンド、及びデータを、インターフェース153を通して受信する。次いで、ユーザからのコマンド入力が、オペレーティングモジュール151、及び/又は、アプリケーションモジュール152から命令に従ってデータ処理システム100により実行される。
インターフェース153は、ナンバープレートを表示し認識する役割も果たし、そこでは、ユーザが追加のコマンドを入力することができる、又はセッションを終了させることができる。ある実施形態では、オペレーティングシステム151、及びインターフェース153を、「Windows(登録商標)」システムと関連して実行することができる。もちろん、その他の種類のシステムでも実行可能であることは言うまでもない。例えば、従来の「Windows(登録商標)」システムよりむしろ、例えば、Linux(登録商標)等の別のオペレーションシステムも、オペレーティングシステム151、及びインターフェース153に対して用いることも可能である。ソフトウェアアプリケーション152は、ナンバープレート認識モジュールを含むことができる。ソフトウェアアプリケーション152を、インターフェース153、及び種々の構成要素、及び本明細書に記載するその他のモジュールや機構と通信するよう設定することもできる。
本明細書で使用する用語モジュールは、特定の作業を行う、又は特定の抽象データ型を実行するルーチンやデータ構造の集まりのことを指すことに留意されたい。モジュールは、次の2つのパート、別のモジュール又は別のルーチンがアクセス可能な定数、データ型、変数、及びルーチンを表示するインターフェースと、非公開であり(そのモジュールだけがアクセス可能)モジュール内のルーチンを実際に実行するソースコードを含む実装手段と、から構成され得る。またモジュールという用語は、単にアプリケーション、文書処理、会計、在庫管理、音楽プログラムの予定管理等の、特定な作業の実行を支援するよう設計されたコンピュータプログラムを指すこともできる。
一般にプログラムモジュールは、特定の作業を行う、又は抽象データ型を実行するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。さらに、当業者なら理解されようが、開示した方法及びシステムを、例えば、携帯型装置、マルチプロセッサシステム、マイクロプロセッサベースの、又はプログラマブル大衆消費電子製品、ネットワークに接続するPC、ミニコンピュータ、メインフレームコンピュータ等のその他のコンピュータのシステム構成を用いて実施することも可能である。
図3には、開示した実施形態による、ナンバープレートの文字分割を実行するための例示的な処理の流れの例示的なブロック図200が示される。201で示す通り、ALPR処理では、ブロックナンバープレートの画像を取得する。次いで、ブロック202で示す通り、このナンバープレートをローカライズする。ブロック203で示す通り、計算負荷を最小にし、ナンバープレートの画像内に存在する無関係なノイズ削減するため、ぴったりと合う境界ボックス(「TBB」)内の部分画像を抽出により特定する。ナンバープレートTBBの部分画像からのナンバープレートの文字の抽出には、次の動作、例えば、傾斜の除去、垂直クロッピング、及び水平クロッピングが含まれる。ブロック204で示す通り、文字を分割することで、その後の、ブロック205で示す文字認識に劇的な効果を及ぼす。分割204に関する課題は、文字認識205、及びブロック206で示すナンバープレートの管轄地域の特定を非常に正確に行うことができる、確実で、非常に正確で、計算効率のよい方法を提供することである。
図4には、開示した実施形態による、傾斜が取り除かれ垂直方向にクロッピングされた(「TRVC」)状態の、例示的なナンバープレートの写真画像250が示される。図4に示すような画像こそ、確実な水平クロッピングの方法を必要とする画像である。水平クロッピングは、次の事象に、例えば、ナンバープレートの縁アーチファクト、ロゴ、特別な記号、及びその他のナンバープレート自体の中の非有効な文字コンテンツ、並びに実際のナンバープレート領域の外側で目立つ画像コンテンツの影響を受ける恐れがある。
図5には、開示した実施形態による、例示的な干渉アーチファクトの写真画像300が示される。ナンバープレート、プレートのフレームと、車両の背景画像と、の間の大きな濃淡差のよる画像内のハードエッジにより、縁のアーチファクは発生し得る。しかし、文字分割の過程では、大抵の場合これらの縁を実際の文字と区別することが難しい。ほとんどの場合、これらの縁が、有効な「1」と極めて類似し得る。その結果、これらの縁の存在により、実際の文字に関する分割カットが歪んでしまうこと、及び/又は、この縁のコンテンツが文字として分割結果に含まれてしまうことうちの1つ以上のことが発生する恐れがある。したがって、ナンバープレートの画像を水平クロッピングすることで、ナンバープレートの縁、及び/又はプレートのフレームと無関係な縁を適切に取り除かれなければ、文字分割、及びその後の認識においてエラーが発生する恐れがある。図5に示す通り、有効な文字とナンバープレートの縁との間の距離の長さを変更することで、特別な記号やロゴ、及びナンバープレートのフレームの共用部分が存在することで、特に厄介な縁のアーチファクトを分離し取り除くことができる。
図6には、開示した実施形態による、実際のナンバープレート領域の外側の無関係な画像コンテンツの例示的な写真画像350が示される。図6に示す通り、実際のナンバープレート領域の外側に存在する大量の無関係な画像コンテンツ(即ち、ノイズ源)は、適切にナンバープレートをクロッピングし、文字を分割するための、特に厄介なもう1つの問題である。質感ベースの方法、又は完全に諧調度ベース方法だけを用いて、ナンバープレートの文字を分割すること、有効なナンバープレートの文字コンテンツを識別することが難しくなる。上記に概説したノイズ源が、適切に取り除かれなければ、分割が不完全となり、最終的に文字認識の過程でエラーが発生する。
図7には、開示した実施形態による、ナンバープレート画像を水平寸法で正確にクロッピングするための投影分割の例示的なグラフ図400が示される。ナンバープレート画像を水平寸法で正確にクロッピングするために、投影分割を用いて、ナンバープレートの文字を分割することができる。投影分割では、画像の縦列に沿って、平均値(即ちヒストグラム401)をとる。次いで、得られたデータの山と谷の分析結果を用いて、ナンバープレートコンテンツと背景402との間の切れ目らしき場所を特定する。クロッピングを行うための、投影分割は、次の、不均一な照明、ナンバープレートと車両の背景との間の僅かな濃淡差、画像内のナンバープレートの過度のせん断、ナンバープレート領域の外側の目立つ画像コンテンツのような実在のノイズに対して著しく安定しているわけではないため問題がある。
図8には、開示した実施形態による、ナンバープレートの水平クロッピングに関する、諧調度ベースの成功した方法の例示的な写真画像450が示される。この諧調度ベースの方法は、ナンバープレートの水平クロッピングにも応用可能である。図8には、元のTRVC画像が451で示され、続いて二値化した諧調度452(ナンバープレートの縁の検知結果)が示され、そして最後に、この諧調度情報453を用いてクロッピングした画像が示される。
図9には、開示した実施形態による、無関係な縁のコンテンツにより失敗した諧調度ベースのクロッピングの例示的な写真画像500が示される。この諧調度ベースの技術では、ナンバープレート領域の外側の目立つ縁コンテンツにより、水平クロッピングの縁を正確には特定しない。
図10には、開示した実施形態による、不明瞭なナンバープレートの縁により失敗した諧調度ベースのクロッピングの例示的な写真画像が示される。ナンバープレートと背景画像との間の濃淡差が僅かだと、諧調度ベースのクロッピングは失敗する。
図11A〜図11Dには、開示した実施形態による、ナンバープレートの位置確認のための画像ベースの分類子に関連した、いくつかの失敗モードの例示的な写真画像600が示される。画像ベースの分類子のいくつかの形態に依存するクロッピング技術を用いることもできる。画像ベース分類子は、プレートのローカライジング(即ち元画像の領域内のプレートの存在の検知)には非常に適し得るが、ナンバープレートの部分画像の正確な水平クロッピングには適し得ない。このことは、成功した位置確認の例の中から、クロッピング失敗モードがいくつか見られることから容易に確認することができる。例えば、画像602、603は、文字が欠け、画像601、604は、縁のアーチファクトを含んでいる。
図12には、開示した実施形態による、開示したナンバープレートのクロッピングの方法を示す例示的な高レベルフローチャート650が示される。開示された実施形態では、有効なナンバープレート領域を特定し、水平クロッピングを行う方法が提供される。この方法は、画像内の縁のアーチファクト、ロゴ、特別な記号、及び有効なナンバープレート領域の外側の目立つ画像コンテンツに対して安定している。正確な水平クロッピングにより、その後の文字分割ステップ、及び文字の認識ステップの正確さが著しく改善される。
ブロック651で示す通り、ナンバープレートの特定は開始される。次に、ブロック652で示す通り、候補のプレート画像を垂直方向にクロッピングしながら、その画像から傾斜を取り除く。ブロック653で示す通り、分類子テンプレートの標準垂直寸法に各ROIをサイズ変更する。次に、ブロック654で示す通り、画像ベースの分類子を適用し、候補のナンバープレート画像を走査して、候補の文字位置を特定する。この分類子が、有効な文字の検知器として機能して、文字画像が存在しそうな画像のサブセットを示す。有効なナンバープレートの部分画像の最も左の検知文字と、最も右の検知文字とにより境界されると仮定することができる。文字の数655が最小数656を超える場合、ブロック657で示す通り、検知文字の位置で大ざっぱな水平クロッピングを実行する。このステップの後で、ブロック658で示す通り、諧調度ベースの縁検知を適用して、残余の縁のアーチファクトを取り除く。次いでブロック661で示す通り、特定処理は終了する。文字の数655が最小数659を超えない場合、ブロック660で示す通り、このROIを無効とマークする。その後、ブロック661で示す通り、この処理は終了する。
図15には、開示した実施形態による、画像ベースの分類子を用いて、成功したナンバープレート画像のクロッピングの例示的な写真画像800が示される。画像ベースの分類子を訓練して、有効な文字/記号と、その他のナンバープレート/車両のコンテンツとを区別させることができる。例えば、好ましい実施形態では、Sparse Network of Winnows(「SNoW」)の分類子を用いて、有効な記号の位置を特定し、その位置結果に基づいて、ナンバープレートをクロッピングする。SNoWベースの分類子が、実行時間で計算効率を維持しながら、高次元特徴を活用する。有効なナンバープレートの文字、ナンバープレートの縁と、プレート上の特別な記号又はロゴとの間の様々な距離を処理するためには、SNoWベースの技術の方が諧調度ベースのアプローチよりも確実である(図13の例示的な写真画像700と、図14の例示的な写真画像750に示す通り)。SNoWベースの方法では、クロッピングに関して必要なぴったりと合う位置確認を行うことができる。開示した実施形態では、逐次平均量子化変換(「SMQT」)を用いて生成されるローカル画像の特徴上で動作するSNoWベースの機械学習の分類子アーキテクチャーを、有効な文字位置を検知するときに用いる。SMQTの特徴は、例えば、一般にナンバープレートの画像内で見られる強力な照明の変化等のスケール、及びオフセットノイズに対して安定している。
図16及び図17には、開示した実施形態による、プレートの縁のアーチファクトのために失敗した分類子ベースのクロッピングの例示的な写真画像850、900がそれぞれ示される。
図18には、開示した実施形態による、誤り検出により失敗した分類子ベースのクロッピングの例示的な写真画像950が示される。濃淡差が極端に僅かな条件でも、有効な文字を検知する必要があるため、分類子ベースの方法では誤り検出が起こり得る。より具体的には、暗い照明の条件のもとでは、ナンバープレートの周りの領域内の垂直なコンテンツは大抵「1」又は「誤り検出」と間違われる可能性がある。
画像ベースの文字検知器は、ロゴ、特別な記号、及びその他のプレート領域の外側の目立つ画像コンテンツを廃棄することができる。しかし、図16及び図17で示す通り、この種類の分類子は、縁のアーチファクトをうまく処理することができない。これらの残余アーチファクトを取り除くため、本発明では諧調度ベースの分析ステップを適用して、画像ベースの分類子から得られたクロッピングの縁を微調整する。
図19には、開示した実施形態による、クロッピング座標を諧調ベースで微調整することに関する例示的な高レベルのフローチャート1000が示される。ブロック1001で示す通り、微調整の処理が開始される。ブロック1002で示す通り、2Dメディアンフィルタを用いて画像を滑らかにした後、ブロック1003で示す通り、各画素位置でエッジ画像の諧調度を算出する。次いで、水平(x)成分と垂直(y)成分との荷重和を用いて、以下の通り諧調度大きさを算出する。
但し、画素位置(x,y)おいて、G(x,y)は、全ての重み付けされた諧調度の大きさであり、g(x,y)は、未処理の水平の諧調度の大きさであり、g(x,y)は、未処理の垂直の諧調度の大きさである。好ましい実施形態では、この合計のx成分とy成分に関する重み、即ちαとαとを、それぞれ10.0と1.0とに設定する。次いで、等式(1)内の諧調度行列を正規化し二値画像(即ち、エッジ画像)に変換する。ブロック1004で示す通り、結合成分(「CC」)を特定しスクリーニングを実行して、最も可能性のあるプレートの縁のブロブ(blob)を判定する。この一連の枝刈り工程は、次のような特性を有する。例えば、
縁のアーチファクトは、短すぎるものは破棄して、垂直方向にクロッピングされた画像内の上から下まで延在していなければならない。
縁のエッジは、大きく傾いているものは破棄して、実質的に垂直でなければならない。
プレートの縁による、CCのアスペクト比(即ち、高さを幅で割った値)は、所定の閾値を超えなければならない。その幅と比較して、十分に高くないものは全て破棄する。
枝刈り終了後、ブロック1005で示す通り、候補のプレートの縁/エッジのCCを用いて、位置情報に基づいて、ナンバープレートの左と右の縁と思われる部分を特定する。ゼロ以上の縁のアーチファクトの全ての組合せを、プレートの左右で残すことができる(例えば、左ではなに見つからず、右ではアーチファクトが1つ見つかる、複数のアーチファクトが左右両方で見つかる等)。ブロック1006で示す通り、画像の中心線に沿った縁のアーチファクトで最も左のエッジ座標、及び縁のアーチファクトで最も右のエッジ座標を推定する。それらの水平中心座標に基づいて、CCを分類する。次に、その中心座標がプレートの中心より小さいCCを「左の縁」と分類し、プレートの中心以上のCCを全て「右の縁」と分類する。この時点で、ゼロ以上のCCが、左の縁のグループ内と右の縁のグループ内の両方に存在する可能性がある。少なくとも1つの左の縁のCCが存在する場合、等式(2)により、最も大きな諧調度を選択する。ブロック1007で示す通り、このクロッピング座標をその画像に関する左右のクロッピング座標として用いることができる。プレートの濃淡値は、背景の濃淡値より高いものと仮定する。暗が明に変遷する大きな諧調度の部分を検索する。
但し、G(x,y)は、画素位置(x,y)での画像諧調度の水平(x)成分の大きさであり、iは結合成分のブロブの指数であり、Sは、結合成分CCの領域内に含まれる画像の画素のサブセットである。左の縁が見つからない場合、画像分類子のステップでは、生成される画像の左側に沿ってクロッピングは行われない。
プレートの右の縁のクロッピング座標も、暗が明に変遷する最も大きな諧調度の部分を検索することを除外して、同様に求めることができる。
等式(2)と等式(3)の両方とも、プレートの縁と思われるエッジの分析から得られる結合成分の指数を表す。ブロック1008で示す通り、クロッピング処理は終了する。
図20には、開示した実施形態による、選択された左右の階調度のCC、及び所望のクロッピング座標の例示的なグラフ図1050が示される。所望のクロッピング座標を得るために、特定したCCのブロブの縁の内側(ナンバープレートの内側に向かって)で、画像の中心線に沿った水平座標を見出す。
図21、図22、図23、及び図24には、開示した実施形態による、正確にクロッピングされたナンバープレート画像の例示的な写真画像1100、1150、1200、1250がそれぞれ示される。これらの場合では、図中の一連の部分画像はそれぞれ、1)元のTRVC画像1101、1151、1201、1251、2)画像分類子段階での出力画像1102、1152、1202、1252、3)諧調度ベース分析の一部であるエッジ画像103、1153、1203、1253、4)画像分類子と諧調度情報の両方を用いて得られたクロッピング済みのTBB画像1104、1154、1204、1254である。
上述の内容に基づいて、複数の異なる実施形態、好ましい実施形態、及び代替的な実施形態が、本明細書で開示されていることを理解されたい。例えば、ある実施形態では、ナンバープレート画像の確実なクロッピングを行う方法が開示される。この方法は、画像ベースの分類子を用いて、ナンバープレート画像の第1の詳細を特定するステップと、諧調度ベース分類子を用いて、ナンバープレート画像の第2の詳細を特定するステップと、特定された第1の詳細、及び特定された第2の詳細を用いて、ナンバープレートの画像内のナンバープレートを正確に認識し、特定するステップと、を含むことができる。
別の実施形態では、画像ベースの分類子を用いて、ナンバープレート画像の第1の詳細を特定するステップには、大ざっぱにナンバープレート画像上の文字の位置を特定するステップが含まれ得る。第1の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレートの縁、及びナンバープレートの外側の無関係なエッジ情報のうちの少なくとも1つが含まれ得る。第1の詳細にはまた、ノイズ源も含まれ得、このノイズ源には、残余プレートローテーション、ナンバープレート画像内の文字のせん断、暗い影、不均一な照明、厄介な光幾何学形状、傾斜、せん断、投影歪み、ナンバープレートのフレーム、ナンバープレートのステッカー、ナンバープレート上の文字を部分的に覆うナンバープレートのフレーム、ナンバープレート上の文字を部分的に覆うナンバープレートのステッカー、部分的な文字の遮蔽、トレーラのヒッチボール、僅かな濃淡差、一般的なナンバープレート画像ノイズ、及びごま塩ノイズのうちの少なくとも1つが含まれ得る。
他の実施形態では、諧調度ベースの分類子を用いて、ナンバープレートの画像の第2の詳細を特定するステップには、ナンバープレートのエッジ効果、ナンバープレートのフレーム、ナンバープレートの縁のアーチファクト、及び過度の文字のせん断に対する安定性に関する第2の詳細を微調整して、分割及び文字認識の結果を改善するステップが含まれ得る。第2の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレートの縁、ナンバープレートの外側の無関係なエッジ情報のうちの少なくとも1つが含まれ得る。
さらに他の実施形態では、この方法は、画像ベースの分類子、及び諧調度ベース分類子を用いて、ナンバープレート画像をぴったりと合わせてクロッピングして、ナンバープレートの部分画像を生成するステップであって、ナンバープレート画像を水平クロッピングして、ナンバープレート画像内のノイズ源、及び干渉アーチファクトを撃退するステップと、ナンバープレート部分画像からロゴを取り除くステップ、ナンバープレート部分画像から記号を取り除くステップ、及びナンバープレート部分画像を文字認識に提出する前に、ナンバープレート部分画像からアーチファクトにフラッギングするステップのうちの少なくとも1ステップと、ナンバープレートの部分画像上の諧調度ベースの分類子を用いて、ナンバープレートの縁のアーチファクトを特定して、有効なナンバープレートの文字を誤って破棄することなく、ナンバープレートの縁のアーチファクトを取り除くため正確に判定するステップと、ナンバープレートの画像を保存するステップと、ナンバープレート画像をローカライジングするステップと、を含むことができる。
別の実施形態では、この方法は、ぴったりと合う境界ボックスナンバープレートの部分画像を抽出して、ナンバープレートの画像内のノイズの存在を削減するステップと、ぴったりと合う境界ボックスナンバープレート部分画像から、傾斜の削除、垂直クロッピング、及び水平クロッピングのうちの少なくとも1つを介して、ナンバープレートの文字を抽出するステップと、ナンバープレート文字を認識し、ナンバープレートを特定する、確実な、非常に正確で、計算効率のよい方法のために、ぴったりと合う境界ボックスのナンバープレートの部分画像内のナンバープレートの文字を分割するステップと、Sparse network of Winnowsの分類子を用いて、第1の詳細及び第2の詳細を特定し、このSparse network of Winnowsの分類子が、ナンバープレート上の文字間の様々な距離、ナンバープレートの縁、記号、特別な記号、及びナンバープレート上のロゴのうちの少なくとも1つを撃退するステップと、を含むことができる。
他の実施形態では、ナンバープレート画像を確実にクロッピングするためのシステムが開示される。このシステムは、プロセッサ、プロセッサに接続したデータバス、及びコンピュータプログラムコードを格納したコンピュータ使用可能有形記憶装置を含むことができ、このコンピュータプログラムコードが、ナンバープレート画像の確実なクロッピングのために、プロセッサにより実行可能なプログラム命令を含む。このプログラム命令には、画像ベースの分類子を用いて、ナンバープレート画像の第1の詳細を特定するためのプログラム命令と、諧調度ベースの分類子を用いて、ナンバープレート画像の第2の詳細を特定するためのプログラム命令と、特定された第1の詳細、及び特定された第2の詳細を用いて、ナンバープレート画像内のナンバープレートを正確に認識するためのプログラム命令と、が含まれ得る。

Claims (10)

  1. ナンバープレート画像を確実にクロッピングする方法であって、
    画像ベースの分類子を用いて、前記ナンバープレート画像の第1の詳細を特定するステップと、
    諧調度ベース分類子を用いて、前記ナンバープレート画像の第2の詳細を特定するステップと、
    前記特定された第1の詳細、及び前記特定された第2の詳細を用いて、前記ナンバープレート画像内のナンバープレートを正確に認識し、特定するステップと、を含む方法。
  2. 前記画像ベースの分類子を用いて、前記前記ナンバープレート画像の第1の詳細を特定するステップには、前記ナンバープレート画像上の文字の位置を大ざっぱに特定することが含まれる、請求項1に記載の方法。
  3. 前記第1の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレートの縁、及び前記ナンバープレートの外側の無関係なエッジ情報のうちの少なくとも1つが含まれる、請求項1に記載の方法。
  4. 前記第1の詳細には、ノイズ源が含まれ、前記ノイズ源には、残余プレートローテーション、前記ナンバープレート画像内の文字のせん断、暗い影、不均一な照明、厄介な光幾何学形状、傾斜、せん断、投影歪み、ナンバープレートのフレーム、ナンバープレートステッカー、前記ナンバープレート上の文字を部分的に覆うナンバープレートのフレーム、前記ナンバープレート上の文字を部分的に覆うナンバープレートのステッカー、部分的な文字の遮蔽、トレーラヒッチボール、僅かな濃淡差、一般的なナンバープレート画像のノイズ、ごま塩ノイズのうちの少なくとも1つが含まれる、請求項1に記載の方法。
  5. 前記諧調度ベースの分類子を用いて、前記ナンバープレート画像の前記第2の詳細を特定するステップには、ナンバープレートエッジ効果、ナンバープレートのフレーム、ナンバープレートの縁のアーチファクト、及び過度な文字のせん断に対する安定性に関する前記第2の詳細を微調整して、分割及び文字認識の結果を改善することがさらに含まれる、請求項1に記載の方法。
  6. ナンバープレート画像を確実にクロッピングするためのシステムであって、
    プロセッサと、
    前記プロセッサに接続したデータバスと、
    コンピュータプログラムコードを格納したコンピュータ使用可能有形記憶装置であって、前記コンピュータプログラムコードが、ナンバープレート画像の確実なクロッピングを行うための、前記プロセッサにより実行可能なプログラム命令を含み、前記プログラム命令には、
    画像ベースの分類子を用いて、前記ナンバープレート画像の第1の詳細を特定するためのプログラム命令と、
    諧調度ベース分類子を用いて、前記ナンバープレート画像の第2の詳細を特定するためのプログラム命令と、
    前記特定された第1の詳細、及び前記特定された第2の詳細を用いて、前記ナンバープレート画像内のナンバープレートを正確に認識し、特定するためのプログラム命令と、が含まれる、コンピュータ使用可能有形記憶装置と、を含むシステム。
  7. 前記画像ベースの分類子を用いて、前記ナンバープレート画像の前記第1の詳細を特定するための前記プログラム命令が、前記ナンバープレート画像上の文字の位置を大ざっぱに特定するためのプログラム命令をさらに含み、前記第1の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレート縁、及び前記ナンバープレートの外側の無関係なエッジ情報のうちの少なくとも1つが含まれる、請求項6に記載のシステム。
  8. 前記第1の詳細には、ノイズ源が含まれ、前記ノイズ源には、残余プレートローテーション、前記ナンバープレート画像内の文字のせん断、暗い影、不均一な照明、厄介な光幾何学形状、傾斜、せん断、投影歪み、ナンバープレートのフレーム、ナンバープレートのステッカー、前記ナンバープレート上の文字を部分的に覆うナンバープレートのフレーム、前記ナンバープレート上の文字を部分的に覆うナンバープレートのステッカー、部分的な文字の遮蔽、トレーラヒッチボール、僅かな濃淡差、一般的なナンバープレート画像のノイズ、及びごま塩ノイズのうちの少なくとも1つが含まれる、請求項6に記載のシステム。
  9. 前記諧調度ベースの分類子を用いて、前記前記ナンバープレート画像の第2の詳細を特定するための前記プログラム命令には、ナンバープレートエッジ効果、ナンバープレートのフレーム、ナンバープレートの縁のアーチファクト、及び過度な文字のせん断に対する安定性に関する前記第2の詳細を微調整して、分割及び文字認識の結果を改善するためのプログラム命令がさらに含まれ、前記第2の詳細には、文字、有効な文字、記号、特別な記号、ロゴ、ナンバープレートの縁、僅かな濃淡差のナンバープレートの縁、検知不能なプレート縁、前記ナンバープレートの外側の無関係なエッジ情報のうちの少なくとも1つが含まれる、請求項6に記載のシステム。
  10. ナンバープレート画像を確実にクロッピングするプロセッサにより実行可能なプログラム命令を含む、コンピュータプログラムコードを格納したコンピュータ使用可能有形記憶装置であって、前記プログラム命令には、
    画像ベースの分類子を用いて、前記ナンバープレート画像の第1の詳細を特定するためのプログラム命令と、
    諧調度ベースの分類子を用いて、前記ナンバープレート画像の第2の詳細を特定するためのプログラム命令と、
    前記特定された第1の詳細、及び前記特定された第2の詳細を用いて、前記ナンバープレート画像内のナンバープレートを正確に認識し、特定するためのプログラム命令と、が含まれる、コンピュータ使用可能有形記憶装置。
JP2013077654A 2012-04-17 2013-04-03 ナンバープレート画像の確実なクロッピング Expired - Fee Related JP6163344B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/448,976 2012-04-17
US13/448,976 US9760789B2 (en) 2012-04-17 2012-04-17 Robust cropping of license plate images

Publications (2)

Publication Number Publication Date
JP2013222461A true JP2013222461A (ja) 2013-10-28
JP6163344B2 JP6163344B2 (ja) 2017-07-12

Family

ID=49323399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013077654A Expired - Fee Related JP6163344B2 (ja) 2012-04-17 2013-04-03 ナンバープレート画像の確実なクロッピング

Country Status (3)

Country Link
US (1) US9760789B2 (ja)
JP (1) JP6163344B2 (ja)
DE (1) DE102013206009A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195908B2 (en) * 2013-05-22 2015-11-24 Xerox Corporation Snow classifier context window reduction using class t-scores and mean differences
KR102187867B1 (ko) * 2013-07-09 2020-12-07 삼성전자 주식회사 휴대단말기의 정보 처리 장치 및 방법
US9412031B2 (en) * 2013-10-16 2016-08-09 Xerox Corporation Delayed vehicle identification for privacy enforcement
CN103680149B (zh) * 2013-12-19 2016-01-20 山东大学 基于高架匝道口车牌识别高峰主动诱导工作装置及其工作方法
CN103646550A (zh) * 2013-12-30 2014-03-19 中国科学院自动化研究所 一种智能车牌识别系统
US9569681B2 (en) 2014-04-10 2017-02-14 Xerox Corporation Methods and systems for efficient image cropping and analysis
CN103985135B (zh) * 2014-06-07 2017-03-15 山西中创伟业科技有限公司 一种基于差分边缘图像的车牌定位方法
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
US9589202B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US9563814B1 (en) 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US10579892B1 (en) 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9558419B1 (en) 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US9600733B1 (en) 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US9594971B1 (en) 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US9589201B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
KR101657962B1 (ko) * 2014-10-16 2016-09-21 렉스젠(주) 차량 번호 입력 장치 및 그 방법
US9418305B1 (en) 2015-04-29 2016-08-16 Xerox Corporation Segmentation free approach to automatic license plate recognition
US10242395B1 (en) * 2015-04-30 2019-03-26 Amazon Technologies, Inc. Providing shopping links to items on a network page
CN105512662A (zh) * 2015-06-12 2016-04-20 北京卓视智通科技有限责任公司 一种无牌车辆检测方法及装置
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法
US9911055B2 (en) 2016-03-08 2018-03-06 Conduent Business Services, Llc Method and system for detection and classification of license plates
CN107220579B (zh) * 2016-03-21 2020-02-04 杭州海康威视数字技术股份有限公司 一种车牌检测方法及装置
CN108108729B (zh) * 2016-11-25 2021-08-20 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法及装置
CN106886775A (zh) * 2017-01-20 2017-06-23 广西科技大学鹿山学院 一种车标识别方法、及启动方法
CN108961316B (zh) * 2017-05-23 2022-05-31 华为技术有限公司 图像处理方法、装置及服务器
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技(深圳)有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN107358795A (zh) * 2017-07-17 2017-11-17 陈剑桃 一种有效的车牌识别系统
CN109685058B (zh) 2017-10-18 2021-07-09 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
CN108647563A (zh) * 2018-03-27 2018-10-12 阿里巴巴集团控股有限公司 一种车辆定损的方法、装置及设备
CN113326497B (zh) * 2018-04-09 2023-06-30 西安艾润物联网技术服务有限责任公司 基于车牌图形的程序访问方法、终端及云服务器
FR3081245B1 (fr) * 2018-05-17 2020-06-19 Idemia Identity & Security France Procede de reconnaissance de caracteres
CN109101968A (zh) * 2018-08-09 2018-12-28 四川理工学院 一种车牌识别系统及识别方法
CN110569856B (zh) * 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
TWI677826B (zh) * 2018-09-19 2019-11-21 國家中山科學研究院 車牌辨識系統與方法
CN109447117B (zh) * 2018-09-25 2023-06-30 平安科技(深圳)有限公司 双层车牌识别方法、装置、计算机设备及存储介质
CN109389110B (zh) * 2018-10-11 2021-03-19 北京奇艺世纪科技有限公司 一种区域确定方法及装置
US11288507B2 (en) 2019-09-27 2022-03-29 Sony Corporation Object detection in image based on stochastic optimization
EP3798897A1 (en) * 2019-09-30 2021-03-31 JENOPTIK Traffic Solutions UK Ltd Methods for artificial neural networks
CN112686246B (zh) * 2019-10-18 2024-01-02 深圳市优必选科技股份有限公司 一种车牌字符分割方法、装置、存储介质及终端设备
US11651601B1 (en) 2022-01-26 2023-05-16 Conduent Business Services, Llc Automatic license plate recognition camera for traffic enforcement
US11557133B1 (en) 2022-04-22 2023-01-17 Verkada Inc. Automatic license plate recognition
US11978267B2 (en) * 2022-04-22 2024-05-07 Verkada Inc. Automatic multi-plate recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182236A (ja) * 2003-12-17 2005-07-07 Koito Ind Ltd 車両ナンバー読み取り装置
JP2006309402A (ja) * 2005-04-27 2006-11-09 Mitsubishi Heavy Ind Ltd 文字列認識方法、ナンバープレート認識方法、及び装置
US20070292029A1 (en) * 2006-06-16 2007-12-20 Shen-Zheng Wang Cascade plate recognition system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081685A (en) * 1988-11-29 1992-01-14 Westinghouse Electric Corp. Apparatus and method for reading a license plate
JPH09259219A (ja) 1996-03-26 1997-10-03 Sharp Corp 文字認識方法
KR100295360B1 (ko) 1998-10-13 2001-11-26 윤종용 쉐이딩알고리즘을이용한영상처리방법
JPWO2004084121A1 (ja) 2003-03-17 2006-06-22 富士通株式会社 車両識別方法及び装置
JP4928310B2 (ja) 2007-03-02 2012-05-09 キヤノン株式会社 ナンバープレート認識装置、その制御方法、コンピュータプログラム
US8218822B2 (en) 2007-05-14 2012-07-10 Pips Technology, Inc. Apparatus and method for recognizing the state of origin of a vehicle license plate
PT103960B (pt) 2008-02-07 2010-05-10 Brisa Auto Estradas De Portuga Sistema reconhecimento automático de matrículas integrado num sistema de cobranças electrónica de portagens
TWI409718B (zh) 2009-12-04 2013-09-21 Huper Lab Co Ltd 移動中車輛之車牌定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182236A (ja) * 2003-12-17 2005-07-07 Koito Ind Ltd 車両ナンバー読み取り装置
JP2006309402A (ja) * 2005-04-27 2006-11-09 Mitsubishi Heavy Ind Ltd 文字列認識方法、ナンバープレート認識方法、及び装置
US20070292029A1 (en) * 2006-06-16 2007-12-20 Shen-Zheng Wang Cascade plate recognition system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤武彦, 外8名: ""自動ナンバープレート読取装置の開発"", SEIテクニカルレビュー, vol. 第181号, JPN6017001717, 31 July 2012 (2012-07-31), pages 99 - 103 *

Also Published As

Publication number Publication date
DE102013206009A1 (de) 2013-10-31
US20130272579A1 (en) 2013-10-17
JP6163344B2 (ja) 2017-07-12
US9760789B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
JP6163344B2 (ja) ナンバープレート画像の確実なクロッピング
US11164027B2 (en) Deep learning based license plate identification method, device, equipment, and storage medium
US8934676B2 (en) Robust character segmentation for license plate images
JP6335573B2 (ja) 自動ナンバープレート認識アプリケーションにおける文字切り出しのための方法およびシステム
US8792682B2 (en) Method and system for identifying a license plate
US11682225B2 (en) Image processing to detect a rectangular object
US9042647B2 (en) Adaptive character segmentation method and system for automated license plate recognition
US9911055B2 (en) Method and system for detection and classification of license plates
US20190156123A1 (en) Method, electronic device and non-transitory computer readable storage medium for image annotation
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
US9633050B2 (en) Methods for assessing image change and devices thereof
US20130279758A1 (en) Method and system for robust tilt adjustment and cropping of license plate images
US11227153B2 (en) Automated systems and methods for identifying fields and regions of interest within a document image
JP2018136926A (ja) コンテナコード認識のための方法及びシステム
US9111183B2 (en) Performing a comparison between two images which are scaled to a common resolution
US11315242B2 (en) Automated fracture detection using machine learning models
US10482344B2 (en) System and method for performing optical character recognition
US20160148076A1 (en) Method and system for automating an image rejection process
US20210182548A1 (en) Automated systems and methods for identifying fields and regions of interest within a document image
CN106384071A (zh) 一种二维码扫描识别处理方法及装置
CN116824135A (zh) 基于机器视觉的大气自然环境试验工业产品识别分割方法
EP2911112A1 (en) Methods for assessing image change and devices thereof
US11928877B2 (en) Systems and methods for automatic context-based annotation
CN117541860A (zh) 垃圾邮件识别方法、装置、设备及存储介质
CN117079217A (zh) 一种宽视场图像的目标检测方法和目标检测装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170619

R150 Certificate of patent or registration of utility model

Ref document number: 6163344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees