JP2018142756A - Camera device, detection device, detection system and mobile body - Google Patents
Camera device, detection device, detection system and mobile body Download PDFInfo
- Publication number
- JP2018142756A JP2018142756A JP2017034128A JP2017034128A JP2018142756A JP 2018142756 A JP2018142756 A JP 2018142756A JP 2017034128 A JP2017034128 A JP 2017034128A JP 2017034128 A JP2017034128 A JP 2017034128A JP 2018142756 A JP2018142756 A JP 2018142756A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- region
- recognition
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、カメラ装置、検出装置、検出システムおよび移動体に関するものである。 The present invention relates to a camera device, a detection device, a detection system, and a moving body.
カメラにより撮像した画像から、歩行者、車両等の認識対象物を検出して、警報を発することができる検出装置が知られている(例えば、特許文献1参照)。 There is known a detection device that can detect a recognition target object such as a pedestrian or a vehicle from an image captured by a camera and issue an alarm (see, for example, Patent Document 1).
車両等の移動体に搭載される検出装置など、屋外でカメラ画像を用いて物体を検出する装置では、カメラのレンズに泥または雨滴などの付着物が付着することがある。カメラを移動体の内部に置いて、ウィンドウ越しに外部を撮像する場合も、カメラの視野内のウィンドウに泥または雨滴などの付着物が付着することがある。そのような場合、撮像した画像内に付着物が写り込むことによって、それら付着物の一部を、車両または歩行者等の認識対象物と誤認識してしまうことがある。 In an apparatus that detects an object using a camera image outdoors, such as a detection apparatus mounted on a moving body such as a vehicle, deposits such as mud or raindrops may adhere to the lens of the camera. Even when the camera is placed inside a moving body and the outside is imaged through a window, deposits such as mud or raindrops may adhere to the window in the field of view of the camera. In such a case, the deposits appear in the captured image, so that some of the deposits may be erroneously recognized as a recognition target such as a vehicle or a pedestrian.
付着物を認識対象物と誤認識すると、使用者に対して不要な警報が頻繁に発生し煩わしさを感じさせうる。認識対象物が認識されず、使用者に対して必要な警報が提供されないと、警報装置としての機能を十分に発揮することができなくなりうる。 If the deposit is misrecognized as a recognition target, unnecessary warnings are frequently generated and the user can feel annoyed. If the object to be recognized is not recognized and a necessary alarm is not provided to the user, the function as an alarm device may not be fully exhibited.
したがって、これらの点に着目してなされた本発明の目的は、付着物がある場合における認識対象物の認識精度を改善したカメラ装置、検出装置、検出システムおよび移動体を提供することにある。 Accordingly, an object of the present invention made by paying attention to these points is to provide a camera device, a detection device, a detection system, and a moving body that improve the recognition accuracy of a recognition object in the case where there is a deposit.
本開示の一実施形態に係るカメラ装置は、カメラとコントローラとを備える。カメラは、移動体に取り付けられ移動体の周辺を撮像する。コントローラは、カメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき撮像画像の部分を検出画像として検出する第2処理を行う。コントローラは、第1処理の結果および第2処理の結果に基づいて信号を生成する。 A camera device according to an embodiment of the present disclosure includes a camera and a controller. The camera is attached to the moving body and images the periphery of the moving body. The controller detects a part of the captured image based on the shape or feature of the recognition object and the first process for recognizing the adhered object attached to the translucent member exposed to the outside of the moving body from the captured image from the camera A second process to detect as an image is performed. The controller generates a signal based on the result of the first process and the result of the second process.
本開示の一実施形態に係る検出装置は、入力部とコントローラとを備える。入力部は、移動体に取り付けられ移動体の周辺を撮像するカメラからの撮像画像を受信する。コントローラは、入力部で受信したカメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第2処理を行う。コントローラは、第1処理の結果および第2処理の結果に基づいて信号を生成する。 A detection device according to an embodiment of the present disclosure includes an input unit and a controller. The input unit is attached to the moving body and receives a captured image from a camera that captures the periphery of the moving body. The controller detects a captured image from the camera received by the input unit based on a first process for recognizing an adhering matter adhering to a transparent member exposed to the outside of the moving body, and a shape or feature related to the recognition target object A second process for detecting an image is performed. The controller generates a signal based on the result of the first process and the result of the second process.
本開示の一実施形態に係る検出システムは、カメラと検出装置とを備える。カメラは、移動体に取り付けられ移動体の周辺を撮像する。検出装置は、入力部とコントローラとを含む。入力部は、カメラからの撮像画像を受信する。コントローラは、入力部で受信したカメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第2処理を行う。コントローラは、第1処理の結果および第2処理の結果に基づいて信号を生成する。 A detection system according to an embodiment of the present disclosure includes a camera and a detection device. The camera is attached to the moving body and images the periphery of the moving body. The detection device includes an input unit and a controller. The input unit receives a captured image from the camera. The controller detects a captured image from the camera received by the input unit based on a first process for recognizing an adhering matter adhering to a transparent member exposed to the outside of the moving body, and a shape or feature related to the recognition target object A second process for detecting an image is performed. The controller generates a signal based on the result of the first process and the result of the second process.
本開示の一実施形態に係る移動体は、カメラ装置を備える。カメラ装置は、周辺を撮像するカメラおよびコントローラを含む。コントローラは、入力部で受信したカメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第2処理を行う。コントローラは、第1処理の結果および第2処理の結果に基づいて信号を生成する。 A moving object according to an embodiment of the present disclosure includes a camera device. The camera device includes a camera that captures an image of the periphery and a controller. The controller detects a captured image from the camera received by the input unit based on a first process for recognizing an adhering matter adhering to a transparent member exposed to the outside of the moving body, and a shape or feature related to the recognition target object A second process for detecting an image is performed. The controller generates a signal based on the result of the first process and the result of the second process.
本発明によれば、付着物がある場合における認識対象物の認識精度を改善することができる。 ADVANTAGE OF THE INVENTION According to this invention, the recognition precision of the recognition target object when there exists a deposit can be improved.
以下、本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1を参照して、複数の実施形態の1つに係る検出システム10について説明する。 A detection system 10 according to one of a plurality of embodiments will be described with reference to FIG.
検出システム10は、カメラ20と検出装置30とを備える。カメラ20と検出装置30とは、例えばネットワーク15を介して情報を送受信可能である。ネットワーク15は、例えば無線、有線、またはCAN(Controller Area Network)等を含んでよい。
The detection system 10 includes a
検出システム10は、図2に示すように、移動体50内に搭載することができる。検出装置30は、移動体50内の警報装置40および/またはECU(Electronic Control Unit)45等と、ネットワーク15を介して情報の送受信を可能としうる。
The detection system 10 can be mounted in the moving
警報装置40は、運転者60に対して警報を発する装置である。警報装置40は、警告音を発するスピーカー、運転者60の座席を振動させる振動発生装置を含みうる。警報装置40は、移動体50内のディスプレイ装置を兼用することができる。ECU45は、移動体50の制御用のコンピュータである。移動体が車両の場合、ECUは、移動体50のブレーキ制御用のECU、エンジン制御用のECU、および、ステアリング制御用のECUを含んでよい。
The
本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。 The “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like. The vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, a fixed wing aircraft that runs on a runway, and the like. Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction. Industrial vehicles may include, for example, forklifts and golf carts. Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like. The vehicle may include a vehicle that travels manually. The classification of the vehicle is not limited to the example described above. For example, an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications. Ships may include, for example, marine jets, boats, tankers, and the like. Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.
カメラ20は移動体50に固定される。カメラ20は移動体50に対して着脱可能に固定されうる。カメラ20は、移動体50の外部領域を撮像可能である。カメラ20の位置は、移動体50の内部および外部において任意である。例えば、一実施形態において、カメラ20は、図2に示すように移動体50の後方に位置し、移動体50の後方の外部領域を撮像できる。他の実施形態において、カメラ20に代えて、移動体50の内側にカメラ20aが設けられてもよい。例えば、一実施形態において、カメラ20は、図2に示すように移動体50のリアウィンドウに面し、移動体50の後方の外部領域を撮像できる。検出装置30の位置は、移動体50内において任意である。警報装置40は、警報を発する。運転者60は、警報装置40の発する警報を知覚しうる。例えば、警報装置40がディスプレイ装置の場合、警報装置40は、運転者60によって視認可能に置かれる。例えば図2に示すように、警報装置40は、移動体50のダッシュボードの中に位置する。
The
カメラ20について詳細に説明する。例えば、図1に示すように、カメラ20は、撮像光学系21と撮像素子22と、制御部23と、通信部24とを備える。
The
撮像光学系21は、被写体像を撮像素子22の受光面上に結像させる。例えば、撮像光学系21は、絞りおよび1つ以上のレンズを含んでよい。レンズは、広角レンズを採用しうる。レンズは、魚眼レンズを用いてよい。魚眼レンズは、例えば、水平画角が180°以上としうる。魚眼レンズは、例えば、水平画角が180°未満としうる。
The imaging
撮像素子22は、2次元配列された複数の画素を有する。撮像素子22は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子22は、撮像光学系21によって結像される被写体像を撮像して、撮像画像を生成可能である。本願において、撮像画像は動画像としてよい。動画像は映像と言い換えることができる。
The
制御部23は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。制御部23は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。
The
制御部23は、カメラ20全体の動作を制御する。制御部23は、任意のフレームレートで、撮像素子22に撮像画像を生成させてよい。当該フレームレートは、例えば、警報装置40の一例であるディスプレイ装置が表示可能なフレームレートに略一致してよい。当該フレームレートは、例えば、警報装置40の一例であるディスプレイ装置が表示可能なフレームレートより大きくしうる。当該フレームレートが表示可能なフレームレートより大きい場合、警報装置40の一例であるディスプレイ装置は、一部のフレームを表示しうる。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部23は、通信部24を介して検出装置30へ、撮像画像を出力する。例えば、制御部23は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。カメラ20から出力される当該複数の撮像画像を、第1画像ともいう。
The
通信部24は、検出装置30と通信可能な通信インタフェースを含む。通信部24は、警報装置40、ECU45および他の外部装置と通信可能な通信インタフェースを含んでよい。通信部24は、ネットワーク15を介して情報の送受信が可能であってよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
The
検出装置30について詳細に説明する。検出装置30は、コントローラ31と、メモリ32と、入力部33と、出力部34とを備える。
The
入力部33は、カメラ20からの撮像画像を受信する入力インタフェースである。出力部34は、警報装置40およびECU45へ信号を出力する出力インタフェースである。入力部33および出力部34は、カメラ20の通信部24と同様な通信インタフェースを備える1つの通信部であってよい。
The
コントローラ31は、1つ以上のプロセッサを含む。コントローラ31は、1つまたは複数のプロセッサが協働するSoC、およびSiPのいずれかであってよい。コントローラ31は、第1処理および第2処理を含む処理を実行できる。第1処理において、コントローラ31は、カメラ20からの撮像画像について、移動体50の外部に露出する透光部材に付着した付着物を認識する。第2処理において、コントローラ31は、認識対象物に係る形状または特徴に基づき撮像画像の部分を検出画像として検出する。コントローラ31は、第1処理の結果および前記第2処理の結果に基づいて信号を生成する。なお、本願において、「認識対象物」は、検出装置30、検出システム10、または、後述するカメラ装置11が、撮像画像の中から認識する対象となっている物体である。図面において、認識対象物は、単に「対象物」と記載する場合がある。
The
透光部材は、カメラ20の撮像光学系21が移動体50の外部に露出しているとき、撮像光学系21の最も被写体側のレンズとなりうる。投光部材は、カメラ20が図2のカメラ20aで示すように、移動体50の内部に設けられたとき、ウィンドウとなりうる。ウィンドウにはリアウィンドウ、フロントウィンドウ、サイドウィンドウを含みうる。このウィンドウは、ウィンドシールドといいうる。
The translucent member can be a lens closest to the subject of the imaging
付着物は、投光部材に付着してカメラ20の撮像視野を少なくとも部分的に妨げる物体である。付着物は、個体、液体、およびそれらが混じり合ったものを含む。付着物は、光透過性を有してよく、光透過性を有さなくてよい。付着物は、降雨時の雨滴、降雪時の雪、地面からはねた泥水、木の葉、虫、ごみ等を含みうる。
The adhering matter is an object that adheres to the light projecting member and at least partially obstructs the imaging field of view of the
認識対象物は、検出対象とする被写体物である。認識対象物には、歩行者、自動車、自転車、および、電柱のうち1つ以上を含みうる。検出画像は、撮像画像中から検出された認識対象物と判定されうる認識対象物の候補の画像である。撮像画像中で、認識対象物が、移動体50の進行方向にある場合、コントローラ31は、この認識対象物を障害物であると認識しうる。
The recognition target object is a subject to be detected. The recognition target object may include one or more of a pedestrian, a car, a bicycle, and a utility pole. The detected image is an image of a candidate for a recognition target that can be determined as a recognition target detected from the captured image. When the recognition target object is in the traveling direction of the moving
信号は、出力部34を介して警報装置40に送出される警報信号を含む。警報装置40は、検出装置30から送出される警報信号を受けて、運転者60に向けての警報を発することができる。警報装置40が、ディスプレイ装置の場合、信号はカメラ20の撮像画像を加工した画像信号であってよい。例えば、コントローラ31は、撮像画像内に歩行者である認識対象物を検出したとき、その歩行者が障害物と認識される場合、警報装置40に表示する歩行者の画像に運転者60の注意を喚起するように加工を施しうる。例えば、コントローラ31は、歩行者の画像に赤等の色を付すことができる。
The signal includes an alarm signal transmitted to the
警報信号は、ECU45に送信されてよい。例えば、ECU45がブレーキ制御用のECUの場合、ECU45は警告信号を受信すると、移動体50を停止させ歩行者との衝突を避ける。例えば、ECU45が進路制御用のECUの場合、ECU45は警告信号を受信すると、移動体50の進路を変更して歩行者との衝突を避ける。例えば、ECU45が音響制御用のECUの場合、ECU45は警告信号を受信すると、音を発し、運転者60および当該歩行者の少なくとも一方に警告を発する。
The alarm signal may be transmitted to the
メモリ32は、一次メモリおよび二次メモリを含んでよい。メモリ32は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。メモリ32は、コントローラ31の動作に必要な種々の情報およびプログラムを記憶する。例えば、メモリ32は、カメラ20より出力された撮像画像、第1処理および第2処理の結果を一時的に保存してよい。メモリ32は、第1処理および第2処理に使用されるデータを格納してよい。例えば、メモリ32は、後述するテンプレートマッチングに使用される歩行者、自動車、自転車等の認識対象物のテンプレート、機械学習により得られるアルゴリズム、認識対象物の検出用プログラム等を予め保存してよい。
The
図3に示すように、検出システム10のカメラ20と検出装置30とを、カメラ装置11として一体化することも可能である。カメラ装置11は、撮像光学系21aおよび撮像素子22aを含むカメラ20aとコントローラ31aと、メモリ32aと、出力部34aとを備える。撮像光学系21a、撮像素子22a、コントローラ31a、メモリ32a、および、出力部34aは、それぞれ、図1の撮像光学系21、撮像素子22、コントローラ31、メモリ32および出力部34と同様の機能を有する。検出システム10は、カメラ20と検出装置30とに機能が分散されたカメラ装置とみなしうる。
As shown in FIG. 3, the
図4の機能ブロック図を用いて、複数の実施形態の1つに係るコントローラ31の動作についてさらに詳しく説明する。
The operation of the
複数の実施形態の1つにおいて、コントローラ31は、座標変換部35、検出部36、認識部37、判定部38、信号生成部39(以下、各部ともよぶ)を含む。各部の各々は、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各部が行える動作を、コントローラ31は実行できる。コントローラ31は、座標変換部35、検出部36、認識部37、判定部38、信号生成部39を含む形態に限られず、座標変換部35、検出部36、認識部37、判定部38、信号生成部39の1つ又は複数が省略されてよい。複数の実施形態のうちの1つにおいて、コントローラ31は、各部の全ての動作を実行してよい。各部が行う動作は、コントローラ31が行う動作として言い換えてよい。コントローラ31が各部のいずれかを使役して行う処理は、コントローラ31が自ら実行してよい。以下に、各部の動作を説明する。
In one of the embodiments, the
座標変換部35は、カメラ20から入力された撮像画像の座標変換を行い、歪みを補正する。図1の撮像光学系21に魚眼レンズを用いて撮像した画像である第1画像70は、図5に示すように、周辺ほど歪みが大きい画像となる。第1画像70の実効的な領域は、レンズの画角と、撮像素子の画素面積に対応して定まる。撮像素子の画素面積がレンズの画角に対して大きいと、第1画像70の実効的な領域は、端部が弧状となる。図5において、付着物の画像71a、71bおよび歩行者である認識対象物の画像72が表示されている。座標変換部35は、撮像画像を、図6に例示するように歪みを補正した第2画像75に座標変換する。第2画像75には、付着物の画像76a、76bおよび歩行者である認識対象物の画像77が表示されている。なお、図5および図6は、座標変換前後のイメージを示すものであって、正確に座標変換をしたものではない。また、図5、図6は、駐車場を表示するものであり、駐車スペースを示す白線が実線により図示されている。
The coordinate
座標変換部35により座標変換を行うことにより、認識部37において、第2画像75上全体で同一のパターンを用いてマッチングを行うことが可能になる。パターンは、テンプレートマッチングのテンプレートのような領域的なパターンおよび特徴量のパターンを含む。コントローラ31は、座標変換部35を有さなくともよい。例えば、カメラ20の制御部23が画像の歪みを補正する場合、または、撮像光学系21が魚眼レンズのような歪の大きいレンズを使用しない場合、コントローラ31の座標変換部35は不要となる。
By performing coordinate conversion by the coordinate
検出部36は、座標変換部35から出力された第2画像75に対して、第1処理を実行する。検出部36は、第1処理において、撮像画像から種々の方法に基づいて付着物が付着した第1領域を検出しうる。第1領域は、図6において付着物の画像76aおよび76bが表示される領域として示される。例えば、第1領域は、撮像画像上の付着物が付着した部分の近傍の座標も含めて設定してよい。例えば、第1領域は、付着物が付着した領域の周りの所定画素数の距離まで含んでよい。例えば、第1領域は、付着物ごとに付着物を凸包するように設定してよい。
The
第1領域を検出する第1の方法として、検出部36は、撮像画像のうちぼけている領域を第1領域として検出しうる。付着物には、カメラ20のピントが大きく外れているためである。より具体的には、検出部36は、撮像画像を細かいブロックに分割し、フーリエ変換を行い、高周波数成分が低いブロックを第1領域として検出しうる。第2の方法としては、移動体50が移動中であれば、検出部36は、動き検出による方法を採用しうる。この方法では、検出部36は、撮像画像を細かいブロックに分割し、各ブロックの動きベクトルの向きが類似している領域を統合し、背景画像に対して動きの少ない領域を第1領域と判定しうる。第3の方法として、検出部36は、付着物の特徴量に基づく検出を行う。検出部36は、予め機械学習により付着物の画像を学習した結果を第1領域の判定に用いてよい。第4の方法としては、検出部36は、撮像画像の輝度値の低い領域を第1領域と判定することができる。検出部36は、第1領域の検出のために、第1から第4の方法を組み合わせて用いてよい。また、検出部36は、第1から第4の方法以外の種々の方法を採用することができる。
As a first method for detecting the first region, the
認識部37は、座標変換部35から出力された第2画像75に対して、第2処理を実行する。認識部37は、第2処理において、撮像画像に対し認識対象物の候補の画像である検出画像を検出する。認識部37は、特定の認識対象物に対する検出画像の認識対象物らしさを決定するアルゴリズムを有することができる。認識対象物らしさは、検出画像が歩行者、自動車、自転車等の特定の認識対象物である確からしさを確率で示したものとすることができる。認識部37が行う認識対象物の候補の検出と、当該認識対象物の候補の認識対象物らしさの出力を、認識対象物の認識とよぶ。
The
認識対象物の認識の方法は、公知の種々の方法を含むものとする。例えば、認識対象物の認識の方法は、物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法を含む。 The method for recognizing the recognition object includes various known methods. For example, methods for recognizing a recognition target include a method based on object shape recognition, a method based on template matching, and a method of calculating feature amounts from images and using them for matching.
物体の形状認識では、撮像画像から背景差分または動き検出等の方法により物体を抽出し、この物体の形状が目的とする物体の形状と一致するか否かを判断するものである。 In object shape recognition, an object is extracted from a captured image by a method such as background difference or motion detection, and it is determined whether or not the shape of the object matches the shape of the target object.
テンプレートマッチングは、認識対象物のテンプレートを用意し撮像画像上でスライドさせ、撮像画像全体の中にテンプレートの画像との類似度が高い部分画像が存在するか探索するものである。類似度の計算は、SSD(Sum of Squared Difference)またはSAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-means Normalized Cross-Correlation)等の指標を用いることができる。 In template matching, a template of a recognition target is prepared and slid on a captured image, and a search is made as to whether a partial image having a high similarity with the template image exists in the entire captured image. The similarity can be calculated using an index such as SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference), NCC (Normalized Cross-Correlation), or ZNCC (Zero-means Normalized Cross-Correlation).
特徴量を用いる方法は、画像からパターンを認識するのに有用な特徴を数値化した特徴量を抽出し、認識対象物の候補の検出に使用する。この方法では、Haar−like特徴量、SIFT(Scale-Invariant Feature Transform)特徴量、SURF(Speed Up Robust Features)特徴量、HOG(Histograms of Oriented Gradients)特徴量、JOINT Haar−like特徴量、Joint HOG特徴量、Shapelet特徴量、および、CoHOG(Co-occurrence Histograms of Oriented Gradients)特徴量等を含む多くの種類の特徴量から選択した特徴量を使用しうる。この方法では、認識対象物の特徴量のパターンと撮像画像とのマッチングにより、撮像画像中の認識対象物の候補である検出画像の検出が行われる。この認識方法では、予め多数の学習用の画像から特徴量を算出し、その結果をコンピュータに学習させる。学習した結果に基づいて、識別器が認識対象物を認識する。使用される識別器には、SVM(Support Vector Machine)、AdaBoost、Real AdaBoost等が含まれる。特徴量の設定値は、ディープラーニングによって人工知能が算出した値としうる。 In the method using feature amounts, feature amounts obtained by quantifying features useful for recognizing patterns from images are extracted and used for detection of recognition target candidates. In this method, Haar-like feature value, SIFT (Scale-Invariant Feature Transform) feature value, SURF (Speed Up Robust Features) feature value, HOG (Histograms of Oriented Gradients) feature value, JOINT Haar-like feature value, Joint HOG A feature amount selected from many types of feature amounts including a feature amount, a shapelet feature amount, and a CoHOG (Co-occurrence Histograms of Oriented Gradients) feature amount can be used. In this method, a detection image that is a candidate for a recognition target in a captured image is detected by matching the pattern of the feature amount of the recognition target and the captured image. In this recognition method, feature amounts are calculated in advance from a large number of learning images, and the results are learned by a computer. Based on the learning result, the classifier recognizes the recognition object. The classifiers used include SVM (Support Vector Machine), AdaBoost, Real AdaBoost, and the like. The set value of the feature amount may be a value calculated by artificial intelligence by deep learning.
何れの方法も、認識対象物らしさを数値化する。認識対象物らしさが閾値以上であれば認識対象物であると判断し、閾値以下であれば認識対象物ではないと判断することが可能になる。認識対象物らしさは、認識対象物である可能性を確率で表すことができる。 In any method, the likelihood of the recognition object is quantified. If the likelihood of the recognition object is equal to or greater than the threshold, it can be determined that the object is a recognition object, and if it is equal to or less than the threshold, it can be determined that the object is not a recognition object. The likelihood of being a recognition object can represent the possibility of being a recognition object by a probability.
判定部38は、検出部36が第1処理により検出した第1領域と、認識部37が第2処理により検出した検出画像の認識対象物らしさに基づいて、検出画像が認識対象物であるか否かを判定する。判定部38は、第1領域と、第1領域以外の領域である第2領域とでは、認識対象物であることを判定するために異なる処理を実行してよい。
The
例えば、判定部38は、検出画像が認識対象物であるか否かを判定するための認識対象物らしさに対する複数の判定基準を有する。判定部38は、第1領域と第2領域とでは、判定基準を互いに異ならせることができる。判定基準は、判定部38が検出画像を歩行者、自動車、自転車等の特定の認識対象物であると判定するための認識対象物らしさに対する閾値とすることができる。例えば、判定部38は、第1領域では第2領域に比べて閾値を上げることにより、付着物を歩行者、自動車、自転車等の認識対象物と誤判定する可能性を低減することができる。また、例えば、判定部38は、第1領域では第2領域に比べて閾値を下げることにより、歩行者、自動車、自転車等の認識対象物が、認識対象物であると判定されずに検知漏れとなる可能性を低減することができる。
For example, the
例えば、判定部38は、第2処理において検出した検出画像から、第1処理において検出された第1領域に少なくとも部分的に重複する検出画像の一部または全部を除外した結果に基づいて、認識対象物の判定を行ってよい。この場合、第1処理は、第2処理の後に実行されるか、第2処理と並行して実行される。コントローラ31は、第2処理において検出した検出画像から、第1領域に全体が重複する検出画像を除外した結果に基づいて、認識対象物の判定および信号の生成をしてよい。
For example, the
信号生成部39は、認識対象物があると判定部38が判定した場合、判定された認識対象物に関する警報を含む信号を生成する。信号生成部39は、移動体50の進行方向または予測進路内に認識対象物が位置すると判断した場合に、警報を生成してよい。警報を含む信号は、警報信号として出力部34、ネットワーク15を介して、警報装置40および/またはECU45に伝達される。
When the
次に、図4の機能ブロック図に従うコントローラ31が実行する処理の第1例を図7のフローチャートを用いて説明する。
Next, a first example of processing executed by the
座標変換部35は、カメラ20から撮像画像である第1画像70の入力を受けると(ステップS101)、第1画像70を、歪みを補正した第2画像75に座標変換する(ステップS102)。
When receiving the input of the
図7において、上下の二重線に挟まれた処理は、並行処理を行うことを意味する。すなわち、第1例において、第1処理と第2処理とは並行に行われる。 In FIG. 7, processing between upper and lower double lines means that parallel processing is performed. That is, in the first example, the first process and the second process are performed in parallel.
検出部36は、第2画像75から付着物を認識する(ステップS103)。検出部36は、付着物を認識した場合(ステップS104)、判定部38に付着物が付着している第2画像75上の第1領域の座標を引き渡す。判定部38は、第1領域について判定基準の変更を行う(ステップS105)。図7のフローチャートの例では、ステップS103以前に第2画像全体に第2領域用の判定基準が与えられているものとし、ステップS105で第1領域の判定基準を変更している。図7のフローチャートは、ステップS103以前に第2画像全体に第2領域用の判定基準が与えられているものとせず、ステップS104の後に、付着物の有無に応じて、第1領域と第2領域とのそれぞれに異なる判定基準を設定するようにしてもよい。
The
判定基準の変更の例として、認識対象物らしさに基づいて認識対象物であることを判定する閾値を変更することができる。閾値は、検出する対象、周辺環境、閾値を変更する目的等に応じて種々の変更をすることができる。例えば、判定部38は、第1領域の閾値を80%とし、第2領域の閾値を60%とすることができる。このようにすることによって、付着物が検出された第1領域における認識対象物の判定を厳しくし、付着物を認識対象物であると誤判定する可能性を低減できる。ステップS104において、付着物が検出されない場合、判定部38は、全ての領域を付着物のない第2領域とする。
As an example of changing the determination criterion, the threshold value for determining that the object is a recognition object can be changed based on the recognition object-likeness. The threshold value can be variously changed according to the object to be detected, the surrounding environment, the purpose of changing the threshold value, and the like. For example, the
認識部37は、ステップS103からS105に並行して、認識対象物の認識を行う(ステップS106)。認識対象物の認識は、第2画像からの認識対象物の候補画像である検出画像の検出と、特定の認識対象物らしさの算出を行うことを含む。
The
判定部38は、ステップS104、S105で設定された判定基準に従って、判定処理を行う(ステップS107)。
The
ステップS107において、判定部38により認識対象物があると判定された場合(ステップS108)、信号生成部39は、警報装置40および/またはECU45に送信される信号を生成する(ステップS109)。
In step S107, when the
例えば、ステップS106において、図6の第2画像75である撮像画像について、認識部37は、図8に示すように歩行者である認識対象物の候補の検出画像78a、78bを検出しうる。図8では、検出画像78a、78bを強調するため網掛けして示している。検出画像78bは、付着物の画像76aの一部を歩行者と誤認識したものである。認識部37は、検出画像78a,78bとともに、検出画像の認識対象物らしさを出力する。説明のため検出画像78a、78bの認識対象物らしさ(すなわち、歩行者らしさ)は、双方とも70%とする。判定部38が、第1領域の認識対象物らしさの閾値を80%、第2領域の認識対象物らしさの閾値を60%としている場合、第2領域に属する検出画像78aは歩行者であると判断されるが、第1領域に属する検出画像78bは、歩行者であると判断されない。これにより、付着物の画像76aの一部を認識対象物であると誤判定する可能性が低減される。
For example, in step S106, with respect to the captured image that is the
図9は、第2画像75の他の例を示す。図9において、第1領域79a〜79cは、付着物の画像が表示される領域と一致してよい。第1領域79a〜79cは、付着物の画像が表示される領域を包含してよい。図9では、付着物の画像を省略する。第2画像75の第1領域79a〜79c以外の領域は第2領域である。この例では、検出部36により付着物が検出された第1領域79aに、歩行者である認識対象物の画像77aが重なっている。
FIG. 9 shows another example of the
認識部37は、認識対象物の画像77aの第1領域79aと重ならない上部の領域の形状および特徴について評価して、検出画像78cとして検出しうる。判定部38は、第1領域79a〜79cでは認識対象物らしさの閾値を80%とし、第2画像75から第1領域79a〜79cを除いた第2領域では認識対象物らしさの閾値を60%とする。判定部38は、認識部37からの検出画像78cと認識対象物らしさに基づいて、第2領域の閾値60%を用いて歩行者であると判定しうる。一方、第2画像75上で認識対象物の画像77aの第1領域79aと重なる部分は、付着物に遮られるため認識部37で検出されないか、または、閾値が高いため判定部38で認識対象物と判定されない。しかし、第2領域において、撮像された認識対象物の画像77aの一部の検出画像78cが、認識対象物であると判定されているので、信号生成部39は警報装置40および/またはECU45に送信する信号を生成することができる。
The recognizing
検出システム10は、第2領域の認識対象物らしさに対する閾値を第1領域79a〜79cの認識対象物らしさに対する閾値よりも高くすることで、例えば付着物が雨等の場合に付着物のために像が歪む結果、誤認識を生じる可能性を低減することができる。反対に、認識対象物の存在を認識できない認識漏れが問題となる場合、検出システム10は、第1領域79a〜79cの閾値を第2領域の閾値よりも低くしてよい。なお、図8中、車である認識対象物の画像77bについては、第1領域79a〜79cと重なっていないので、第2領域の閾値を用いて認識対象物か否かの判定がなされる。また、検出画像全体が、第1領域79a〜79cに包含されるような場合は、検出画像全体について第1領域に設定された閾値が適用される。
The detection system 10 increases the threshold value for the recognition target object likelihood of the second region to be higher than the threshold value for the recognition target object likelihood of the
このようにして、本開示の複数の実施形態の一つに係る検出システム10によれば、カメラ20のレンズ、または、カメラ20が移動体50の内部に位置する場合のウィンドウに、泥および/または雨滴などの付着物が付着した場合の認識対象物の認識精度を改善することができる。ここで、認識対象物の認識精度は、撮像画像から認識対象物の候補を検出し、検出した認識対象物の候補から正しい認識対象物を判定する精度を意味するものとする。
Thus, according to the detection system 10 according to one of the embodiments of the present disclosure, mud and / or the lens of the
次に、図4の機能ブロック図に従うコントローラ31が実行する処理の第2例を、図10を用いて説明する。
Next, a second example of processing executed by the
図10のステップS201〜S204、S206、S208、S209は、図7に示した第1例のステップS101〜S104、S106、S108、S109と同様であるので説明を省略する。ステップS205において、判定部38は、検出部36から第1領域の座標を引き渡されると、当該第1領域を判定除外領域とする。ステップS207において、判定部38は、ステップS206で認識された検出画像について、全部または少なくとも一部が判定除外領域と重なっている場合、判定処理の対象から除外する。
Steps S201 to S204, S206, S208, and S209 of FIG. 10 are the same as steps S101 to S104, S106, S108, and S109 of the first example shown in FIG. In step S205, when the
例えば、図9において、認識対象物の画像77aは、第1領域79aと重なりを有するので、判定処理から除外される。一方、第1領域79a〜79cと重なりのない認識対象物の画像77bは、検出対象物の候補として検出され判定処理をうける。コントローラ31が実行する処理の第2例によれば、判定部38は、付着物の輪郭等が歩行者または自動車等の認識対象物の輪郭形状に類似するために、付着物を認識対象物であると誤認識する可能性を低減することができる。また、判定部38は、付着物と重なりのある画像を判定から除外するので、第1例よりも認識対象物以外の画像を認識対象物であると誤判断する可能性が低くなり、判定部38が行う処理も単純となる。
For example, in FIG. 9, the
判定部38は、検出画像が判定除外領域と重なっている場合でも、重なりの大きさ、重なり方に応じて、判定処理の対象から除外するか否かを変えてよい。例えば、判定部38は、検出画像の全体が判定除外領域に含まれる場合のみ、判定処理から除外してよい。また、例えば、判定部38は、判定除外領域と重なっていない検出画像の第2画像75上の面積が、所定の大きさ以上である場合に、判定処理から除外してよい。
Even when the detected image overlaps the determination exclusion region, the
次に、図4の機能ブロック図に従うコントローラ31が実行する処理の第3例を、図11を用いて説明する。第2例では付着物を認識する第1処理と、検出画像を認識する第2処理とを、並行に処理していた。第3例においては、第2処理を行った後に第1処理を順次に実行する。図11において、ステップS301、S302は、図10のステップS201、S202とそれぞれ同様の処理である。図11において、ステップS303は、図10のステップS206と同様の処理である。図11において、ステップS304からS306は、図10のステップS203〜S205とそれぞれ同様の処理である。図11において、ステップS307〜S309は、図10のステップS207〜S209とそれぞれ同様の処理である。
Next, a third example of processing executed by the
複数の実施形態の他の1つに係るコントローラ31の動作について、図12の機能ブロック図を用いて説明する。
The operation of the
図12において、検出部36は、付着物が付着している第2画像75上の第1領域の座標を、認識部37に引き渡す。認識部37は、第2処理において、撮像画像から認識対象物の検出画像を検出する複数のアルゴリズムを有し、第1領域と記第2領域とでは、互いに異なるアルゴリズムを用いて検出画像の検出を行うことができる。
In FIG. 12, the
互いに異なるアルゴリズムを用いるとは、例えば、物体の形状認識、テンプレートマッチング、特徴量を用いた認識等の、物体認識の基本的なアルゴリズムを変更することを含む。例えば、図9の第2画像75について、認識部37は、第1領域79a〜79cに対しては、特徴量を用いたパターンマッチングを行い、第2領域についてはテンプレートマッチングにより検出画像の検出を行ってよい。
Using different algorithms includes, for example, changing a basic algorithm for object recognition, such as object shape recognition, template matching, and recognition using feature amounts. For example, for the
互いに異なるアルゴリズムを用いるとは、認識アルゴリズムで用いる一部の要素を異ならせることを含む。例えば、認識部37は、テンプレートマッチングに用いるテンプレートを変更してよい。または、認識部37は、特徴量を用いた認識における、機械学習で得られた学習結果を変更すること等を行いうる。また、認識部37は、画像認識処理に用いる何れかのパラメータを変更することができる。
Using different algorithms includes making some elements used in the recognition algorithm different. For example, the
図12の機能ブロック図に従うコントローラ31が実行する処理の第4例を、図13を用いて説明する。図13において、ステップS401〜S403、S407〜409は図7のステップS101〜S103、S107〜S109と同様の処理であるので説明を省略する。図7のフローチャートとは異なり、各ステップS401〜S409は、並列処理を含まず順次処理される。ステップS404において、検出部36は、付着物が付着している第2画像75上の第1領域の座標を、認識部37に引き渡す。ステップS405において、認識部37は、撮像画像の全部または一部について認識対象物の認識を行うアルゴリズムを予め設定されたアルゴリズムから変更する。ステップS406において、認識部37は、変更したアルゴリズムに基づいて認識対象物の候補の検出画像の検出を行う。
A fourth example of processing executed by the
コントローラ31が実行する処理の第4例によれば、認識部37は、認識部37が行う第2処理において、撮像画像から認識対象物の候補を検出する複数のアルゴリズムを有し、第1領域と、第2領域とでは、互いに異なるアルゴリズムを用いることができる。これによって、認識部37は、撮像画像上で付着物と重なっているか否かに応じて、より認識精度の高いアルゴリズムを選択できる。
According to the fourth example of the process executed by the
複数の実施形態のさらに他の1つに係るコントローラ31の動作について、図14の機能ブロック図を用いて説明する。
The operation of the
図14に示すように、本開示の複数の実施形態の1つに係る検出システム10のコントローラ31は、座標変換部35、検出部36、認識部37、判定部38、信号生成部39に加え、前処理部80を含む。図14において、検出部36は、付着物が付着している第2画像75上の第1領域の座標を、前処理部80に引き渡す。前処理部80は、座標変換部35から出力された撮像画像の第2画像75を変更する処理を行う。前処理部80が、第2処理の前に第2画像75に対して行う撮像画像の変更を、以下において前処理ともよぶ。前処理には、第2画像75から第1領域を削除して空白に加工することを含む。撮像画像から第1領域を空白に加工することを、第1領域をマスクするともいう。
As illustrated in FIG. 14, the
前処理部80が行う前処理は、第1領域をマスクすることに限られない。例えば、前処理部80は、第1領域の付着物の画像をぼかしてよい。このようにすることによって、認識部37が付着物を認識対象物として認識され難いようにする。
The preprocessing performed by the preprocessing unit 80 is not limited to masking the first region. For example, the preprocessing unit 80 may blur the image of the deposit in the first region. By doing in this way, it is made difficult for the
図15は、第1領域79a〜79cをマスクした第2画像75の一例を示す。図15において、マスクされた領域を破線で囲んで示す。第1領域79a〜79cは空白となっている。認識部37は、第1領域79a〜79cの画素情報が削除された第2画像に対して認識対象物の認識を実行することができる。
FIG. 15 shows an example of the
図14の機能ブロックに従うコントローラ31が実行する処理の第5例を、図16を用いて説明する。図16において、ステップS501〜S503、S507〜509は図7のフローチャートのステップS101〜S103、S107〜S109と同様の処理であるので説明を省略する。図7のフローチャートとは異なり、各ステップS401〜S409は、並列処理を含まず順次処理される。ステップS504において、検出部36は、付着物が付着している第2画像75上の第1領域79a〜79cの座標を、前処理部80に引き渡す。ステップS505において、前処理部80は、第2画像75の第1領域79a〜79cの検出箇所の画素情報を加工する。ステップS506において、認識部37は、第1領域79a〜79cの画素情報が加工された第2画像75に基づいて認識処理を実行する。
A fifth example of processing executed by the
第5例によれば、検出システム10は、認識部37および判定部38の処理を変えることなく、付着物が付着した第1領域の情報を検出画像の検出および判定から除外することができる。これによって、付着物を認識対象物であると誤認識する可能性が低くなる。また、撮像画像上で第1領域79a〜79cと重なっていない認識対象物の部分については、認識部37および判定部38により、認識対象物の一部として認識および判定の対象とされうる。
According to the fifth example, the detection system 10 can exclude the information of the first region to which the deposit is attached from the detection and determination of the detected image without changing the processes of the
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, functions and the like included in each means and each step can be rearranged so as not to be logically contradictory, and a plurality of means and steps can be combined into one or divided. .
10 検出システム
11 カメラ装置
15 ネットワーク
20,20a,20b カメラ
21,21a 撮像光学系
22,22a 撮像素子
23 制御部
24 通信部
30 検出装置
31,31a コントローラ
32,32a メモリ
33 入力部
34,34a 出力部
35 座標変換部
36 第1検出部
37 認識部
38 判定部
39 信号生成部
40 警報装置
45 ECU
50 移動体
60 運転者
70 第1画像
71a,71b 付着物の画像
72 認識対象物の画像
75 第2画像
76a,76b,76c 付着物の画像
77,77a,77b 認識対象物の画像
78a,78b,79 検出画像
79a,79b,79c 第1領域
80 前処理部
DESCRIPTION OF SYMBOLS 10
50 Moving
Claims (10)
前記カメラからの撮像画像について、前記移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき前記撮像画像の部分を検出画像として検出する第2処理を行い、前記第1処理の結果および前記第2処理の結果に基づいて信号を生成するコントローラと
を備えるカメラ装置。 A camera attached to the moving body and imaging the periphery of the moving body;
A first process for recognizing a deposit adhering to a translucent member exposed to the outside of the moving body, and a portion of the captured image detected based on a shape or feature related to the recognition target for the captured image from the camera A camera device comprising: a controller that performs a second process to be detected as an image and generates a signal based on the result of the first process and the result of the second process.
前記入力部で受信した前記カメラからの撮像画像について、前記移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第2処理を行い、前記第1処理の結果および前記第2処理の結果に基づいて信号を生成するコントローラと
を備える検出装置。 An input unit that is attached to the moving body and receives a captured image from a camera that images the periphery of the moving body;
Detecting a captured image received from the camera received by the input unit based on a first process for recognizing an adhering matter adhering to a translucent member exposed to the outside of the moving body, and a shape or feature relating to the recognition target And a controller that performs a second process for detecting an image and generates a signal based on the result of the first process and the result of the second process.
前記カメラからの撮像画像を受信する入力部、および、前記入力部で受信した前記カメラからの撮像画像について、前記移動体の外部に露出する透光部材に付着した付着物を認識する第1処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第2処理を行い、前記第1処理の結果および前記第2処理の結果に基づいて信号を生成するコントローラを含む検出装置と
を備える検出システム。 A camera attached to the moving body and imaging the periphery of the moving body;
An input unit that receives a captured image from the camera, and a first process for recognizing a deposit attached to a translucent member exposed to the outside of the moving body with respect to the captured image from the camera received by the input unit And a detection device including a controller that performs a second process of detecting a detected image based on a shape or feature of the recognition target and generates a signal based on the result of the first process and the result of the second process; A detection system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017034128A JP6789151B2 (en) | 2017-02-24 | 2017-02-24 | Camera devices, detectors, detection systems and mobiles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017034128A JP6789151B2 (en) | 2017-02-24 | 2017-02-24 | Camera devices, detectors, detection systems and mobiles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142756A true JP2018142756A (en) | 2018-09-13 |
JP6789151B2 JP6789151B2 (en) | 2020-11-25 |
Family
ID=63528392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017034128A Active JP6789151B2 (en) | 2017-02-24 | 2017-02-24 | Camera devices, detectors, detection systems and mobiles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6789151B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689493A (en) * | 2020-05-18 | 2021-11-23 | 杭州海康威视数字技术股份有限公司 | Lens attachment detection method, lens attachment detection device, electronic equipment and storage medium |
WO2022101982A1 (en) * | 2020-11-10 | 2022-05-19 | 三菱電機株式会社 | Sensor noise removal device and sensor noise removal method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197863A (en) * | 2007-02-13 | 2008-08-28 | Hitachi Ltd | Onboard device for recognizing traveling environment |
JP2012038048A (en) * | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | Obstacle detecting device for vehicle |
WO2014007153A1 (en) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | Vehicle surrounding monitoring device |
WO2015008566A1 (en) * | 2013-07-18 | 2015-01-22 | クラリオン株式会社 | Vehicle-mounted device |
JP2015026987A (en) * | 2013-07-26 | 2015-02-05 | クラリオン株式会社 | Lens stain detection device and lens stain detection method |
JP2015179482A (en) * | 2014-03-20 | 2015-10-08 | クラリオン株式会社 | In-vehicle image processing device and vehicle system using the same |
JP2015184903A (en) * | 2014-03-24 | 2015-10-22 | 日立建機株式会社 | Image processor of self-traveling industrial machine |
JP2016033729A (en) * | 2014-07-31 | 2016-03-10 | クラリオン株式会社 | Surrounding environment recognition device |
-
2017
- 2017-02-24 JP JP2017034128A patent/JP6789151B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197863A (en) * | 2007-02-13 | 2008-08-28 | Hitachi Ltd | Onboard device for recognizing traveling environment |
JP2012038048A (en) * | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | Obstacle detecting device for vehicle |
WO2014007153A1 (en) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | Vehicle surrounding monitoring device |
WO2015008566A1 (en) * | 2013-07-18 | 2015-01-22 | クラリオン株式会社 | Vehicle-mounted device |
JP2015026987A (en) * | 2013-07-26 | 2015-02-05 | クラリオン株式会社 | Lens stain detection device and lens stain detection method |
JP2015179482A (en) * | 2014-03-20 | 2015-10-08 | クラリオン株式会社 | In-vehicle image processing device and vehicle system using the same |
JP2015184903A (en) * | 2014-03-24 | 2015-10-22 | 日立建機株式会社 | Image processor of self-traveling industrial machine |
JP2016033729A (en) * | 2014-07-31 | 2016-03-10 | クラリオン株式会社 | Surrounding environment recognition device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689493A (en) * | 2020-05-18 | 2021-11-23 | 杭州海康威视数字技术股份有限公司 | Lens attachment detection method, lens attachment detection device, electronic equipment and storage medium |
WO2022101982A1 (en) * | 2020-11-10 | 2022-05-19 | 三菱電機株式会社 | Sensor noise removal device and sensor noise removal method |
JP7499874B2 (en) | 2020-11-10 | 2024-06-14 | 三菱電機株式会社 | Sensor noise removal device and sensor noise removal method |
Also Published As
Publication number | Publication date |
---|---|
JP6789151B2 (en) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11606516B2 (en) | Image processing device, image processing method, and image processing system | |
CN107392103B (en) | Method and device for detecting road lane line and electronic equipment | |
US10432847B2 (en) | Signal processing apparatus and imaging apparatus | |
US9734425B2 (en) | Environmental scene condition detection | |
JP6303090B2 (en) | Image processing apparatus and image processing program | |
US20230110116A1 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
JP4584120B2 (en) | Road marking line detection device, road marking line detection method, road marking line detection program | |
JP2015182604A (en) | Image processing apparatus and image processing program | |
JP6847709B2 (en) | Camera devices, detectors, detection systems and mobiles | |
JP6789151B2 (en) | Camera devices, detectors, detection systems and mobiles | |
US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
CN112216067B (en) | Image processing method based on vehicle-mounted wide-angle camera | |
JP2018085584A (en) | Image processing apparatus, imaging apparatus, and display system | |
CN115088248A (en) | Image pickup apparatus, image pickup system, and image pickup method | |
CN114788257A (en) | Information processing apparatus, information processing method, program, imaging apparatus, and imaging system | |
WO2018092919A1 (en) | Image processing device, imaging device, and display system | |
WO2018198833A1 (en) | Control device, method, and program | |
JP6720063B2 (en) | Image processing device, imaging device, and display system | |
KR20230127436A (en) | Apparatus and method for detecting nearby vehicle | |
CN116582744A (en) | Remote operation system, remote operation control method, and remote operator terminal | |
JP2018085580A (en) | Image processing apparatus, imaging apparatus, and display system | |
JP2018085581A (en) | Image processing apparatus, imaging apparatus, and display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |