JP2007261553A - 物体撮像装置及び物体撮像方法 - Google Patents

物体撮像装置及び物体撮像方法 Download PDF

Info

Publication number
JP2007261553A
JP2007261553A JP2006093357A JP2006093357A JP2007261553A JP 2007261553 A JP2007261553 A JP 2007261553A JP 2006093357 A JP2006093357 A JP 2006093357A JP 2006093357 A JP2006093357 A JP 2006093357A JP 2007261553 A JP2007261553 A JP 2007261553A
Authority
JP
Japan
Prior art keywords
person
face
image
vehicle
infrared rays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006093357A
Other languages
English (en)
Other versions
JP4701116B2 (ja
Inventor
Swaminathan Sivakumar
シバクマール スワミナサン
Shinya Nakamura
心哉 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2006093357A priority Critical patent/JP4701116B2/ja
Publication of JP2007261553A publication Critical patent/JP2007261553A/ja
Application granted granted Critical
Publication of JP4701116B2 publication Critical patent/JP4701116B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】人の顔などに赤外線を照射することなく人物を撮像することができる物体撮像装置などを提供する。
【解決手段】走行する車両の車両前方を撮像する第1の撮像手段101と、第1の撮像手段によって撮像された画像に人物が写っているか否かを判断し、画像に人物が写っている場合に人物の顔の位置を特定する顔位置特定手段102と、車両前方の所定範囲に赤外線を照射することが可能な照射手段104と、特定された人物の顔の位置に基づいて赤外線を照射する所定範囲を決定する照射範囲決定手段103と、車両前方の赤外線により照射された所定範囲から入射される反射赤外線による像を撮影する第2の撮像手段105とを備える。
【選択図】図1

Description

本発明は車両の周囲の人物などを検出するために赤外線を用いて車両の周囲を撮像する物体撮像装置及び物体撮像方法に関する。
従来から赤外線カメラを用いて車両の前方などに存在する人物を検出する技術が下記の非特許文献1に記載されている。しかしながら、赤外線を人体、特に目や頭などに浴びることは健康上よくない。一方、夜間などの暗い中でドライバが車両を運転しているとき、ドライバは前方を確認するため、車両のヘッドライトを上方へ向けて照射する(ハイビームにする)ことがある。しかし、対向車や歩行者などはこのハイビームにより眩しいと感じることがあり、それによって大きな事故につながることもある。そこで、対向車や歩行者などに対する眩しさを低減させるため、ヘッドライトの照射方向(照射範囲)を変化させる又はヘッドライトの照度を制御する技術が下記の特許文献1に記載されている。この特許文献1に記載されたヘッドライトの照射方向を変化させる技術を、上述した非特許文献1に記載された技術で用いられる赤外線の照射方向の制御に適用することにより、人の顔に赤外線を当てないように制御することも可能である。
"Developing a Near Infrared Based Night Vision System", C.Bellotti, F.Bellotti, A.De Gloria, L.Andreone, and M.Mariani, IEEE Intelligent Vehicles Symposium University of Parma Parma, Italy June 14-17, 2004 特開2003−54311号公報(要約)
しかしながら、上述したような非特許文献1の技術を特許文献1の技術で用いられる赤外線の照射方向の制御に適用する方法では、赤外線を照射する方向(照射する範囲)を図5の画像504に示すように道路503を歩行する人物500の顔から下の範囲(顔下範囲)502と制御することにより、人物500の顔に赤外線を照射しないようにすることができるが、人物500の後方に位置する人物501を赤外線によって検知することができないという問題がある。これにより、ドライバは人物501に気づかずに運転することになり危険である。また、ヘッドライトの照度の制御のように赤外線の照度を制御したとしても人の目や頭への赤外線の照射はされてしまい健康上よくない。
本発明は、上記問題を解決するためのものであり、人物の存在を検出する際に、人の顔などに赤外線を照射することなく人物を撮像することができる物体撮像装置及び物体撮像方法を提供することを目的とする。
上記目的を達成するために、本発明によれば、走行する車両の車両前方を撮像する第1の撮像手段と、前記第1の撮像手段によって撮像された画像に人物が写っているか否かを判断し、前記画像に前記人物が写っている場合に前記人物の顔の位置を特定する顔位置特定手段と、前記車両前方の所定範囲に赤外線を照射することが可能な照射手段と、前記顔位置特定手段によって特定された前記人物の顔の位置に基づいて前記赤外線を照射する前記所定範囲を決定する照射範囲決定手段と、前記車両前方の前記赤外線により照射された前記所定範囲から入射される反射赤外線による像を撮影する第2の撮像手段とを備える物体撮像装置が提供される。この構成により、人物の存在を検出する際に、人の顔などに赤外線を照射することなく人物を撮像することができる。ここで、車両前方を撮像するとは、車両がこれから通過しようとする道路上を含む周辺領域を撮像することを言う。
また、本発明の物体撮像装置において、前記顔位置特定手段がニューラルネットワーク又はサポートベクターマシンを用いて前記画像に人物が写っているか否かを判断することは、本発明の好ましい態様である。この構成により、的確に人物の顔などを除いて赤外線を照射することができる。
また、本発明によれば、走行する車両の車両前方を撮像するステップと、前記撮像された画像に人物が写っているか否かを判断し、前記画像に前記人物が写っている場合に前記人物の顔の位置を特定するステップと、特定された前記人物の顔の位置に基づいて、前記車両前方に赤外線を照射する所定範囲を決定するステップと、前記車両前方の前記所定範囲に前記赤外線を照射するステップと、前記車両前方の前記赤外線により照射された前記所定範囲から入射される反射赤外線による像を撮影するステップとを有する物体撮像方法が提供される。この構成により、人物の存在を検出する際に、人の顔などに赤外線を照射することなく人物を撮像することができる。
また、本発明の物体撮像方法において、前記人物の顔の位置を特定するステップで、ニューラルネットワーク又はサポートベクターマシンを用いて前記画像に人物が写っているか否かを判断することは、本発明の好ましい態様である。この構成により、的確に人物の顔などを除いて赤外線を照射することができる。
本発明の物体撮像装置及び物体撮像方法は、上記構成を有し、人物の存在を検出する際に、人の顔などに赤外線を照射することなく人物を撮像することができる。
以下、本発明の実施の形態に係る物体撮像装置について図1から図4を用いて説明する。図1は本発明の実施の形態に係る物体撮像装置の構成の一例を示す構成図である。図2は本発明の実施の形態に係る物体撮像装置における顔位置特定手段によって特定された赤外線の照射範囲を説明するための図である。図3aは本発明の実施の形態に係る物体撮像装置における赤外線LEDユニットの一例を示す図である。図3bは本発明の実施の形態に係る物体撮像装置における赤外線LEDユニットで照射範囲が特定された場合の赤外線照射について説明するための図である。図4は本発明の実施の形態に係る物体撮像装置における動作フローを示すフローチャートである。
まず、本発明の実施の形態に係る物体撮像装置の構成について図1を用いて説明する。図1に示すように、物体撮像装置は、第1の撮像手段101、顔位置特定手段102、照射範囲決定手段103、照射手段104、第2の撮像手段105から構成されている。第1の撮像手段101は走行する車両の車両前方を撮像するものであって、例えば車両が走行する方向(前方方向)を撮像するCCD(Charge Coupled Device)カメラなどである。この第1の撮像手段101は走行する車両の前方を撮像できるように、例えば車内に設置されたルームミラー(バックミラー)に取り付けられている。顔位置特定手段102は、第1の撮像手段101によって撮像された画像に人物が写っているかを判断し、画像に人物が写っている場合に人物の顔の位置を特定するものである。
具体的に顔位置特定手段102は、取得した画像と不図示の識別器を用いて人物を検出するニューラルネットワークや、統計的学習理論に基づく2クラスのパターン認識手法であるサポートベクターマシンなどの技術を用いて第1の撮像手段101によって撮像された画像に人物が写っているかを判断し、画像に人物が写っている場合に人物の顔の位置を特定する。すわなち、画像から人物(人物の位置)を検出し、検出された人物の顔の位置を特定する。なお、ニューラルネットワークやサポートベクターマシンは公知の技術であり、ここでは説明を省略する。また、人物(人物の位置)を検出する方法としては、上述したように画像と不図示の識別器を用いて検出する方法以外に、例えばレーダなどで対向車、バイク、自転車などを検出することで運転者の位置を検出する方法や不図示の通信手段を介して対向車などから人物の位置を通知してもらう方法などが考えられる。
また、人物の顔の位置を特定する方法としては、例えば人物全体(人物の高さ)のうち上部の1/4を顔の位置とする方法である。また、この他には顔以外の手、足、首など体の一部を検出し、検出された部位の位置から相対的に顔の位置を特定する方法がある。また、画像に写っている人物が歩行者ではなく乗り物、例えば車、バイク、自転車などに乗っている場合には乗っている乗り物の大きさや形状などを考慮して顔の位置を特定する方法も考えられる。
照射範囲決定手段103は、顔位置特定手段102によって特定された人物の顔の位置に基づいて赤外線を照射する車両前方の所定範囲を決定するものである。例えば、顔位置特定手段102によって人物の顔の位置が特定されると、その位置に基づいて図2に示すように道路203上を歩く人物の顔がある範囲の非照射範囲201を除いた範囲が赤外線の照射範囲となる。なお、図2に示すように第1の撮像手段101によって撮像された画像202に複数の人物が写っている場合には、それぞれの人物の顔の位置が顔位置決定手段102によって決定され、照射範囲決定手段103はそれぞれの人物の顔がある範囲の非照射範囲201を除いた範囲を赤外線を照射する範囲と決定する。
照射手段104は、照射範囲決定手段103によって決定された所定範囲に赤外線を照射することが可能なものであり、例えば赤外線LED(Light Emitting Diode)ユニットなどである。ここで、赤外線LEDユニットの一例を図3a及び図3bに示す。図3a及び図3bに示すように、赤外線LEDは所定の間隔で配置されており、通常は図3aのようにすべての赤外線LEDによって照射される。一方、上述したように照射範囲が特定されると、照射手段104は特定された照射範囲(図3bの例では前方範囲のうち非照射範囲300、301を除く範囲)を図3bに示すような実線で描かれた赤外線LEDによって照射するように赤外線LEDを制御する。第2の撮像手段105は、車両前方の赤外線により照射された所定範囲から入射される反射赤外線による像を撮影するものであり、例えばCCDやCMOS(Complementary Metal Oxide Semiconductor)センサーである。なお、第2の撮像手段105は上述した照射手段104と別個の構成となっているが、お互いが1つのユニットとして構成されるようにしてもよい。また、本発明の実施の形態に係る物体検出装置では2つの撮像手段(第1の撮像手段101及び第2の撮像手段105)を構成要素としているが、2つの撮像手段を有する代わりに両方の撮像手段の機能を有するような1つの撮像手段を構成要素とすることも可能である。
次に、本発明の実施の形態に係る物体撮像装置の動作フローについて図4を用いて説明する。図4に示すように、第1の撮像手段101は車両の周囲を撮像する(ステップS401)。顔位置特定手段102は、第1の撮像手段101によって撮像された画像に人物が写っているかを判断し(ステップS402)、画像に人物が写っている場合に人物の顔の位置を特定する(ステップS403)。照射範囲決定手段103は、顔位置特定手段102によって特定された人物の顔の位置に基づいて、車両前方に赤外線を照射する範囲を決定する(ステップS404)。照射手段104は、照射範囲決定手段103によって決定された車両前方の範囲に赤外線を照射する(ステップS405)。第2の撮像手段105は、車両前方の赤外線により照射された範囲から入射される反射赤外線による像を撮影する(ステップS406)。このような処理をすることによって、人物の存在を検出する際に、人の顔などに赤外線を照射することなく人物を撮像することができる。
本発明に係る物体撮像装置及び物体撮像方法は、人物の存在を検出する際に、人の顔などに赤外線を照射することなく人物を撮像することができるため、車両の周囲の人物などを検出するために赤外線を用いて車両の周囲を撮像する物体撮像装置及び物体撮像方法などに有用である。
本発明の実施の形態に係る物体撮像装置の構成の一例を示す構成図である。 本発明の実施の形態に係る物体撮像装置における顔位置特定手段によって特定された赤外線の照射範囲を説明するための図である。 本発明の実施の形態に係る物体撮像装置における赤外線LEDユニットの一例を示す図である。 本発明の実施の形態に係る物体撮像装置における赤外線LEDユニットで照射範囲が特定された場合の赤外線照射について説明するための図である。 本発明の実施の形態に係る物体撮像装置における動作フローを示すフローチャートである。 従来の技術を組み合わせた際の問題点を説明するための図である。
符号の説明
101 第1の撮像手段
102 顔位置特定手段
103 照射範囲決定手段
104 照射手段
105 第2の撮像手段
201 非照射範囲
202、504 画像
203、503 道路
300、301 非照射範囲
500、501 人物
502 顔下範囲

Claims (4)

  1. 走行する車両の車両前方を撮像する第1の撮像手段と、
    前記第1の撮像手段によって撮像された画像に人物が写っているか否かを判断し、前記画像に前記人物が写っている場合に前記人物の顔の位置を特定する顔位置特定手段と、
    前記車両前方の所定範囲に赤外線を照射することが可能な照射手段と、
    前記顔位置特定手段によって特定された前記人物の顔の位置に基づいて前記赤外線を照射する前記所定範囲を決定する照射範囲決定手段と、
    前記車両前方の前記赤外線により照射された前記所定範囲から入射される反射赤外線による像を撮影する第2の撮像手段とを、
    備える物体撮像装置。
  2. 前記顔位置特定手段は、ニューラルネットワーク又はサポートベクターマシンを用いて前記画像に人物が写っているか否かを判断する請求項1に記載の物体撮像装置。
  3. 走行する車両の車両前方を撮像するステップと、
    前記撮像された画像に人物が写っているか否かを判断し、前記画像に前記人物が写っている場合に前記人物の顔の位置を特定するステップと、
    特定された前記人物の顔の位置に基づいて、前記車両前方に赤外線を照射する所定範囲を決定するステップと、
    前記車両前方の前記所定範囲に前記赤外線を照射するステップと、
    前記車両前方の前記赤外線により照射された前記所定範囲から入射される反射赤外線による像を撮影するステップとを、
    有する物体撮像方法。
  4. 前記人物の顔の位置を特定するステップにおいて、ニューラルネットワーク又はサポートベクターマシンを用いて前記画像に人物が写っているか否かを判断する請求項3に記載の物体撮像方法。
JP2006093357A 2006-03-30 2006-03-30 物体撮像装置及び物体撮像方法 Expired - Fee Related JP4701116B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006093357A JP4701116B2 (ja) 2006-03-30 2006-03-30 物体撮像装置及び物体撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006093357A JP4701116B2 (ja) 2006-03-30 2006-03-30 物体撮像装置及び物体撮像方法

Publications (2)

Publication Number Publication Date
JP2007261553A true JP2007261553A (ja) 2007-10-11
JP4701116B2 JP4701116B2 (ja) 2011-06-15

Family

ID=38634954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006093357A Expired - Fee Related JP4701116B2 (ja) 2006-03-30 2006-03-30 物体撮像装置及び物体撮像方法

Country Status (1)

Country Link
JP (1) JP4701116B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003054311A (ja) * 2001-08-09 2003-02-26 Denso Corp 車両用前照灯制御装置
JP2004363988A (ja) * 2003-06-05 2004-12-24 Daihatsu Motor Co Ltd 車両検出方法及び車両検出装置
JP2005159392A (ja) * 2003-11-20 2005-06-16 Nissan Motor Co Ltd 車両周辺監視装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003054311A (ja) * 2001-08-09 2003-02-26 Denso Corp 車両用前照灯制御装置
JP2004363988A (ja) * 2003-06-05 2004-12-24 Daihatsu Motor Co Ltd 車両検出方法及び車両検出装置
JP2005159392A (ja) * 2003-11-20 2005-06-16 Nissan Motor Co Ltd 車両周辺監視装置および方法

Also Published As

Publication number Publication date
JP4701116B2 (ja) 2011-06-15

Similar Documents

Publication Publication Date Title
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2007187618A (ja) 物体識別装置
JP5680573B2 (ja) 車両の走行環境認識装置
JP6963563B2 (ja) 車両用照明システムおよび車両
WO2014188903A1 (ja) 灯火制御装置
JP2024052924A (ja) 撮像装置
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
JP2008052029A (ja) 撮像システム、車両乗員検出システム、作動装置制御システム、車両
JP2010223685A (ja) 車両用撮像装置
US11710291B2 (en) Image recognition device and image recognition method
JP2006258457A (ja) レーザスキャン装置
WO2020241336A1 (ja) 画像認識装置および画像認識方法
JP2015174551A (ja) 車両用ヘッドライトシステム
JPWO2020026720A1 (ja) 固体撮像装置
JP2006350670A (ja) 夜間運転視界支援装置
US20220390383A1 (en) Imaging device, imaging system, and imaging method
JP2011253222A (ja) 前方領域検出装置及び車両制御装置
JP2013114536A (ja) 安全支援装置、及び、安全支援方法
TWI818973B (zh) 固體攝像元件及攝像裝置
JP4701116B2 (ja) 物体撮像装置及び物体撮像方法
JP2021190848A (ja) 検出装置、検出システム及び検出方法
JP4867761B2 (ja) 夜間視界支援装置
US11375134B2 (en) Vehicle monitoring system
KR102320030B1 (ko) 차량의 내부 감시용 카메라 시스템
CN113228130B (zh) 图像处理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110307

R150 Certificate of patent or registration of utility model

Ref document number: 4701116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140311

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees