JP2007038790A - Mirror surface angle adjusting method and device for vehicle mirror - Google Patents

Mirror surface angle adjusting method and device for vehicle mirror Download PDF

Info

Publication number
JP2007038790A
JP2007038790A JP2005224170A JP2005224170A JP2007038790A JP 2007038790 A JP2007038790 A JP 2007038790A JP 2005224170 A JP2005224170 A JP 2005224170A JP 2005224170 A JP2005224170 A JP 2005224170A JP 2007038790 A JP2007038790 A JP 2007038790A
Authority
JP
Japan
Prior art keywords
mirror
driver
voice
angle adjustment
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005224170A
Other languages
Japanese (ja)
Other versions
JP4754294B2 (en
Inventor
Masahiko Muramatsu
Mitsuyoshi Nagao
Sachihiro Noguchi
Hidenori Satou
Takashi Shimada
英法 佐藤
敬士 嶋田
政彦 村松
祥宏 野口
光芳 長尾
Original Assignee
Asahi Kasei Corp
Murakami Corp
旭化成株式会社
株式会社村上開明堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Corp, Murakami Corp, 旭化成株式会社, 株式会社村上開明堂 filed Critical Asahi Kasei Corp
Priority to JP2005224170A priority Critical patent/JP4754294B2/en
Publication of JP2007038790A publication Critical patent/JP2007038790A/en
Application granted granted Critical
Publication of JP4754294B2 publication Critical patent/JP4754294B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mirror surface angle adjusting method and device for a vehicle mirror facilitating mirror angle adjusting operation, and allowing adjustment of a desired mirror surface angle different for every driver. <P>SOLUTION: A camera 20 and a microphone 26 are installed in an inner mirror 10. An image recognition circuit 38 determines, based on an image of a face of a driver photographed by the camera 20, by means of image recognition as to whether the face or a sight line of the driver faces a left door mirror 42, or a right door mirror 44. A voice recognition circuit 46 analyzes contents of driver's spoken commands for adjustment of the mirror surface angles of left and right door mirrors 42 and 44, based on voice picked up by the microphone 26, by means of voice recognition. A door mirror control circuit 52 adjusts the mirror surface angle by motor driving so as to achieve mirror surface angle adjustment contents analyzed by the voice recognition concerning the door mirror on a direction of the driver's face or sight line determined by the image recognition. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、車両用ミラーの鏡面角度(すなわち、鏡面の上下左右方向の傾き角度)を調整する方法およびその装置に関し、鏡面角度の遠隔調整操作を容易にしたものである。   The present invention relates to a method and an apparatus for adjusting a mirror angle of a vehicle mirror (that is, a tilt angle in the vertical and horizontal directions of the mirror surface), and facilitates remote adjustment operation of the mirror angle.

鏡面角度調整を車室内から遠隔操作で行えるようにした電動リモコン式アウターミラー(ドアミラー、フェンダーミラー等)が従来より広く実用化されている。従来の電動リモコン式アウターミラーは、運転席の近くに配置されたスイッチを手動操作して、鏡面を上下左右に傾動させることにより、鏡面角度調整を行うものであった。   Electric remote-control type outer mirrors (door mirrors, fender mirrors, etc.) that can perform mirror surface angle adjustment by remote control from the passenger compartment have been widely put into practical use. Conventional electric remote-control type outer mirrors perform mirror surface angle adjustment by manually operating a switch disposed near a driver's seat and tilting the mirror surface up, down, left, and right.

また、鏡面角度調整を自動化した技術として、下記特許文献1に記載の技術が提案されている。これは、カメラで運転者を撮影して運転者の顔の位置を求め、該求められた顔の位置に基づいてミラーの最適角度を求めて、該最適角度にミラーを自動的に傾動させるようにしたものである。
特開2002−274265号公報
Further, as a technique for automating the mirror surface angle adjustment, a technique described in Patent Document 1 has been proposed. This is so that the driver's face position is obtained by photographing the driver with a camera, the optimum angle of the mirror is obtained based on the obtained face position, and the mirror is automatically tilted to the optimum angle. It is a thing.
JP 2002-274265 A

前記従来のスイッチ操作による鏡面角度調整は、まず左右アウターミラーのうち鏡面角度調整をしようとするミラーをスイッチで選択し、次いで該選択したミラーについてスイッチ操作で鏡面を上下左右方向に傾動させて鏡面角度を調整する操作が必要であり、スイッチ操作が面倒であった。また、前記従来の自動による鏡面角度調整は、運転者の顔の位置によって鏡面角度が画一的に決まってしまい、運転者毎に異なる好みの鏡面角度に調整することができなかった。   In the conventional mirror surface angle adjustment by the switch operation, first of all the left and right outer mirrors, the mirror whose mirror surface angle is to be adjusted is selected by the switch, and then the mirror surface is tilted in the vertical and horizontal directions by the switch operation for the selected mirror. An operation to adjust the angle is necessary, and the switch operation is troublesome. In addition, the conventional automatic mirror surface angle adjustment has a uniform mirror surface angle depending on the position of the driver's face, and cannot be adjusted to a preferred mirror surface angle that is different for each driver.

この発明は、上述の点に鑑みてなされたもので、鏡面角度調整操作を容易化するとともに、運転者毎に異なる好みの鏡面角度に調整できるようにした車両用ミラーの鏡面角度調整方法およびその装置を提供しようとするものである。   SUMMARY OF THE INVENTION The present invention has been made in view of the above-described points. The mirror surface angle adjusting method for a vehicle mirror, which facilitates the mirror surface angle adjustment operation and can be adjusted to a different preferred mirror surface angle for each driver, and its The device is to be provided.

この発明は、運転者が鏡面角度調整をするときは、必ず鏡面角度調整をしようとするミラーを見ながら鏡面角度調整をするという行動をとる点に着目したもので、運転者の顔または視線の方向を画像認識により判定して、該当する方向のミラーを自動的に選択し、該選択されたミラーについて、運転者の声により鏡面角度調整を行うようにしたものである。   The present invention pays attention to the fact that when the driver adjusts the mirror angle, he / she always takes the action of adjusting the mirror angle while looking at the mirror to be adjusted. The direction is determined by image recognition, the mirror in the corresponding direction is automatically selected, and the mirror angle adjustment is performed on the selected mirror by the voice of the driver.

すなわち、この発明の車両用ミラーの鏡面角度調整方法は、車両に搭載されている複数台のミラーの鏡面角度をリモコン操作で個々に電動調整する車両用ミラーの鏡面角度調整方法において、カメラで撮影した運転者の画像に基づき、運転者の顔または視線が前記複数台のミラーのいずれの方向を向いているかを画像認識により判定し、マイクで収音した運転者の声に基づき、運転者の声による鏡面角度調整の指示内容を音声認識により分析し、前記画像認識で判定されたミラーについて、その鏡面角度を前記音声認識で分析された指示内容に自動調整するものである。   In other words, the mirror angle adjustment method for a vehicle mirror according to the present invention is a method of adjusting the mirror angle of a plurality of mirrors mounted on a vehicle by electrically controlling the mirror angle of each mirror individually by remote control operation. Based on the image of the driver, it is determined by image recognition whether the driver's face or line of sight is facing the mirror, and based on the driver's voice collected by the microphone, The instruction content for mirror angle adjustment by voice is analyzed by voice recognition, and the mirror angle of the mirror determined by the image recognition is automatically adjusted to the instruction content analyzed by the voice recognition.

また、この発明の車両用ミラーの鏡面角度調整装置は、車両に搭載されている複数台のミラーの鏡面角度をリモコン操作で個々に電動調整する車両用ミラーの鏡面角度調整装置において、カメラで撮影した運転者の画像に基づき、運転者の顔または視線が前記複数台のミラーのいずれの方向を向いているかを画像認識により判定する画像認識手段と、マイクで収音した運転者の声に基づき、運転者の声による鏡面角度調整の指示内容を音声認識により分析する音声認識手段と、前記画像認識で判定されたミラーについて、その鏡面角度を前記音声認識で分析された指示内容に調整する制御手段とを具備してなるものである。   In addition, the mirror angle adjustment device for a vehicle mirror according to the present invention is a mirror angle adjustment device for a mirror for a vehicle that electrically adjusts the mirror angle of a plurality of mirrors mounted on the vehicle individually by remote control operation. Based on the image of the driver, the image recognition means for determining which direction of the plurality of mirrors the driver's face or line of sight is directed to based on the driver's voice collected by the microphone , Voice recognition means for analyzing the instruction content of the mirror angle adjustment by the voice of the driver by voice recognition, and control for adjusting the mirror angle of the mirror determined by the image recognition to the instruction content analyzed by the voice recognition Means.

この発明によれば、鏡面角度調整をしようとするミラーを選択するための特別の操作が不要となるとともに、鏡面角度調整の内容を運転者が声で指示できるので、鏡面角度調整操作が容易化され、しかも運転者毎に異なる好みの鏡面角度に調整することができる。   According to the present invention, a special operation for selecting a mirror to be subjected to mirror surface angle adjustment is not required, and the driver can instruct the contents of the mirror surface angle adjustment by voice, thereby facilitating the mirror surface angle adjustment operation. In addition, it is possible to adjust the mirror angle to a different preference for each driver.

運転者の顔の画像を映すカメラや運転者の声を収音するマイクは、例えば、インナーミラーに搭載することができる。この場合、カメラを、インナーミラーに内蔵された赤外カメラで構成し、かつ、該インナーミラーの鏡面の、少なくともカメラから運転者の顔を望む領域を、赤外光を透過させるコールドミラーで構成することができる。このようにすれば、運転者からは赤外カメラは見えないので、運転者に赤外カメラの存在を意識させることなく、運転者の顔を撮影することができる。   A camera that reflects an image of the driver's face and a microphone that picks up the driver's voice can be mounted on, for example, an inner mirror. In this case, the camera is composed of an infrared camera built in the inner mirror, and at least a region of the mirror surface of the inner mirror where the driver's face is desired is composed of a cold mirror that transmits infrared light. can do. In this way, since the driver cannot see the infrared camera, the driver's face can be photographed without making the driver aware of the presence of the infrared camera.

この発明は、さらに、運転者の口唇の動き(開閉動作)の有無を画像認識により判定し、その判定結果に基づいて、鏡面角度調整を許可または禁止することができる。すなわち、運転者の口唇の開閉動作が有ると判定された期間に音声認識により分析される指示内容について鏡面角度調整を許可し、運転者の口唇の開閉動作が無いと判定された期間に音声認識により分析される指示内容について鏡面角度調整を禁止することができる。このようにすれば、運転者以外の搭乗者による声その他のノイズにより誤動作で鏡面角度調整が実行されるのを防止することができる。   According to the present invention, the presence or absence of movement (opening / closing operation) of the driver's lips can be determined by image recognition, and specular angle adjustment can be permitted or prohibited based on the determination result. That is, the mirror angle adjustment is permitted for the instruction content analyzed by voice recognition during the period when it is determined that the driver's lip opening / closing operation is performed, and the voice recognition is performed during the period when it is determined that the driver's lip opening / closing operation is not performed. The mirror angle adjustment can be prohibited for the instruction content analyzed by the above. In this way, it is possible to prevent the mirror angle adjustment from being erroneously performed due to a voice or other noise from a passenger other than the driver.

運転者の声による鏡面角度調整の指示は、例えば、1回の指示あたりの鏡面の傾動量を固定にする場合は、傾動方向の指示のみ行えばよい。また、1回の指示あたりの鏡面の傾動量を可変にする場合は、傾動方向と傾動量の程度の指示を行えばよい。例えば、後述する実施の形態のように、傾動量の程度を大小2段階に指示する場合は、運転者の声による傾動量の程度を表す明示の指示が無い場合と傾動量の程度を表す明示の指示がある場合とで傾動量の程度の指示を識別することができる。すなわち、傾動量の程度を示す明示の指示が無い場合は、1回の指示あたりの傾動量を所定の通常の傾動量とし、傾動量の程度の明示の指示として例えば「少し」(あるいはその同義語(例えば「小さく」))という指示がある場合は、1回の指示あたりの傾動量を、明示の指示が無い場合に比べて小さい傾動量とすることができる。あるいは、傾動量の程度を示す明示の指示が無い場合は、1回の指示あたりの傾動量を所定の通常の傾動量とし、傾動量の程度の明示の指示として例えば「沢山」(あるいはその同義語(例えば「大きく」))という指示がある場合は、1回の指示あたりの傾動量を、明示の指示が無い場合に比べて大きい傾動量とすることができる。これらの場合は、いずれも、簡単な音声指示で、傾動量を2段階に指示することができる。また、傾動量の程度を示す明示の指示が無い場合は、1回の指示あたりの傾動量を所定の通常の傾動量とし、傾動量の程度の明示の指示として例えば「少し」(あるいはその同義語(例えば「小さく」))という指示がある場合は、1回の指示あたりの傾動量を、明示の指示が無い場合に比べて小さい傾動量とし、傾動量の程度の明示の指示として例えば「沢山」(あるいはその同義語(例えば「大きく」))という指示がある場合は、1回の指示あたりの傾動量を、明示の指示が無い場合に比べて大きい傾動量とすることもできる。このようにすれば、簡単な音声指示で、傾動量を3段階に指示することができる。   For example, when the mirror surface angle adjustment instruction by the driver's voice is fixed, for example, when the mirror surface tilt amount per instruction is fixed, only the tilt direction instruction may be given. Further, when the amount of tilting of the mirror surface per instruction is made variable, it is only necessary to instruct the tilting direction and the amount of tilting. For example, in the case where the degree of tilting is instructed in two levels, as in the embodiments described later, there is no explicit instruction indicating the degree of tilting by the driver's voice and the explicit degree indicating the degree of tilting. It is possible to identify an instruction of the amount of tilting when there is an instruction. That is, when there is no explicit instruction indicating the degree of tilting amount, the tilting amount per instruction is set as a predetermined normal tilting amount, and for example, “little” (or its synonym) is specified as an explicit instruction for the degree of tilting amount. When there is an instruction such as a word (for example, “small”), the amount of tilt per instruction can be made smaller than that when there is no explicit instruction. Alternatively, when there is no explicit instruction indicating the degree of tilting amount, the tilting amount per instruction is set as a predetermined normal tilting amount, and for example, “many” (or its synonyms) When there is an instruction such as a word (for example, “large”), the amount of tilt per instruction can be set larger than that when there is no explicit instruction. In any of these cases, the amount of tilt can be instructed in two steps with a simple voice instruction. In addition, when there is no explicit instruction indicating the degree of tilting amount, the tilting amount per instruction is set as a predetermined normal tilting amount, and for example, “a little” (or its synonym) is specified as an explicit instruction for the degree of tilting amount. When there is an instruction such as “word (for example,“ small ”)”, the tilt amount per instruction is set to a small tilt amount compared to the case where there is no explicit instruction, and for example, “ When there is an instruction of “many” (or its synonyms (for example, “large”)), the amount of tilt per instruction can be set to a larger amount of tilt than when there is no explicit instruction. In this way, the amount of tilting can be instructed in three stages with a simple voice instruction.

この発明を左右ドアミラーの鏡面角度調整に適用した実施の形態を以下説明する。この実施の形態では、カメラおよびマイクをインナーミラーに搭載している。カメラで運転者の顔を撮影し、該撮影された映像から、画像認識により、運転者の顔または視線が左ドアミラー方向を向いているか、もしくは、右ドアミラー方向を向いているか、または、それ以外の状態かを判定する。また、マイクで運転者の声(言葉)による調整内容の指示を収音し、該収音された音声から音声認識により傾動方向および傾動量の指示内容を分析し、前記画像認識で判定された方のドアミラーについて、該音声認識で分析された傾動方向および傾動量で鏡面角度を調整する。   An embodiment in which the present invention is applied to mirror surface angle adjustment of left and right door mirrors will be described below. In this embodiment, a camera and a microphone are mounted on the inner mirror. The driver's face is photographed with a camera, and the driver's face or line of sight is directed to the left door mirror direction, the right door mirror direction, or otherwise by image recognition from the photographed video. It is judged whether it is in the state. In addition, an instruction of adjustment contents by a driver's voice (words) is collected by a microphone, and the instruction contents of a tilt direction and a tilt amount are analyzed by voice recognition from the collected voice, and determined by the image recognition. For the other door mirror, the mirror surface angle is adjusted by the tilt direction and tilt amount analyzed by the voice recognition.

始めに、インナーミラーの構成を図2に示す。インナーミラー10のステー12は、車室内で、該ステー12の上端部(図示せず)が車室天井部の前縁部の左右方向中央位置、または、フロントウインドウの上部の左右方向中央位置に取り付けられる。ステー12の下端部にはミラーハウジング14が連結されている。ミラーハウジング14の、車両後方に向けて開口した開口部14aには、鏡板16が嵌め込み装着されている。鏡板16は可視光を反射し赤外光を透過させる分光特性を持ついわゆるコールドミラーで構成されている。   First, the configuration of the inner mirror is shown in FIG. The stay 12 of the inner mirror 10 is in the vehicle interior, and the upper end (not shown) of the stay 12 is located at the center in the left-right direction of the front edge of the ceiling of the vehicle interior or the center of the front window in the left-right direction. It is attached. A mirror housing 14 is connected to the lower end of the stay 12. A mirror plate 16 is fitted and attached to an opening 14a of the mirror housing 14 that opens toward the rear of the vehicle. The end plate 16 is formed of a so-called cold mirror having a spectral characteristic that reflects visible light and transmits infrared light.

鏡板16の背後のミラーハウジング14内の空間14bには、基板18がミラーハウジング14の内周面に固定装着されている。基板18には、赤外カメラ20、赤外LED(発光ダイオード)22、各種回路素子類24等が固定配置されている。赤外カメラ20のカメラ光軸(対物レンズ光軸)Lは、車両後方または運転者の顔の方向に向けられ、いずれの場合も、運転者の顔が赤外カメラ20の視野に入るように設定されている。赤外LED22は赤外カメラ20の周囲に配置され、赤外LED22の光軸はカメラ光軸Lと平行に設定されている。ミラーハウジング14の外側の部分には、マイク26が車両後方もしくは運転者の顔の方向または運転者の声を良好に収音可能なその他の方向に向けて取り付けられている。   A substrate 18 is fixedly mounted on the inner peripheral surface of the mirror housing 14 in a space 14 b in the mirror housing 14 behind the end plate 16. An infrared camera 20, an infrared LED (light emitting diode) 22, various circuit elements 24, and the like are fixedly disposed on the substrate 18. The camera optical axis (objective lens optical axis) L of the infrared camera 20 is directed to the rear of the vehicle or the direction of the driver's face so that the driver's face enters the field of view of the infrared camera 20 in any case. Is set. The infrared LED 22 is disposed around the infrared camera 20, and the optical axis of the infrared LED 22 is set parallel to the camera optical axis L. A microphone 26 is attached to the outer part of the mirror housing 14 toward the rear of the vehicle, the direction of the driver's face, or another direction that can properly collect the driver's voice.

以上のインナーミラー10の構成によれば、コールドミラーで構成される鏡板16は可視光を反射するので、運転者は、このインナーミラー10を通常のインナーミラーと同様に使用して、鏡板16で反射される車両後方の映像を視認することができる。また、赤外LED22から連続的に出射される赤外光は、鏡板16を透過して運転者の顔に照射される。赤外カメラ20は赤外光が照射された運転者の顔を連続的に撮影する。運転者からは赤外カメラ20および赤外LED22は見えないので、運転者に赤外カメラ20および赤外LED22の存在を意識させることなく、運転者の顔を連続的に撮影することができる。   According to the configuration of the inner mirror 10 described above, since the end plate 16 formed of a cold mirror reflects visible light, the driver can use the inner mirror 10 in the same manner as a normal inner mirror, It is possible to visually recognize the image behind the reflected vehicle. Further, the infrared light continuously emitted from the infrared LED 22 passes through the end plate 16 and is irradiated to the driver's face. The infrared camera 20 continuously captures the driver's face irradiated with infrared light. Since the driver cannot see the infrared camera 20 and the infrared LED 22, the driver's face can be continuously photographed without making the driver aware of the presence of the infrared camera 20 and the infrared LED 22.

図1は、図2のインナーミラー10を使用した左右ドアミラーの鏡面角度調整装置のシステム構成を示す。インナーミラー配置部10Aはインナーミラー10に配置された部分であり、ドアミラーコントローラ28は車両のダッシュボード内等に配置された部分である。ACCケーブル(エンジンキー・ポジションが“ACC”のときに電源が供給される電気ケーブル)30およびGNDケーブル(車両の接地電位に接続された電気ケーブル)32は、ドアミラーコントローラ28の安定化電源34と、インナーミラー配置部10Aの安定化電源36にそれぞれ接続され、両回路34,36に電源を供給する。安定化電源回路34は、ドアミラーコントローラ28の各部に安定化した所定電圧の電源を供給する。安定化電源回路36は、インナーミラー配置部10Aの各部に安定化した所定電圧の電源を供給する。   FIG. 1 shows a system configuration of a mirror surface angle adjustment device for left and right door mirrors using the inner mirror 10 of FIG. The inner mirror arrangement part 10A is a part arranged in the inner mirror 10, and the door mirror controller 28 is a part arranged in the dashboard of the vehicle. An ACC cable (electric cable supplied with power when the engine key position is “ACC”) 30 and a GND cable (electric cable connected to the ground potential of the vehicle) 32 are connected to a stabilized power supply 34 of the door mirror controller 28. Are connected to the stabilized power supply 36 of the inner mirror arrangement portion 10A, respectively, and supply power to both circuits 34 and 36. The stabilized power circuit 34 supplies a stabilized power supply of a predetermined voltage to each part of the door mirror controller 28. The stabilized power supply circuit 36 supplies a stabilized power supply of a predetermined voltage to each part of the inner mirror arrangement unit 10A.

インナーミラー配置部10Aにおいて、画像認識回路38は、赤外カメラ20で撮影した連続映像から、周知の画像認識手法(例えば、特開平3−255793号公報、特開平6−262959号公報に記載の手法)を用いて運転者の顔の向きまたは視線の向きを連続的に検出し、運転者の顔または視線が左ドアミラー42の方向を向いているか、右ドアミラー44の方向を向いているか、あるいは判定不能か(正面方向を向いている等により、左右いずれとも判定できない状態)を連続的かつ個々に判定する。画像認識回路38は、また、赤外カメラ20で撮影した連続映像から、周知の画像認識手法(例えば、特開2000−338987号公報に記載の手法)を用いて運転者の口唇の開閉動作を連続的に検出し、口唇の開閉動作の有無(すなわち、発話の有無)を連続的に判定する。   In the inner mirror arrangement unit 10A, the image recognition circuit 38 is a known image recognition method (for example, as described in Japanese Patent Laid-Open Nos. 3-255793 and 6-262959) from continuous video captured by the infrared camera 20. The direction of the driver's face or line of sight is continuously detected using the method), and the driver's face or line of sight faces the left door mirror 42, the right door mirror 44, or It is determined continuously and individually whether the determination is impossible (a state in which neither the right side nor the left side can be determined due to facing the front direction or the like). The image recognition circuit 38 also opens and closes the driver's lips using a known image recognition method (for example, the method described in Japanese Patent Application Laid-Open No. 2000-338987) from continuous video captured by the infrared camera 20. It is continuously detected, and the presence / absence of the lip opening / closing operation (that is, the presence / absence of speech) is continuously determined.

メモリ48には、音声認識回路46で認識すべき運転者の声による指示音声が予め登録されている。音声認識回路46は、マイクで収音された音声とメモリ48に登録されている音声とを対比して、運転者の声による指示内容を分析する。発光回路50は、赤外LED22を連続的に発光駆動する。   In the memory 48, instruction voices based on the driver's voice to be recognized by the voice recognition circuit 46 are registered in advance. The voice recognition circuit 46 compares the voice picked up by the microphone and the voice registered in the memory 48 and analyzes the instruction content by the driver's voice. The light emitting circuit 50 continuously drives the infrared LED 22 to emit light.

制御手段を構成するドアミラー制御回路52は、画像認識回路38の判定結果および音声認識回路46の分析結果に応じて、左右ドアミラー42,44の鏡面角度を調整する信号(鏡面角度調整信号)を出力する。すなわち、ドアミラー制御回路52は、画像認識回路38で運転者の顔の向きまたは視線の向きが向いていると判定されたドアミラーについて、音声認識回路46で分析された鏡面角度調整の指示内容を実現する鏡面角度調整信号を出力する。この場合、運転者以外の搭乗者による声その他のノイズにより左右ドアミラー42,44の鏡面角度が誤動作するのを防止するために、ドアミラー制御回路52は、画像認識回路38で運転者の口唇の開閉動作が有ると判定されている期間に音声認識回路46で分析される鏡面角度調整の指示内容のみ有効として、該指示内容に該当する鏡面角度調整信号を出力し、画像認識回路38で運転者の口唇の開閉動作が無いと判定されている期間に音声認識回路46で分析される鏡面角度調整の指示内容を無効として、該指示内容に該当する鏡面角度調整信号を出力しないようにする。   The door mirror control circuit 52 constituting the control means outputs a signal (mirror surface angle adjustment signal) for adjusting the mirror surface angle of the left and right door mirrors 42 and 44 according to the determination result of the image recognition circuit 38 and the analysis result of the voice recognition circuit 46. To do. That is, the door mirror control circuit 52 realizes the specular angle adjustment instruction content analyzed by the voice recognition circuit 46 for the door mirror determined by the image recognition circuit 38 that the driver's face direction or line of sight is facing. A mirror angle adjustment signal is output. In this case, in order to prevent the mirror surface angle of the left and right door mirrors 42 and 44 from malfunctioning due to a voice or other noise from a passenger other than the driver, the door mirror control circuit 52 opens and closes the driver's lips with the image recognition circuit 38. Only the specular angle adjustment instruction content analyzed by the voice recognition circuit 46 is valid during the period in which it is determined that there is an action, and the specular angle adjustment signal corresponding to the instruction content is output. The specular angle adjustment instruction content analyzed by the voice recognition circuit 46 during a period when it is determined that there is no lip opening / closing operation is invalidated so that the specular angle adjustment signal corresponding to the instruction content is not output.

ドアミラー制御回路52から出力される鏡面角度調整信号は、ドアミラー通信出力回路54から送信され、通信ケーブル55を介してドアミラーコントローラ28のドアミラー通信入力回路56で受信される。なお、ACCケーブル30、GNDケーブル32、通信ケーブル55は、ステー12内を通ってインナーミラー10内に導かれている。ドアミラーコントローラ28において、ドアミラー駆動回路58は、ドアミラー通信入力回路56で受信された鏡面角度調整信号を解析して、該鏡面角度調整信号の指示内容を実現する左右ドアミラー42,44内の鏡面角度調整用モータ(図示せず)の駆動信号を作成し、該駆動信号を電気ケーブル60,62を介して、左右ドアミラー42,44に供給する。これにより、左右ドアミラー42,44内の鏡面角度調整用モータが駆動されて、左右ドアミラー42,44の鏡面角度が、ドアミラー制御回路52で指示された内容にそれぞれ調整される。   The mirror angle adjustment signal output from the door mirror control circuit 52 is transmitted from the door mirror communication output circuit 54 and received by the door mirror communication input circuit 56 of the door mirror controller 28 via the communication cable 55. Note that the ACC cable 30, the GND cable 32, and the communication cable 55 are guided into the inner mirror 10 through the stay 12. In the door mirror controller 28, the door mirror drive circuit 58 analyzes the mirror angle adjustment signal received by the door mirror communication input circuit 56, and adjusts the mirror angle in the left and right door mirrors 42 and 44 that realizes the instruction content of the mirror angle adjustment signal. A drive signal for a motor (not shown) is generated, and the drive signal is supplied to the left and right door mirrors 42 and 44 via electric cables 60 and 62. Thereby, the mirror surface angle adjusting motors in the left and right door mirrors 42 and 44 are driven, and the mirror surface angles of the left and right door mirrors 42 and 44 are respectively adjusted to the contents instructed by the door mirror control circuit 52.

音声認識回路46で分析される運転者の発話と、画像認識回路38で判定される運転者の顔の向きおよび口唇の開閉動作の有無の組合せに応じた、ドアミラー制御回路52による左右ドアミラー42,44の制御内容の一例を表1に示す。表1において、「音声認識結果データ」は音声認識回路46から出力される音声認識結果のコードデータの一例であり、「顔画像認識結果データ」は画像認識回路38から出力される画像認識結果のコードデータの一例である。なお、表1では、左右ドアミラー42,44について、通常運転時用の鏡面角度調整のほかに、リバース(後進)運転時用の鏡面角度調整(後進での車庫入れを容易にするために鏡面を下方向へ大きく傾動させる調整動作)、電動可倒式ドアミラーの電動格納動作(格納/復帰動作)、および鏡面に付着した水滴を蒸発させるためのヒータのオン/オフ動作を音声指示で行わせる場合について示している。   The left and right door mirrors 42 by the door mirror control circuit 52 according to the combination of the driver's utterance analyzed by the voice recognition circuit 46 and the driver's face orientation and lip opening / closing operation determined by the image recognition circuit 38. An example of the control content of 44 is shown in Table 1. In Table 1, “speech recognition result data” is an example of code data of a speech recognition result output from the speech recognition circuit 46, and “face image recognition result data” is an image recognition result output from the image recognition circuit 38. It is an example of code data. In Table 1, for the left and right door mirrors 42 and 44, in addition to the mirror surface angle adjustment for normal operation, the mirror surface angle adjustment for reverse (reverse) operation (mirror surfaces for easy garage entry in reverse) Adjustment operation that tilts greatly downward), electric retractable operation (storage / return operation) of the electric retractable door mirror, and on / off operation of the heater for evaporating water droplets adhering to the mirror surface by voice instructions Shows about.

表1において、「顔画像認識結果データ」を構成する8ビットデータ“xxxxAABB”(xはDon't care ビット)のうち、“AA”の2ビットは顔の向きの判定結果であり、

右向き:“AA”=“10”
左向き:“AA”=“11”
判定不能:“AA”=“00”

である。また、“BB”の2ビットは口唇の開閉動作の有無の判定結果であり、

口唇の開閉動作無し:“BB”=“00”
口唇の開閉動作有り:“BB”=“11”

である。なお、表1では、「運転者発話」が「非発話」以外は、口唇の開閉動作有り(“BB”=“11”)の場合を示している。表1に示されていない口唇の開閉動作無し(“BB”=“00”)の場合のミラー動作は、いずれも「動作しない」である。また、「運転者発話」が「非発話」の場合は、口唇の開閉動作有り(“BB”=“11”)であっても、ミラー動作は「動作しない」である。
In Table 1, among the 8-bit data “xxxxAAAB” (x is a Don't care bit) constituting “face image recognition result data”, 2 bits of “AA” are determination results of the face direction,

Right direction: “AA” = “10”
Left direction: “AA” = “11”
Judgment impossible: “AA” = “00”

It is. In addition, 2 bits of “BB” is a determination result of the presence / absence of opening / closing operation of the lips,

No lip opening / closing action: “BB” = “00”
Lip opening / closing operation: “BB” = “11”

It is. Table 1 shows a case where the opening / closing operation of the lips is present (“BB” = “11”) except for “driver utterance” other than “non-utterance”. The mirror operation when there is no lip opening / closing operation (“BB” = “00”) not shown in Table 1 is “no operation”. When “driver's utterance” is “non-utterance”, the mirror operation is “not activated” even if the lip opening / closing operation is present (“BB” = “11”).

ドアミラー制御回路52は、例えば、表1の音声認識結果データと顔画像認識結果データを組み合わせたデータをドアミラー制御信号(鏡面角度調整信号その他表1の各動作を実行するための制御信号)として出力することができる。この場合、ドアミラー通信出力回路54は、該組み合わせられたデータをシリアル信号に変換して、通信ケーブル55を介してドアミラーコントローラ28に送信することができる。このシリアル信号のデータ構成例を図3に示す。図3のシリアル信号は、「音声認識結果」、「顔画像認識結果」、「デリミタ符号」の各8ビットのコードデータを相互に連結した24ビットのデータで構成される。「デリミタ符号」は、例えばCR(Carriage Return:復帰改行符号)が使われ、そのコードは“00001101”である。   The door mirror control circuit 52 outputs, for example, data obtained by combining the voice recognition result data and the face image recognition result data in Table 1 as a door mirror control signal (a mirror angle adjustment signal and other control signals for executing each operation in Table 1). can do. In this case, the door mirror communication output circuit 54 can convert the combined data into a serial signal and transmit it to the door mirror controller 28 via the communication cable 55. A data configuration example of this serial signal is shown in FIG. The serial signal in FIG. 3 is composed of 24-bit data obtained by connecting 8-bit code data of “voice recognition result”, “face image recognition result”, and “delimiter code” to each other. As the “delimiter code”, for example, CR (Carriage Return) is used, and the code is “00001101”.

表1の各制御内容について説明する。ここでは、いずれの場合も、口唇の開閉動作の有無の判定結果が「口唇の開閉動作有り」であるとする。
(1)通常運転時用鏡面角度調整
鏡面角度調整は、周知のように、左右ドアミラー42,44にそれぞれ内蔵された、鏡面を上下方向に傾動させる上下方向鏡面調整用モータと、左右方向に傾動させる左右方向鏡面調整用モータをそれぞれ正逆回転することによって実現することができる。鏡面角度調整は、左右ドアミラー42,44のうち画像認識回路38で判定された運転者の顔または視線が向いている方向のドアミラーについて、運転者が声で発した調整内容を実現するように上記2つの鏡面調整用モータを駆動することにより実現される。運転者は、上下左右各方向について、左右ドアミラー42,44の鏡面を大小2段階の傾動量で傾動させる指示を声で発する。すなわち、運転者が発する声「上」、「下」、「右」、「左」は、該当する鏡面調整用モータを、該当する回転方向に1秒間駆動する指示となる。また、運転者が発する声「少し上」、「少し下」、「少し右」、「少し左」は、該当する鏡面調整用モータを、該当する回転方向に0.5秒間駆動する指示となる。音声認識回路46がこれらの指示を音声認識すると、ドアミラー制御回路52は、画像認識回路38で判定された運転者の顔または視線が向いている方向のドアミラーについて、このモータ駆動を実行する。同じ内容の音声指示を繰り返し発すれば、鏡面は該当する方向に順次傾動されていく。
Each control content of Table 1 is demonstrated. Here, in any case, it is assumed that the determination result of the presence / absence of the opening / closing operation of the lips is “the opening / closing operation of the lips”.
(1) Mirror surface angle adjustment for normal operation As is well known, mirror surface angle adjustment is built in the left and right door mirrors 42 and 44, respectively, and a vertical mirror surface adjustment motor for tilting the mirror surface in the vertical direction and tilting in the horizontal direction. This can be realized by rotating the right and left mirror surface adjusting motors forward and backward. The mirror surface angle adjustment is performed so that the driver's voice is adjusted for the door mirror in the direction in which the driver's face or line of sight determined by the image recognition circuit 38 among the left and right door mirrors 42 and 44 is adjusted. This is realized by driving two mirror surface adjustment motors. The driver gives a voice instruction for tilting the mirror surfaces of the left and right door mirrors 42 and 44 in two large and small tilt amounts in each of the vertical and horizontal directions. That is, the voices “up”, “down”, “right”, and “left” uttered by the driver are instructions for driving the corresponding mirror surface adjustment motor in the corresponding rotation direction for 1 second. In addition, the voices “slightly above”, “slightly below”, “slightly right”, and “slightly left” uttered by the driver are instructions to drive the corresponding mirror surface adjustment motor for 0.5 seconds in the corresponding rotation direction. . When the voice recognition circuit 46 recognizes these instructions, the door mirror control circuit 52 executes this motor drive for the door mirror in the direction in which the driver's face or line of sight determined by the image recognition circuit 38 is facing. If the same voice instruction is repeatedly issued, the mirror surface is sequentially tilted in the corresponding direction.

(2)リバース/復帰動作
運転者が発する声「リバース」は、上下方向鏡面調整用モータを、下向きに2秒間駆動する指示となる。ドアミラー制御回路52は、画像認識回路38で判定された運転者の顔または視線が向いている方向のドアミラーについて、このモータ駆動を実行する。これにより、運転者は該ドアミラーを通して後輪付近を視認できるようになり、後進での車庫入れが容易になる。鏡面がこのように下向きにされた状態で運転者が発する声「ドライブ」は、上下方向鏡面調整用モータを、上向きに2秒間駆動する指示となる。音声認識回路46がこれらの指示を音声認識すると、ドアミラー制御回路52は、画像認識回路38で判定された運転者の顔または視線が向いている方向のドアミラーについて、このモータ駆動を実行する。これにより、鏡面は下向きにされる前の位置すなわち通常運転時の位置に復帰する。
(2) Reverse / Return Operation The voice “reverse” uttered by the driver is an instruction to drive the vertical mirror surface adjustment motor downward for 2 seconds. The door mirror control circuit 52 executes this motor drive for the door mirror in the direction in which the driver's face or line of sight determined by the image recognition circuit 38 is facing. As a result, the driver can visually recognize the vicinity of the rear wheel through the door mirror, and it is easy to enter the garage in the reverse direction. The voice “drive” uttered by the driver with the mirror surface facing down in this manner is an instruction to drive the vertical mirror adjustment motor upward for 2 seconds. When the voice recognition circuit 46 recognizes these instructions, the door mirror control circuit 52 executes this motor drive for the door mirror in the direction in which the driver's face or line of sight determined by the image recognition circuit 38 is facing. As a result, the mirror surface returns to the position before being lowered, that is, the position during normal operation.

(3)電動格納/復帰動作
運転者が発する声「格納」は、電動可倒式の左右両ドアミラー42,44を格納状態(倒れた状態)にする指示となる。この格納状態で運転者が発する声「復帰」は、左右両ドアミラー42,44を復帰状態(起立した状態)にする指示となる。音声認識回路46がこれらの指示を音声認識すると、ドアミラー制御回路52は、左右両ドアミラー42,44に内蔵されている電動格納用モータ(図示せず)を該当する方向に駆動する。なお、電動格納/復帰動作は、左右両ドアミラー42,44を同時に動作させるので、画像認識回路38の判定結果のうち運転者の顔(または視線)の向きについての判定結果は利用されない(運転者の口唇の開閉動作の有無についての判定結果は利用される)。
(3) Electric storing / returning operation The voice “storage” uttered by the driver is an instruction to put the electric collapsible left and right door mirrors 42 and 44 into the retracted state (the collapsed state). The voice “return” uttered by the driver in this retracted state is an instruction to bring the left and right door mirrors 42, 44 into the return state (the standing state). When the voice recognition circuit 46 recognizes these instructions, the door mirror control circuit 52 drives an electric storage motor (not shown) built in the left and right door mirrors 42 and 44 in the corresponding direction. In the electric retracting / returning operation, the left and right door mirrors 42 and 44 are simultaneously operated, so that the determination result of the driver's face (or line of sight) among the determination results of the image recognition circuit 38 is not used (driver) The determination result on the presence / absence of the opening / closing operation of the lips is used.

(4)ヒータオン/オフ動作
運転者が発する声「ヒーター作動」は、左右両ドアミラー42,44の鏡板に具えられているヒータをオンさせる指示となる。音声認識回路46がこれらの指示を音声認識すると、ドアミラー制御回路52は、左右両ドアミラー42,44のヒータをオンする。運転者が発する声「ヒーター停止」は、左右両ドアミラー42,44の鏡板に具えられているヒータをオフさせる指示となる。音声認識回路46がこれらの指示を音声認識すると、ドアミラー制御回路52は、左右両ドアミラー42,44のヒータをオフする。なお、ヒータオン/オフ動作は、左右両ドアミラー42,44のヒータを同時に動作させるので、画像認識回路38の判定結果のうち運転者の顔(または視線)の向きについての判定結果は利用されない(運転者の口唇の開閉動作の有無についての判定結果は利用される)。
(4) Heater On / Off Operation The driver's voice “heater operation” is an instruction to turn on the heaters provided on the end plates of the left and right door mirrors 42 and 44. When the voice recognition circuit 46 recognizes these instructions, the door mirror control circuit 52 turns on the heaters of the left and right door mirrors 42 and 44. The voice “heater stop” uttered by the driver is an instruction to turn off the heaters provided on the end plates of the left and right door mirrors 42 and 44. When the voice recognition circuit 46 recognizes these instructions, the door mirror control circuit 52 turns off the heaters of the left and right door mirrors 42 and 44. In the heater on / off operation, the heaters of the left and right door mirrors 42 and 44 are simultaneously operated, and therefore the determination result of the driver's face (or line of sight) among the determination results of the image recognition circuit 38 is not used (driving). The determination result on the presence or absence of the opening / closing operation of the person's lips is used).

次に、図1の鏡面角度調整装置による左右両ドアミラー42,44の制御の処理フローを図4を参照して説明する。図4の処理フローは、画像認識処理F1、音声認識処理F2およびこれら両処理F1,F2に基づくドアミラー制御信号(鏡面角度調整信号その他表1の各動作を実行するための制御信号)作成処理F3からなる。   Next, a processing flow of control of the left and right door mirrors 42 and 44 by the mirror surface angle adjusting device of FIG. 1 will be described with reference to FIG. The processing flow of FIG. 4 includes an image recognition process F1, a voice recognition process F2, and a door mirror control signal (a mirror angle adjustment signal and other control signals for executing the operations in Table 1) based on both processes F1 and F2. Consists of.

画像認識処理F1は画像認識回路38で実行される制御である。すなわち、赤外カメラ20から出力される映像信号から、運転者の画像を取得し(S1)、さらにその中から運転者の顔全体の画像の検出を試行する(S2)。顔全体の画像が検出されたら(S3)、さらに、該画像において運転者の口唇を探索する領域を設定し(S4)、その領域の中で口唇の検出を試行する(S5)。口唇の検出に成功したら(S6)、口唇画像を取得し(S7)、口唇の開閉動作の有無から運転者の発話の有無を判定する(S8)。すなわち、口唇の開閉動作があれば“発話有り”と判定し、口唇の開閉動作がなければ“発話無し”と判定する。さらに、顔全体の画像検出(S3)で検出された顔全体の画像における、口唇検出(S6)で検出された口唇の位置から、運転者の顔の向きを判定する(S9)。   The image recognition process F1 is a control executed by the image recognition circuit 38. That is, an image of the driver is acquired from the video signal output from the infrared camera 20 (S1), and further, detection of an image of the entire face of the driver is tried (S2). When an image of the entire face is detected (S3), an area for searching for the driver's lips is set in the image (S4), and detection of the lips in the area is tried (S5). If the detection of the lips is successful (S6), a lip image is acquired (S7), and the presence / absence of the driver's speech is determined from the presence / absence of the opening / closing operation of the lips (S8). That is, if there is a lip opening / closing operation, it is determined that “speech is present”, and if there is no lip opening / closing operation, it is determined that “no utterance”. Further, the orientation of the driver's face is determined from the position of the lip detected by the lip detection (S6) in the entire face image detected by the image detection (S3) of the entire face (S9).

一方、音声認識処理F2は音声認識回路46で実行される制御である。すなわち、マイク26から出力される音声信号から、人の音声を抽出し(S10)、メモリ48に登録されている、運転者の声による音声認識回路46で認識すべき指示内容と対比して音声認識を行い、表1の「運転者発話」を検出する(S11)。   On the other hand, the voice recognition process F <b> 2 is a control executed by the voice recognition circuit 46. That is, the voice of a person is extracted from the voice signal output from the microphone 26 (S10), and the voice is compared with the instruction content registered in the memory 48 and to be recognized by the voice recognition circuit 46 based on the driver's voice. It recognizes and detects "driver's utterance" of Table 1 (S11).

ドアミラー制御信号作成処理F3はドアミラー制御回路52で実行される制御である。すなわち、音声認識処理F2で運転者発話が検出されたら、前記画像認識処理F1における、口唇開閉動作に基づく発話の有無の判定(S8)の結果との組み合わせから、運転者発話の有効性を判定する(S12)。すなわち、“発話有り”と判定された期間に検出された運転者発話を有効と判定し、“発話無し”と判定された期間に検出された運転者発話を無効と判定する。そして、有効と判定された運転者発話の内容に相当するミラー動作を実行するドアミラー制御信号を作成する(S13)。このとき、前記「(1)通常運転時用鏡面角度調整」および「(2)リバース/復帰動作」については顔の向きの判定結果が利用される。すなわち、運転者の顔が向いている方向のドアミラーについて、該当するミラー動作を実行するドアミラー制御信号が作成される。これに対し、前記「(3)電動格納/復帰動作」および「(4)ヒータオン/オフ動作」については顔の向きの判定結果は利用されない。すなわち、運転者の顔の向きにかかわらず、左右両方のドアミラー42,44について、該当するミラー動作を実行するドアミラー制御信号が作成される。以上のようにして、左右ドアミラー42,44は表1の「ミラー動作」に示す該当する各動作をする。   The door mirror control signal creation processing F3 is control executed by the door mirror control circuit 52. That is, when the driver utterance is detected in the voice recognition process F2, the effectiveness of the driver utterance is determined from the combination with the result of the determination of the presence / absence of utterance based on the lip opening / closing operation (S8) in the image recognition process F1. (S12). That is, the driver utterance detected during the period determined as “speech” is determined to be valid, and the driver utterance detected during the period “no utterance” is determined to be invalid. And the door mirror control signal which performs the mirror operation | movement corresponded to the content of the driver | operator utterance determined to be effective is produced (S13). At this time, the determination result of the face orientation is used for the “(1) mirror angle adjustment for normal operation” and “(2) reverse / return operation”. That is, a door mirror control signal for executing the corresponding mirror operation is created for the door mirror in the direction in which the driver's face is facing. On the other hand, the determination result of the face orientation is not used for the “(3) Electric storage / return operation” and “(4) Heater on / off operation”. That is, a door mirror control signal for executing the corresponding mirror operation is created for both the left and right door mirrors 42 and 44 regardless of the direction of the driver's face. As described above, the left and right door mirrors 42 and 44 perform the corresponding operations shown in “Mirror operation” in Table 1.

なお、前記実施の形態では、左右アウターミラーの鏡面角度調整を行う場合について説明したが、インナーミラーの鏡面角度調整を併せて行うこともできる。その場合は、インナーミラーとして、ミラーハウジングに対し鏡面の角度を上下左右方向に電動駆動で調整できる電動リモコン式インナーミラーを使用する。そして、インナーミラー搭載のカメラで撮影した運転者の顔の画像から、画像認識により運転者の顔または視線の向きを検出し、運転者の顔または視線が左アウターミラー、右アウターミラー、インナーミラーのいずれの方向を向いているかを判定する。これと並行して、インナーミラー搭載のマイクで収音した運転者の声による鏡面角度調整指示(「上」、「下」、「左」、「右」、「少し上」、「少し下」、「少し左」、「少し右」等)を音声認識により検出し、顔または視線が向いていると判定されたミラーについて、該指示に該当する鏡面調整を実行する。   In the above embodiment, the case where the mirror angle adjustment of the left and right outer mirrors is described, but the mirror angle adjustment of the inner mirror can also be performed. In that case, an electric remote control type inner mirror that can adjust the angle of the mirror surface with respect to the mirror housing in the vertical and horizontal directions by electric drive is used as the inner mirror. Then, the driver's face or line of sight is detected by image recognition from the image of the driver's face taken with a camera equipped with an inner mirror, and the driver's face or line of sight is detected by the left outer mirror, right outer mirror, and inner mirror. Which direction is pointed to is determined. In parallel with this, mirror angle adjustment instructions ("Up", "Down", "Left", "Right", "Slightly above", "Slightly below") from the driver's voice collected by the microphone equipped with the inner mirror , “Slightly left”, “slightly right”, etc.) are detected by voice recognition, and the mirror surface adjustment corresponding to the instruction is executed for the mirror that is determined that the face or line of sight is facing.

この発明の実施の形態における鏡面角度調整装置のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the mirror surface angle adjustment apparatus in embodiment of this invention. この発明の実施の形態におけるインナーミラーの構成を示す図で、内部を透視した正面図および断面図である。It is a figure which shows the structure of the inner mirror in embodiment of this invention, and is the front view and sectional drawing which saw through the inside. 図1のドアミラー通信出力回路54から送信されるシリアル信号の構成例を示す図である。It is a figure which shows the structural example of the serial signal transmitted from the door mirror communication output circuit 54 of FIG. 図1の鏡面角度調整装置による左右両ドアミラー42,44の制御の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of control of the left-right both door mirrors 42 and 44 by the mirror surface angle adjustment apparatus of FIG.

符号の説明Explanation of symbols

10…インナーミラー、16…鏡板(コールドミラー)、20…カメラ(赤外カメラ)、26…マイク、38…画像認識回路(画像認識手段)、42…左ドアミラー、44…右ドアミラー、46…音声認識回路(音声認識手段)、52…ドアミラー制御回路(制御手段)。   DESCRIPTION OF SYMBOLS 10 ... Inner mirror, 16 ... End plate (cold mirror), 20 ... Camera (infrared camera), 26 ... Microphone, 38 ... Image recognition circuit (image recognition means), 42 ... Left door mirror, 44 ... Right door mirror, 46 ... Audio Recognition circuit (voice recognition means), 52... Door mirror control circuit (control means).

Claims (11)

  1. 車両に搭載されている複数台のミラーの鏡面角度をリモコン操作で個々に電動調整する車両用ミラーの鏡面角度調整方法において、
    カメラで撮影した運転者の画像に基づき、運転者の顔または視線が前記複数台のミラーのいずれの方向を向いているかを画像認識により判定し、
    マイクで収音した運転者の声に基づき、運転者の声による鏡面角度調整の指示内容を音声認識により分析し、
    前記画像認識で判定されたミラーについて、その鏡面角度を前記音声認識で分析された指示内容に自動調整する
    車両用ミラーの鏡面角度調整方法。
    In the mirror angle adjustment method for a mirror for a vehicle that electrically adjusts the mirror angle of a plurality of mirrors mounted on the vehicle individually by remote control operation,
    Based on the image of the driver photographed by the camera, it is determined by image recognition which direction of the plurality of mirrors the driver's face or line of sight is facing,
    Based on the voice of the driver picked up by the microphone, the instruction content of mirror angle adjustment by the voice of the driver is analyzed by voice recognition,
    A mirror angle adjusting method for a mirror for a vehicle, wherein the mirror angle determined by the image recognition is automatically adjusted to the instruction content analyzed by the voice recognition.
  2. 車両に搭載されている複数台のミラーの鏡面角度をリモコン操作で個々に電動調整する車両用ミラーの鏡面角度調整装置において、
    カメラで撮影した運転者の画像に基づき、運転者の顔または視線が前記複数台のミラーのいずれの方向を向いているかを画像認識により判定する画像認識手段と、
    マイクで収音した運転者の声に基づき、運転者の声による鏡面角度調整の指示内容を音声認識により分析する音声認識手段と、
    前記画像認識で判定されたミラーについて、その鏡面角度を前記音声認識で分析された指示内容に調整する制御手段と
    を具備してなる車両用ミラーの鏡面角度調整装置。
    In the mirror angle adjustment device for a mirror for a vehicle that electrically adjusts the mirror angle of a plurality of mirrors mounted on the vehicle individually by remote control operation,
    Image recognition means for determining by image recognition which direction of the plurality of mirrors the driver's face or line of sight is facing based on the driver's image captured by the camera;
    Based on the voice of the driver picked up by the microphone, voice recognition means for analyzing the instruction content of the mirror surface angle adjustment by the voice of the driver by voice recognition;
    A mirror angle adjustment device for a vehicle mirror, comprising: a control unit that adjusts the mirror angle of the mirror determined by the image recognition to an instruction content analyzed by the voice recognition.
  3. 前記カメラがインナーミラーに搭載されている請求項2記載の車両用ミラーの鏡面角度調整装置。   The mirror surface angle adjusting device for a vehicle mirror according to claim 2, wherein the camera is mounted on an inner mirror.
  4. 前記カメラが前記インナーミラーに内蔵された赤外カメラで構成され、
    該インナーミラーの鏡面の、少なくとも前記カメラから運転者の顔を望む領域が、赤外光を透過させるコールドミラーで構成されている
    請求項3記載の車両用ミラーの鏡面角度調整装置。
    The camera is composed of an infrared camera built in the inner mirror,
    The mirror angle adjustment device for a vehicle mirror according to claim 3, wherein at least a region of the mirror surface of the inner mirror where the driver's face is desired from the camera is constituted by a cold mirror that transmits infrared light.
  5. 前記マイクがインナーミラーに搭載されている請求項2から4のいずれかに記載の車両用ミラーの鏡面角度調整装置。   The mirror angle adjustment device for a vehicle mirror according to any one of claims 2 to 4, wherein the microphone is mounted on an inner mirror.
  6. 前記画像認識手段が、さらに、運転者の口唇の開閉動作の有無を画像認識により判定し、
    前記制御手段が、該画像認識手段で運転者の口唇の開閉動作が有ると判定された期間に前記音声認識手段で分析される指示内容について鏡面角度調整を許可し、該画像認識手段で運転者の口唇の開閉動作が無いと判定された期間に前記音声認識手段で分析される指示内容について鏡面角度調整を禁止する請求項2から5のいずれかに記載の車両用ミラーの鏡面角度調整装置。
    The image recognition means further determines the presence / absence of an opening / closing operation of the driver's lips by image recognition;
    The control means permits mirror angle adjustment for the instruction content analyzed by the voice recognition means during a period when the image recognition means determines that the driver's lip opening / closing operation is performed, and the image recognition means The mirror angle adjustment device for a vehicle mirror according to any one of claims 2 to 5, wherein the mirror angle adjustment is prohibited for the instruction content analyzed by the voice recognition means during a period when it is determined that there is no lip opening / closing operation.
  7. 前記音声による鏡面角度調整の指示内容が傾動方向の指示であり、
    前記制御手段は、該音声による1回の指示につき、前記画像認識で判定されたミラーの鏡面を、該指示された傾動方向に、予め定められた傾動量で傾動させる請求項2から6のいずれかに記載の車両用ミラーの鏡面角度調整装置。
    The instruction content of the mirror surface angle adjustment by the voice is an instruction of the tilt direction,
    The control means tilts the mirror surface of the mirror determined by the image recognition with a predetermined tilt amount in the tilt direction instructed for one instruction by the voice. A mirror surface angle adjusting device for a vehicle mirror according to claim 1.
  8. 前記音声による鏡面角度調整の指示内容が傾動方向と傾動量の程度の指示であり、
    前記制御手段は、該音声による1回の指示につき、前記画像認識で判定されたミラーの鏡面を、該指示された傾動方向に、該指示された傾動量の程度として予め定められた傾動量で傾動させる請求項2から6のいずれかに記載の車両用ミラーの鏡面角度調整装置。
    The instruction content of the mirror surface angle adjustment by the voice is an instruction of the tilt direction and the amount of tilt,
    The control means, with respect to one instruction by the voice, the mirror surface of the mirror determined by the image recognition is tilted in a predetermined amount as the degree of the instructed inclination in the instructed inclination direction. The mirror surface angle adjusting device for a vehicle mirror according to any one of claims 2 to 6, wherein the mirror surface angle is adjusted.
  9. 前記音声による鏡面角度調整の指示内容が傾動方向のみの指示または傾動方向と傾動量の程度の指示であり、
    前記制御手段は、該音声による1回の指示につき、傾動方向のみの指示がされた場合は、前記画像認識で判定されたミラーの鏡面を、該指示された傾動方向に、予め定められた傾動量で傾動させ、傾動方向と傾動量の程度の指示がされた場合は、前記画像認識で判定されたミラーの鏡面を、該指示された傾動方向に、傾動方向のみの指示がされた場合に比べて該傾動量の程度として予め定められた程度分多くまたは少なく傾動させる請求項2から6のいずれかに記載の車両用ミラーの鏡面角度調整装置。
    The instruction content of the mirror surface angle adjustment by the voice is an instruction of only the tilt direction or an instruction of the tilt direction and the amount of tilt,
    In the case where only the tilt direction is instructed for one instruction by the voice, the control means tilts the mirror surface of the mirror determined by the image recognition in a predetermined tilt direction in the instructed tilt direction. When the direction of tilting and the amount of tilting are instructed, the mirror surface of the mirror determined by the image recognition is instructed only in the inclining direction in the instructed tilting direction. The mirror surface angle adjusting device for a vehicle mirror according to any one of claims 2 to 6, wherein the mirror surface is tilted by a predetermined amount as a degree of the tilting amount, or by a small amount.
  10. 前記傾動方向の指示が、上下左右の各方向に相当する4種類の指示である請求項7から9のいずれかに記載の車両用ミラーの鏡面角度調整装置。   The mirror angle adjustment device for a mirror for a vehicle according to any one of claims 7 to 9, wherein the directions of the tilt direction are four types of instructions corresponding to up, down, left and right directions.
  11. 前記複数台のミラーが少なくとも左右アウターミラーを含む請求項2から10のいずれかに記載の車両用ミラーの鏡面角度調整装置。   The mirror angle adjustment device for a vehicle mirror according to any one of claims 2 to 10, wherein the plurality of mirrors include at least left and right outer mirrors.
JP2005224170A 2005-08-02 2005-08-02 Method and apparatus for adjusting mirror surface angle of vehicle mirror Active JP4754294B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005224170A JP4754294B2 (en) 2005-08-02 2005-08-02 Method and apparatus for adjusting mirror surface angle of vehicle mirror

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005224170A JP4754294B2 (en) 2005-08-02 2005-08-02 Method and apparatus for adjusting mirror surface angle of vehicle mirror

Publications (2)

Publication Number Publication Date
JP2007038790A true JP2007038790A (en) 2007-02-15
JP4754294B2 JP4754294B2 (en) 2011-08-24

Family

ID=37797174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005224170A Active JP4754294B2 (en) 2005-08-02 2005-08-02 Method and apparatus for adjusting mirror surface angle of vehicle mirror

Country Status (1)

Country Link
JP (1) JP4754294B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009280196A (en) * 2008-04-21 2009-12-03 Denso Corp Visibility provider and warning device
JP2010111367A (en) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd Occupant monitoring device
JP2010253987A (en) * 2009-04-21 2010-11-11 Yazaki Corp In-vehicle photographing unit
WO2012015911A2 (en) * 2010-07-30 2012-02-02 Gentex Corporation Vehicular directional microphone assembly for preventing airflow encounter
JP2012526979A (en) * 2009-05-14 2012-11-01 エアバス オペラシオン(エス.ア.エス) Structure remote inspection method and system
JP2013047019A (en) * 2011-08-27 2013-03-07 Denso Corp Vehicle mirror control device
US8682536B2 (en) 2009-06-18 2014-03-25 Honda Motor Co., Ltd. Onboard unit controlling apparatus
WO2015126599A1 (en) * 2014-02-24 2015-08-27 Intel Corporation Vehicle mirror adjustment
DE112017004176B4 (en) * 2016-09-30 2020-04-23 Panasonic Intellectual Property Management Co., Ltd. Vehicle rear view mirror

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014025012A1 (en) 2012-08-10 2014-02-13 株式会社ホンダアクセス Speech recognition method and speech recognition device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09216530A (en) * 1996-02-09 1997-08-19 Soshio Enterp Kk Autopositioning interlocking mirror
JP2002274265A (en) * 2001-03-22 2002-09-25 Honda Motor Co Ltd Mirror adjusting device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09216530A (en) * 1996-02-09 1997-08-19 Soshio Enterp Kk Autopositioning interlocking mirror
JP2002274265A (en) * 2001-03-22 2002-09-25 Honda Motor Co Ltd Mirror adjusting device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009280196A (en) * 2008-04-21 2009-12-03 Denso Corp Visibility provider and warning device
JP2010111367A (en) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd Occupant monitoring device
JP2010253987A (en) * 2009-04-21 2010-11-11 Yazaki Corp In-vehicle photographing unit
JP2012526979A (en) * 2009-05-14 2012-11-01 エアバス オペラシオン(エス.ア.エス) Structure remote inspection method and system
US8682536B2 (en) 2009-06-18 2014-03-25 Honda Motor Co., Ltd. Onboard unit controlling apparatus
WO2012015911A2 (en) * 2010-07-30 2012-02-02 Gentex Corporation Vehicular directional microphone assembly for preventing airflow encounter
WO2012015911A3 (en) * 2010-07-30 2012-05-24 Gentex Corporation Vehicular directional microphone assembly for preventing airflow encounter
US8467551B2 (en) 2010-07-30 2013-06-18 Gentex Corporation Vehicular directional microphone assembly for preventing airflow encounter
JP2013047019A (en) * 2011-08-27 2013-03-07 Denso Corp Vehicle mirror control device
WO2015126599A1 (en) * 2014-02-24 2015-08-27 Intel Corporation Vehicle mirror adjustment
CN105916730A (en) * 2014-02-24 2016-08-31 英特尔公司 Vehicle mirror adjustment
DE112017004176B4 (en) * 2016-09-30 2020-04-23 Panasonic Intellectual Property Management Co., Ltd. Vehicle rear view mirror

Also Published As

Publication number Publication date
JP4754294B2 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
EP3165425B1 (en) Apparatus for parking vehicle and vehicle
EP3326865B1 (en) Driver assistance apparatus and control method for the same
US10047925B2 (en) Headlamp for vehicle
US10232680B2 (en) Air circulation control device for vehicle
US9656691B2 (en) Method for performing an at least semi-autonomous parking process of a motor vehicle in a garage, parking assistance system and motor vehicle
US10800428B2 (en) Vehicle driving assistance method and vehicle
EP3156291B1 (en) Convenience apparatus for vehicle and vehicle
EP3367367B1 (en) Parking support method and parking support device
US20150294169A1 (en) Vehicle vision system with driver monitoring
EP1658191B1 (en) Method for controlling the display of different information in a vehicle and optoacoustic information unit
EP3103695A2 (en) Driver assistance apparatus and control method for the same
EP3219563B1 (en) Vehicle door control apparatus and vehicle
US20150203111A1 (en) Method for Carrying Out a Process of Parking a Vehicle by Means of a Driver Assistance System
US8405725B2 (en) Vehicular video processor module
DE60126382T2 (en) Method and device for detecting objects
US20170057475A1 (en) Method of providing stopped-vehicle movement mode, driver assistance apparatus providing the same, and vehicle including driver assistance apparatus
US7248151B2 (en) Virtual keypad for vehicle entry control
JP3979002B2 (en) Computer user interface system and user interface providing method
JP5549721B2 (en) Driver monitor device
US8963701B2 (en) Automotive vehicle early open door warning system
EP3166071B1 (en) Apparatus for providing around view and vehicle
US6498970B2 (en) Automatic access to an automobile via biometrics
JP6015763B2 (en) Control device for vehicle opening / closing body
JP4466701B2 (en) Light control device
JP6138130B2 (en) Method and apparatus for in-vehicle assistant system for implementing autonomous or partially autonomous driving maneuvers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110525

R150 Certificate of patent or registration of utility model

Ref document number: 4754294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250