JP2013001298A - Monitoring device for vehicle - Google Patents

Monitoring device for vehicle Download PDF

Info

Publication number
JP2013001298A
JP2013001298A JP2011135970A JP2011135970A JP2013001298A JP 2013001298 A JP2013001298 A JP 2013001298A JP 2011135970 A JP2011135970 A JP 2011135970A JP 2011135970 A JP2011135970 A JP 2011135970A JP 2013001298 A JP2013001298 A JP 2013001298A
Authority
JP
Japan
Prior art keywords
vehicle
housing
operation information
mirror
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011135970A
Other languages
Japanese (ja)
Other versions
JP5811623B2 (en
Inventor
Teruhisa Takano
照久 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2011135970A priority Critical patent/JP5811623B2/en
Publication of JP2013001298A publication Critical patent/JP2013001298A/en
Application granted granted Critical
Publication of JP5811623B2 publication Critical patent/JP5811623B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

PROBLEM TO BE SOLVED: To capture an image capable of being used for parking assist or surrounding observation during traveling and an image capable of being used for monitoring safety of vehicle surrounding by using cameras 12, 22 arranged at door mirrors 1, 2.SOLUTION: A monitoring device 100 for a vehicle includes the door mirrors 1, 2 mounted on a vehicle M and having housings H in which the cameras 12, 22, and mirror bodies 13, 23, are mounted and housing driving mechanisms 11, 21 for changing the directions of the housings H of the door mirrors 1, 2. The monitoring device 100 for the vehicle includes a control device 10. When the control device 10 allows the housing driving mechanisms 11, 21 to change the directions of the housings H corresponding to a vehicle state pattern determined by action information obtained from the vehicle, the control device 10 obtains action information including information of whether the engine of the vehicle is in on-state or in off-state, and corresponding to the vehicle state pattern determined by the obtained action information, the control device 10 allows the housing driving mechanisms 11, 21 to change the directions of the housings H of the door mirrors 1, 2.

Description

本発明は、車両のドアミラーに設けられたカメラを用いて、車両の周囲を監視する車両用監視装置に関する。   The present invention relates to a vehicle monitoring device that monitors the surroundings of a vehicle using a camera provided on a door mirror of the vehicle.

複数のカメラの映像を視点変換し、合成した映像を車室内のモニターに表示するナビゲーション装置等が知られている(特許文献1)。   2. Description of the Related Art A navigation device that converts viewpoints of images from a plurality of cameras and displays a synthesized image on a monitor in a vehicle interior is known (Patent Document 1).

特開2010−208483号公報JP 2010-208483 A

しかしながら、従来の技術では、各カメラが目的に応じた視野の映像を取得するので、他の目的に使用することができないという問題がある。例えば、ドアミラーに設けられたカメラは、駐車支援や走行時の周辺観察のために路面側(下方向)の映像を撮像するが、このような路面側(下向き)の映像は車両に接近する不審者などの高さのある物体の全体像を撮像することができないため、車両の安全のために車両周囲を監視する目的に使用することができず、利用目的が限定されるという問題がある。   However, the conventional technology has a problem that each camera acquires an image with a field of view according to the purpose and cannot be used for other purposes. For example, a camera provided on a door mirror captures a road surface (downward) image for parking assistance and observation of the surroundings when traveling. Such a road surface (downward) image is suspicious when approaching a vehicle. Since it is impossible to capture an entire image of a tall object such as a person, it cannot be used for the purpose of monitoring the surroundings of the vehicle for the safety of the vehicle, and there is a problem that the purpose of use is limited.

本発明が解決しようとする課題は、ドアミラーに設けられたカメラを用いて、車両の状態に応じて、駐車支援、走行時の周辺観察、及び車両周囲の状態の監視などに用いることができる映像を撮像することである。   The problem to be solved by the present invention is that a camera provided on a door mirror can be used for parking assistance, observation of surroundings during traveling, monitoring of the surroundings of the vehicle, etc., depending on the state of the vehicle. Is to image.

本発明は、車両のエンジンがオン状態であるか否かなどの動作情報から判断された車両の状態パターンに応じて車両のドアミラーのハウジングの向きを変更することにより、上記課題を解決する。   The present invention solves the above problem by changing the orientation of the housing of the door mirror of the vehicle in accordance with the vehicle state pattern determined from operation information such as whether or not the vehicle engine is on.

本発明によれば、車両の動作情報から判断された車両の状態パターンに応じて車両のドアミラーのハウジングの向きを変更することにより、ハウジングに設けられたカメラの撮像方向を変更することができるので、車両の状態パターンに応じた利用目的に適した撮像方向の映像を取得することができる。この結果、ドアミラーのハウジングに設けられたカメラを用いて、駐車支援や走行時の周辺観察に適した映像のみならず、車両周囲の安全監視に適した映像を、車両の状態に応じて取得することができる。   According to the present invention, it is possible to change the imaging direction of the camera provided in the housing by changing the orientation of the housing of the door mirror of the vehicle according to the vehicle state pattern determined from the operation information of the vehicle. It is possible to acquire an image in the imaging direction suitable for the purpose of use according to the vehicle state pattern. As a result, using the camera provided in the housing of the door mirror, not only images suitable for parking assistance and observation of surroundings during traveling, but also images suitable for safety monitoring around the vehicle are acquired according to the state of the vehicle. be able to.

本発明に係る実施形態の車両用監視装置を含む監視システムの構成図である。1 is a configuration diagram of a monitoring system including a vehicle monitoring apparatus according to an embodiment of the present invention. ドアミラーの設置例を示す図である。It is a figure which shows the example of installation of a door mirror. ドアミラーのハウジングの駆動動作を説明するための第1の図である。It is a 1st figure for demonstrating the drive operation of the housing of a door mirror. ドアミラーのハウジングの駆動動作を説明するための第2の図である。It is a 2nd figure for demonstrating the drive operation | movement of the housing of a door mirror. ドアミラーのハウジングの駆動動作を説明するための第3の図である。It is a 3rd figure for demonstrating the drive operation | movement of the housing of a door mirror. 本発明の実施形態に係る車両監視システムの制御手順を示すフローチャート図である。It is a flowchart figure which shows the control procedure of the vehicle monitoring system which concerns on embodiment of this invention.

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置100を、外部端末装置800を用いて遠隔監視が可能な監視システム1000に適用した場合を例にして説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the vehicle monitoring apparatus 100 according to the present invention is applied to a monitoring system 1000 capable of remote monitoring using an external terminal device 800 will be described as an example.

図1は、本実施形態に係る車両用監視装置100を有する監視システム1000のブロック構成図である。図1に示すように、本実施形態の監視システム1000は、車両用監視装置100と、車両コントローラ200と、通信装置700と、外部端末装置800とを有する。この監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ300と、車速センサ400と、ポジショニングスイッチ500と、操舵角センサ600と、を備えることができる。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。   FIG. 1 is a block configuration diagram of a monitoring system 1000 having a vehicle monitoring apparatus 100 according to the present embodiment. As shown in FIG. 1, the monitoring system 1000 of this embodiment includes a vehicle monitoring device 100, a vehicle controller 200, a communication device 700, and an external terminal device 800. The monitoring system 1000 can include an ignition switch 300 that can exchange information with the vehicle controller 200, a vehicle speed sensor 400, a positioning switch 500, and a steering angle sensor 600. Each of these devices is connected by a CAN (Controller Area Network) or other in-vehicle LAN, and can exchange information with each other.

同図に示す本実施形態の監視システム1000において、車両用監視装置100は、通信装置700を介して携帯電話、スマートフォンその他の外部端末装置800(コンピュータ)と相互に通信が可能である。また、外部端末装置800は、通信装置810と、画像処理装置820と、ディスプレイ830とを備え、通信装置810が撮像画像を車両用監視装置100側から取得し、画像処理装置820が表示に必要な画像処理を実行し、ディスプレイ821が撮像画像を表示する。外部端末装置800を所持するユーザは、車両用監視装置100から送出された車両の撮像画像を、遠隔の地点にても確認することができる。   In the monitoring system 1000 of this embodiment shown in the figure, the vehicle monitoring device 100 can communicate with a mobile phone, a smartphone, or other external terminal device 800 (computer) via the communication device 700. The external terminal device 800 includes a communication device 810, an image processing device 820, and a display 830. The communication device 810 acquires a captured image from the vehicle monitoring device 100 side, and the image processing device 820 is necessary for display. The image 82 is displayed, and the display 821 displays the captured image. The user who owns the external terminal device 800 can check the captured image of the vehicle transmitted from the vehicle monitoring device 100 even at a remote location.

また、同図に示すように、車両用監視装置100は、右ドアミラー1と、左ドアミラー2(ドアミラー1,2と総称することもある。以下同じ)と、制御装置10とを備える。   As shown in the figure, the vehicle monitoring device 100 includes a right door mirror 1, a left door mirror 2 (sometimes collectively referred to as door mirrors 1 and 2, and the same hereinafter) and a control device 10.

図2は、車両に設置された右ドアミラー1と左ドアミラー2を示す図である。図2に示すように、右ドアミラー1は車両Mの右側ドアに設けられ、左ドアミラー2は車両Mの左側ドアに設けられている。図示はしないが、右ドアミラー1と左ドアミラー2の他にも、車両後方や車両前方にカメラ32、42を設けることができる。   FIG. 2 is a diagram showing a right door mirror 1 and a left door mirror 2 installed in the vehicle. As shown in FIG. 2, the right door mirror 1 is provided on the right door of the vehicle M, and the left door mirror 2 is provided on the left door of the vehicle M. Although not shown, in addition to the right door mirror 1 and the left door mirror 2, cameras 32 and 42 can be provided at the rear of the vehicle or the front of the vehicle.

図3は、右ドアミラー1を車両前方側から見た図である。左ドアミラー2は右ドアミラー1と対称に表れるため、図示を省略する。図3に示すように、右ドアミラー1(左ドアミラー2)のハウジングHには、カメラ12(22)が設けられている(右カメラ12、左カメラ22を、カメラ12,22と総称することもある、以下、同じ)。カメラ12(22)は、通常時において、その撮像方向が車両の下側、つまり走行路面側に向くように取り付けられている。カメラ12(22)はCCD(Charge Coupled Devices)等の撮像素子を用いて構成され、所定の撮像方向の映像を撮像する。なお、特に限定されないが、本実施形態のカメラ12(22)としては、広角のカメラ12(22)を使用することができる。   FIG. 3 is a view of the right door mirror 1 as viewed from the front side of the vehicle. Since the left door mirror 2 appears symmetrically with the right door mirror 1, the illustration is omitted. As shown in FIG. 3, the camera 12 (22) is provided in the housing H of the right door mirror 1 (left door mirror 2) (the right camera 12 and the left camera 22 are also collectively referred to as cameras 12 and 22). The same applies below). The camera 12 (22) is attached so that the imaging direction thereof is directed to the lower side of the vehicle, that is, the traveling road surface side in normal times. The camera 12 (22) is configured using an imaging element such as a CCD (Charge Coupled Devices) and captures an image in a predetermined imaging direction. Although not particularly limited, a wide-angle camera 12 (22) can be used as the camera 12 (22) of the present embodiment.

本実施形態の各ドアミラー1(2)のハウジンングH内部には、各ドアミラー1(2)のハウジングHを回転駆動させるモータを含む右ハウジング駆動機構11が設けられている(右ハウジング駆動機構11と左ハウジング駆動機構21を総称して、ハウジング駆動機構11,21等と称する。以下同じ)。本実施形態の各ハウジング駆動機構11(21)は、制御装置10からの駆動命令やミラーコントロールスイッチからの入力指令に従い、電源が供給されると、各ハウジングHを図中に示すx軸、y軸、z軸を回転軸として回転駆動させ、各ドアミラー1,2の向きを上下左右に変更させることができる。ちなみに、x軸は車両の車軸方向に沿い、y軸は車両の長さ方向に沿い、z軸は車両の高さ方向(重力方向)に沿う方向である(他図においても同じ)。   A right housing drive mechanism 11 including a motor that rotationally drives the housing H of each door mirror 1 (2) is provided inside the housing H of each door mirror 1 (2) of the present embodiment (the right housing drive mechanism 11 and The left housing drive mechanism 21 is generically referred to as housing drive mechanisms 11, 21, etc. The same applies hereinafter). Each housing drive mechanism 11 (21) of the present embodiment, when supplied with power in accordance with a drive command from the control device 10 or an input command from the mirror control switch, displays each housing H in the x-axis, y shown in the figure. The direction of each door mirror 1, 2 can be changed up, down, left, and right by being driven to rotate about the axis and the z axis. Incidentally, the x-axis is along the vehicle axle direction, the y-axis is along the vehicle length direction, and the z-axis is along the vehicle height direction (gravity direction) (the same applies to other drawings).

具体的に、図3に示す右ドアミラー1は、各ハウジング駆動機構11(21)により、y軸を回転軸として向きを変えることができる。具体的に、ハウジングHを、y軸を回転軸として駆動させると、図3のハウジングHに点Qで示す部分は軌道qに沿って上側(z軸側)へ移動させることができる。つまり下方向(路面側:図3のz軸下方向)を撮像していた右カメラ12の撮像方向は、車両Mの横方向(車両側方側:図3のx軸方向)に変更される。つまり、y軸を回転軸としてハウジングHを駆動させると、右カメラ12の光軸はx軸に沿う方向、又はx軸方向成分を持つ方向に向き、車両Mの横方向の映像を撮像することができる。   Specifically, the direction of the right door mirror 1 shown in FIG. 3 can be changed by using each housing drive mechanism 11 (21) with the y axis as a rotation axis. Specifically, when the housing H is driven with the y-axis as the rotation axis, the portion indicated by the point Q in the housing H in FIG. 3 can be moved upward (z-axis side) along the trajectory q. That is, the imaging direction of the right camera 12 that has captured the downward direction (the road surface side: the z-axis downward direction in FIG. 3) is changed to the lateral direction of the vehicle M (the vehicle side side: the x-axis direction in FIG. 3). . That is, when the housing H is driven with the y-axis as the rotation axis, the optical axis of the right camera 12 is directed in the direction along the x-axis or in the direction having the x-axis direction component, and the lateral image of the vehicle M is captured. Can do.

また、図4に示すように、右ドアミラー1,左ドアミラー2のハウジングHは、各ハウジングHに設けられた各ハウジング駆動機構11、21により、z軸を回転軸として向きを変えることができる。ハウジングHを、z軸を回転軸として駆動させると、図4のハウジングHに点Rで示す部分が軌道rに沿って車体幅(x軸側)に沿って移動させることができる。この駆動により、ドアミラー1,2を格納する(車体側に折り畳む)ことができる。   Further, as shown in FIG. 4, the housings H of the right door mirror 1 and the left door mirror 2 can be changed in direction with the z axis as a rotation axis by the housing drive mechanisms 11 and 21 provided in each housing H. When the housing H is driven with the z-axis as the rotation axis, the portion indicated by the point R in the housing H in FIG. 4 can be moved along the vehicle body width (x-axis side) along the track r. By this driving, the door mirrors 1 and 2 can be stored (folded to the vehicle body side).

図5は左ドアミラー2を車両後側から見た図である。右ドアミラー1は左ドアミラー2と対称に表れるため、図示を省略する。図5に示すように、左ドアミラー2(1)のハウジングHは、各ハウジングHに設けられた各ハウジング駆動機構21(11)により、x軸を回転軸として向きを変えることができる。ハウジングHを、x軸を回転軸として駆動させると、図6のハウジングHの下端部に点Pで示す部分が軌道pに沿って車体長さ方向(y軸に沿う車両後方側)へ移動させることができる。もちろん、ハウジングHの下端部に点Pは反対側の方向(y軸に沿う車両前方側)も移動させることができる。つまり下方向(路面側:図5のz軸下方向)を撮像していた右カメラ12の撮像方向は、車両Mの前方向又は後方向(図5のy軸方向)に変更される。つまり、x軸を回転軸としてハウジングHを駆動させると、右カメラ12は、車両Mの前方向又は後方向の映像を撮像することができる。   FIG. 5 is a view of the left door mirror 2 as seen from the rear side of the vehicle. Since the right door mirror 1 appears symmetrically with the left door mirror 2, the illustration is omitted. As shown in FIG. 5, the housing H of the left door mirror 2 (1) can be changed in direction about the x axis as a rotation axis by each housing drive mechanism 21 (11) provided in each housing H. When the housing H is driven with the x-axis as the rotation axis, a portion indicated by a point P at the lower end of the housing H in FIG. 6 is moved along the track p in the vehicle body length direction (the vehicle rear side along the y-axis). be able to. Of course, the point P can be moved to the lower end of the housing H in the opposite direction (the vehicle front side along the y-axis). That is, the imaging direction of the right camera 12 that has imaged the downward direction (the road surface side: the z-axis downward direction in FIG. 5) is changed to the front direction or the rear direction (y-axis direction in FIG. 5) of the vehicle M. That is, when the housing H is driven with the x axis as the rotation axis, the right camera 12 can capture a forward or backward image of the vehicle M.

なお、各ハウジング駆動機構21(21)は、制御装置10からx軸成分、y軸成分、z軸成分のいずれか一つ以上の成分を含む駆動命令に従い、一方向だけではなく、各ハウジングHを任意の方向に向けることができる。   Each housing drive mechanism 21 (21) is not only in one direction but also in each housing H according to a drive command including one or more of an x-axis component, a y-axis component, and a z-axis component from the control device 10. Can be directed in any direction.

同図に示すように、本実施形態の左ドアミラー2(1)のハウジングHには、左ミラー本体23(13)が設けられている(左ミラー本体23と右ミラー本体を、各ミラー本体13,23等と総称することもある。以下同じ)本実施形態の各ハウジングHは、各ミラー本体23(13)の鏡面の向きを変更させる左ミラー駆動機構24(14)を備えることができる(左ミラー駆動機構24と右ミラー駆動機構14とを、ミラー駆動機構14,24等と総称することもある。以下同じ)。この左ミラー駆動機構24(14)により、左ミラー本体23(13)の鏡面は上下又は左右に動かすことができる。図5に示すように、左ミラー駆動機構24(14)は、左ミラー本体23(13)を、鏡面の中心部を通るz軸を回転軸として左右に駆動することができ、鏡面の中心部を通るz軸を回転軸として上下に駆動することができる。つまり、左ミラー本体23(13)の鏡面を、z軸を支軸として鏡面の左端又は右端がハウジングH内に押しこまれるように動かすとともに、x軸を支軸として鏡面の上端又は下端がハウジングH内に押しこまれるように動かすことができる。   As shown in the figure, the housing H of the left door mirror 2 (1) of the present embodiment is provided with a left mirror main body 23 (13) (the left mirror main body 23 and the right mirror main body are respectively connected to the mirror main bodies 13). The housings H of the present embodiment may be provided with a left mirror drive mechanism 24 (14) that changes the direction of the mirror surface of each mirror body 23 (13) (hereinafter, the same). The left mirror driving mechanism 24 and the right mirror driving mechanism 14 may be collectively referred to as mirror driving mechanisms 14, 24, etc. (the same applies hereinafter). By this left mirror drive mechanism 24 (14), the mirror surface of the left mirror main body 23 (13) can be moved up and down or left and right. As shown in FIG. 5, the left mirror drive mechanism 24 (14) can drive the left mirror main body 23 (13) to the left and right with the z axis passing through the center of the mirror surface as the rotation axis. Can be driven up and down with the z-axis passing through the axis as the rotation axis. That is, the mirror surface of the left mirror body 23 (13) is moved so that the left end or the right end of the mirror surface is pushed into the housing H with the z axis as a support shaft, and the upper end or the lower end of the mirror surface with the x axis as a support shaft. It can be moved to be pushed into H.

なお、上述した各ハウジング駆動機構11、21及び/又は各ミラー駆動機構14,24の具体的な構成及び動作は特に限定されず、出願時に知られているドアミラーコントロールシステム、ミラーコントロールシステムに用いられる機構を適宜に用いることができる。   The specific configuration and operation of each of the housing drive mechanisms 11 and 21 and / or the mirror drive mechanisms 14 and 24 described above are not particularly limited, and are used for a door mirror control system and a mirror control system known at the time of filing. The mechanism can be used as appropriate.

ここで図1に戻り、上述の各ハウジング駆動機構11、21及び各ミラー駆動機構14,24を制御する、本実施形態に係る車両用監視装置100の制御装置10について説明する。制御装置10は、各ハウジング駆動機構11、21及び各ミラー駆動機構14,24の動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、車両用監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。   Here, returning to FIG. 1, the control device 10 of the vehicle monitoring device 100 according to the present embodiment that controls the housing drive mechanisms 11 and 21 and the mirror drive mechanisms 14 and 24 described above will be described. The control device 10 executes a ROM (Read Only Memory) 12 in which a program for controlling the operations of the housing drive mechanisms 11 and 21 and the mirror drive mechanisms 14 and 24 is stored, and the program stored in the ROM 12. Thus, a CPU (Central Processing Unit) 11 as an operation circuit that functions as the vehicle monitoring device 100 and a RAM (Random Access Memory) 13 that functions as an accessible storage device are provided.

また、本実施形態の制御装置10のCPU11は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備える。制御装置10は、画像処理コントロールユニットを用いて、カメラ12,22,32,42から取得した撮像画像を解析し、撮像データから物体に対応する画像を抽出し、さらに抽出した画像に基づいて物体の動きを追跡し、経時的な物体の位置の変化(車両に対する存在位置又は車両に対する存在方向)を算出することができる。なお、これらの画像処理には、出願時に知られている手法を用いることができる。   Further, the CPU 11 of the control device 10 according to the present embodiment includes an image processing control unit (IPCU). The control device 10 uses the image processing control unit to analyze the captured images acquired from the cameras 12, 22, 32, and 42, extracts an image corresponding to the object from the captured data, and further extracts an object based on the extracted image. It is possible to calculate the change of the position of the object over time (the presence position with respect to the vehicle or the direction of presence with respect to the vehicle). For these image processes, a method known at the time of filing can be used.

本実施形態に係る車両用監視装置100の制御装置10は、制御機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置10が、各ハウジング駆動機構11、21及び各ミラー駆動機構14,24に駆動命令を送る態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介して各ハウジング駆動機構11、21及び各ミラー駆動機構14,24を制御することも可能である。   The control device 10 of the vehicle monitoring device 100 according to the present embodiment can execute each function by cooperation of software for realizing the control function and the hardware described above. In the present embodiment, the control device 10 will be described by taking an example in which the drive commands are sent to the housing drive mechanisms 11 and 21 and the mirror drive mechanisms 14 and 24. However, the control device 10 of the present embodiment is a vehicle controller. It is also possible to control the housing drive mechanisms 11 and 21 and the mirror drive mechanisms 14 and 24 through the control unit 200.

以下に、車両用監視装置100の制御装置10が実現するハウジング駆動制御機能、ミラー駆動制御機能、移動体検出機能と、送信機能について説明する。   Hereinafter, a housing drive control function, a mirror drive control function, a moving object detection function, and a transmission function realized by the control device 10 of the vehicle monitoring apparatus 100 will be described.

まず、ハウジング駆動制御機能について説明する。本実施形態の制御装置10は、車両から取得した動作情報から判断された車両状態パターンに応じて、右ハウジング駆動機構11及び/又は左ハウジング駆動機構21に、右ドアミラー1及び/又は左ドアミラー2のハウジングHの向きを変更させる駆動命令を送出する。   First, the housing drive control function will be described. The control device 10 of the present embodiment provides the right door mirror 1 and / or the left door mirror 2 to the right housing drive mechanism 11 and / or the left housing drive mechanism 21 according to the vehicle state pattern determined from the operation information acquired from the vehicle. A drive command for changing the direction of the housing H is sent out.

本実施形態における車両の動作情報は、エンジンのオンオフ情報、車両のシフトポジション、車両の車速、カメラのオン/オフ、及び車両の操舵角のうち一つ又は複数の情報を含む。制御装置10は、車両のエンジンのオンオフ信号を、イグニッションスイッチ300又は図外のエンジン制御装置から取得することができ、車両の車速を車速センサ400から取得することができ、車両のシフトポジションをポジショニングスイッチ500から取得することができ、カメラのオンオフ信号を右カメラ12、左カメラ22から取得することができ、車両の操舵角を操舵角センサ600から取得することができる。本実施形態の制御装置10は、これらの動作情報を、車両コントローラ200を介して取得することができる。   The vehicle operation information in the present embodiment includes one or more information among engine on / off information, vehicle shift position, vehicle speed, camera on / off, and vehicle steering angle. The control device 10 can acquire an on / off signal of the vehicle engine from the ignition switch 300 or an engine control device (not shown), can acquire the vehicle speed from the vehicle speed sensor 400, and positions the vehicle shift position. It can be acquired from the switch 500, a camera on / off signal can be acquired from the right camera 12 and the left camera 22, and the steering angle of the vehicle can be acquired from the steering angle sensor 600. The control device 10 according to the present embodiment can acquire the operation information via the vehicle controller 200.

本実施形態の制御装置10は、車両のエンジンがオン状態であるか又はオフ状態であるかの情報を含む動作情報を取得し、この取得した動作情報から判断された車両状態パターンに応じて、ハウジング駆動機構11,21にドアミラーのハウジングの向きを変更させることができる。特に限定されないが、本実施形態における車両状態パターンは、車両が走行中である走行支援モードと、車両が駐車操作中である駐車支援モードと、乗員が降車して車両から離れ、遠隔で車両の安全を見る遠隔監視モードとを、少なくとも含む。   The control device 10 of the present embodiment acquires operation information including information on whether the vehicle engine is in an on state or an off state, and according to the vehicle state pattern determined from the acquired operation information, The housing drive mechanisms 11 and 21 can change the orientation of the door mirror housing. Although not particularly limited, the vehicle state pattern in the present embodiment includes a driving support mode in which the vehicle is driving, a parking support mode in which the vehicle is performing a parking operation, a passenger getting off and leaving the vehicle, and remotely A remote monitoring mode for viewing safety.

特に限定されないが、本実施形態の制御装置10は、車両のエンジンがオン状態であるか又はオフ状態であるかの情報(動作情報)を、車両コントローラ200を介して取得し、この取得した動作情報から車両状態パターンを判断する。本実施形態において、制御装置10は、エンジンがオフ状態である場合には、車両状態パターンが遠隔監視モードであると判断することができる。また、制御装置10は、エンジンがオン状態である場合には、車両状態パターンが駐車支援モード、走行支援モードのいずれかであると判断することができる。   Although not particularly limited, the control device 10 of the present embodiment acquires information (operation information) on whether the vehicle engine is in an on state or an off state via the vehicle controller 200, and this acquired operation. The vehicle state pattern is determined from the information. In the present embodiment, the control device 10 can determine that the vehicle state pattern is in the remote monitoring mode when the engine is in the off state. Further, when the engine is on, the control device 10 can determine that the vehicle state pattern is either the parking support mode or the travel support mode.

本実施形態の制御装置10は、判断された車両状態パターンに応じて、ハウジング駆動機構11,21にドアミラー1,2のハウジングHの向きを変更させることができる。   The control device 10 of the present embodiment can cause the housing drive mechanisms 11 and 21 to change the orientation of the housing H of the door mirrors 1 and 21 according to the determined vehicle state pattern.

本実施形態の制御装置10は、下掲の表1に示すように、車両側から取得した動作情報の組み合わせと、車両状態パターンとを予め対応情報Tに定義しておくことができる。制御装置10は、予め定義された対応情報Tを参照して、取得した動作情報から車両状態パターンを判断することができる。   As shown in Table 1 below, the control device 10 of the present embodiment can previously define a combination of operation information acquired from the vehicle side and a vehicle state pattern in the correspondence information T. The control device 10 can determine the vehicle state pattern from the acquired operation information with reference to the predefined correspondence information T.

Figure 2013001298
Figure 2013001298

具体的に、本実施形態の制御装置10は、車両のエンジンがオフ状態である旨の情報に対応する、イグニッションスイッチがオフ状態であるという内容の動作情報を取得した場合には、カメラ12,22の撮像方向が、エンジンがオン状態である場合のカメラ12,22の撮像方向よりも上向きになるように、ドアミラー1,2のハウジングHの向きを変更させる駆動命令を、各ハウジング駆動機構11,21へ送出する。本実施形態における上向きとは、車両が水平に載置されている場合の水平面を基準とした場合に、車両の載置面(路面)とは反対側の方向(天)の成分を有する向きである。図3を例にすると、ドアミラー1,2のハウジングHの向きを上向きにする場合には、ハウジングHの可動部が、このハウジングHの取り付け位置を含むxy平面よりも+z方向側に移動する。具体的に、制御装置10は、少なくとも、y軸を回転軸とし、ドアミラー1,2の点Qを含む端部が上側に移動するように、右ドアミラー1については時計回り回転、左ドアミラー2については反時計回り回転動作を含む動作を実行させる駆動命令を各ハウジング駆動機構11,21へ送出する。各ハウジング駆動機構11,21は、制御装置10から取得した駆動命令に従い、各ドアミラー1、2のハウジングHを駆動させる。なお、制御装置10は、y軸回りの回転成分を含む駆動命令には、x軸回りの回転成分、z軸回りの回転成分の何れか又は両方を含めることができる。   Specifically, when the control device 10 according to the present embodiment acquires the operation information corresponding to the information that the engine of the vehicle is in the off state and the content that the ignition switch is in the off state, Each housing drive mechanism 11 sends a drive command to change the orientation of the housing H of the door mirrors 1 and 2 so that the image pickup direction of 22 is higher than the image pickup direction of the cameras 12 and 22 when the engine is on. , 21. The upward direction in the present embodiment refers to a direction having a component in the direction (top) opposite to the mounting surface (road surface) of the vehicle when the horizontal plane when the vehicle is horizontally mounted is a reference. is there. In the example of FIG. 3, when the housing H of the door mirrors 1 and 2 is oriented upward, the movable part of the housing H moves to the + z direction side from the xy plane including the mounting position of the housing H. Specifically, the control device 10 rotates clockwise about the right door mirror 1 and moves about the left door mirror 2 so that the end including the point Q of the door mirrors 1 and 2 moves upward with at least the y axis as the rotation axis. Sends a drive command for executing an operation including a counterclockwise rotation operation to each housing drive mechanism 11, 21. Each housing drive mechanism 11, 21 drives the housing H of each door mirror 1, 2 in accordance with the drive command acquired from the control device 10. Note that the control device 10 can include either or both of the rotation component around the x axis and the rotation component around the z axis in the drive command including the rotation component around the y axis.

各ハウジング駆動機構11,21がy軸回りの回転成分を含む動きの駆動命令に基づいてハウジングHを回転駆動させると、カメラ12,22の撮像方向(光軸)の向きが、エンジンがオン状態であるときの下向き(路面側:図3のz軸下方向)に比べて、横向き(車両側方側:図3のx軸方向)に変化する。各ドアミラー1、2に取り付けられたカメラ12,22の撮像方向を車体の横方向にすると、ドアミラー1,2の高さから車体の周囲を撮像できるので、車両周囲に存在する高さのある物体の全体(不審者の全身)を撮像することができる。また、ドアミラー1,2の高さから車体の周囲を撮像すると、不審者等を撮像領域の中央部分で捉えることができるので、カメラ12,22が広角である場合であっても、不審者の明瞭な画像を得ることができる。ちなみに、カメラ12,22が下向きであると、車両周囲の不審者が撮像領域の境界近傍で捉えられる場合が多くなるので、不審者を捉えた画像の画質が低下するという不都合や、撮像領域の境界近傍や遠方に存在する不審者の大きさが実際よりも小さく捉えられてしまい、映像の内容が分かり難いという不都合が生じるが、本実施形態のように、カメラ12,22をy軸中心に回転させ、ドアミラー1,2の高さから車体の周囲を撮像することにより、このような不都合を解消することができる。   When the housing drive mechanisms 11 and 21 rotate and drive the housing H based on a movement command including a rotation component around the y-axis, the direction of the imaging direction (optical axis) of the cameras 12 and 22 depends on the engine on state. Compared to the downward direction (road surface side: z-axis downward direction in FIG. 3), the horizontal direction (vehicle side side: x-axis direction in FIG. 3) changes. When the imaging direction of the cameras 12 and 22 attached to the door mirrors 1 and 2 is set to the lateral direction of the vehicle body, the surroundings of the vehicle body can be imaged from the height of the door mirrors 1 and 2, so that an object with a height around the vehicle Can be imaged (the whole body of the suspicious person). In addition, if an image of the surroundings of the vehicle body is taken from the height of the door mirrors 1 and 2, a suspicious person or the like can be captured at the center of the imaging region, so even if the cameras 12 and 22 are wide-angled, A clear image can be obtained. By the way, if the cameras 12 and 22 are facing downward, suspicious people around the vehicle are often caught near the boundary of the imaging region, so that the image quality of the image capturing the suspicious person is reduced, Although the size of the suspicious person existing near or far from the boundary is captured smaller than the actual size and the content of the video is difficult to understand, the cameras 12 and 22 are centered on the y axis as in this embodiment. Such inconvenience can be solved by rotating and imaging the surroundings of the vehicle body from the height of the door mirrors 1 and 2.

また、本実施形態の制御装置10は、表1に示すように、エンジンがオン状態であり、シフトポジションがリバースである旨の動作情報を取得した場合には、車両状態パターンが駐車支援モードであると判断し、各カメラ12,22の撮像方向が下向きになるように(図3、図5の状態となるように)、ドアミラー1,2のハウジングHの向きを変更させることができる。具体的に、制御装置10は、少なくとも、x軸又はy軸を回転軸とし、各カメラ12,22の撮像方向が下向きになるような回転駆動命令を各ハウジング駆動機構11,21へ送出する。各ハウジング駆動機構11,21は、制御装置10から取得した駆動命令に従い、各ドアミラー1、2のハウジングHを駆動させる。なお、制御装置10は、x軸回りの回転成分、y軸回りの回転成分を含む駆動命令に、z軸回りの回転成分を含めることができる。   Further, as shown in Table 1, the control device 10 according to the present embodiment acquires the operation information indicating that the engine is on and the shift position is reverse, and the vehicle state pattern is in the parking assistance mode. The direction of the housing H of the door mirrors 1 and 2 can be changed so that the imaging direction of each camera 12 and 22 faces downward (so as to be in the state of FIGS. 3 and 5). Specifically, the control device 10 sends a rotation drive command to each of the housing drive mechanisms 11 and 21 so that at least the x axis or the y axis is a rotation axis and the imaging direction of each camera 12 and 22 is downward. Each housing drive mechanism 11, 21 drives the housing H of each door mirror 1, 2 in accordance with the drive command acquired from the control device 10. Note that the control device 10 can include a rotation component around the z axis in a drive command including a rotation component around the x axis and a rotation component around the y axis.

さらに、本実施形態の制御装置10は、表1に示すように、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度以上(例えば10Km/h以上)である旨の動作情報を取得した場合には、車両状態パターンが走行支援モードであると判断し、カメラ12,22の撮像方向が後側方になるように、ドアミラー1,2のハウジングHの向きを変更させることができる。具体的に、制御装置10は、少なくとも、x軸を回転軸とし、各カメラ12,22の撮像方向が後側方になるような回転駆動命令を各ハウジング駆動機構11,21へ送出する。各ハウジング駆動機構11,21は、制御装置10から取得した駆動命令に従い、各ドアミラー1,2のハウジングHを駆動させる。なお、制御装置10は、x軸回りの回転成分を含む駆動命令に、y軸回りの回転成分、z軸回りの回転成分を含めることができる。なお、表1には、所定速度として10km/h以上、10km/h未満を例示したが、走行中であるか又は駐車操作中であるかを判断するための閾値としての所定速度は任意に設定することができる。   Furthermore, as shown in Table 1, the control device 10 of the present embodiment indicates that the engine is on, the shift position is other than reverse, and the vehicle speed is equal to or higher than a predetermined speed (for example, 10 km / h or higher). When the movement information is acquired, it is determined that the vehicle state pattern is the driving support mode, and the orientation of the housing H of the door mirrors 1 and 2 is changed so that the imaging direction of the cameras 12 and 22 is rearward. Can be made. Specifically, the control device 10 sends a rotation drive command to each of the housing drive mechanisms 11 and 21 so that at least the x axis is a rotation axis and the imaging direction of each camera 12 and 22 is rearward. Each housing drive mechanism 11, 21 drives the housing H of each door mirror 1, 2 in accordance with a drive command acquired from the control device 10. Note that the control device 10 can include a rotation component around the y axis and a rotation component around the z axis in the drive command including the rotation component around the x axis. In Table 1, the predetermined speed is 10 km / h or more and less than 10 km / h, but the predetermined speed as a threshold for determining whether the vehicle is running or parking is arbitrarily set. can do.

加えて、本実施形態の制御装置10は、表1に示すように、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満(例えば10Km/h未満)であり、カメラ12,22がオフ状態である旨の動作情報を取得した場合には、車両状態パターンが走行支援モードであると判断し、カメラ12,22の撮像方向が後側方になるようにドアミラー1,2のハウジングHの向きを変更させる。また、本実施形態の制御装置10は、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満(例えば10Km/h未満)であり、カメラ12,22がオン状態である旨の動作情報を取得した場合には、車両状態パターンが駐車支援モードであると判断し、カメラ12,22の撮像方向が下向きになるように、ドアミラー1,2のハウジングHの向きを変更させる。いずれの場合も低速走行中乃至停車の状態であるが、カメラ12,22が動作中である場合には、駐車支援システムが稼働している可能性が高く、駐車支援システムが稼働している場合には、駐車操作を支援するために下向きの撮像方向で撮影した映像を提供することが好ましいからである。   In addition, as shown in Table 1, in the control device 10 of the present embodiment, the engine is on, the shift position is other than reverse, and the vehicle speed is less than a predetermined speed (for example, less than 10 km / h). When the operation information indicating that the cameras 12 and 22 are in the off state is acquired, the vehicle state pattern is determined to be the driving support mode, and the door mirror is set so that the imaging direction of the cameras 12 and 22 is the rear side. The direction of the housings 1 and 2 is changed. Further, in the control device 10 of the present embodiment, the engine is on, the shift position is other than reverse, the vehicle speed of the vehicle is less than a predetermined speed (for example, less than 10 km / h), and the cameras 12 and 22 are on. Is obtained, the vehicle state pattern is determined to be in the parking assist mode, and the orientation of the housing H of the door mirrors 1 and 2 is adjusted so that the imaging direction of the cameras 12 and 22 is downward. Change it. In either case, the vehicle is running at a low speed or stopped, but when the cameras 12 and 22 are operating, the parking support system is likely to be operating, and the parking support system is operating This is because it is preferable to provide an image captured in a downward imaging direction to assist the parking operation.

具体的に、制御装置10は、少なくとも、x軸を回転軸とし、各カメラ12,22の撮像方向が後側方になるような回転駆動命令を各ハウジング駆動機構11,21へ送出する。各ハウジング駆動機構11,21は、制御装置10から取得した駆動命令に従い、各ドアミラー1、2のハウジングHを駆動させる。なお、制御装置10は、x軸回りの回転成分を含む駆動命令に、y軸回りの回転成分、z軸回りの回転成分を含めることができる。   Specifically, the control device 10 sends a rotation drive command to each of the housing drive mechanisms 11 and 21 so that at least the x axis is a rotation axis and the imaging direction of each camera 12 and 22 is rearward. Each housing drive mechanism 11, 21 drives the housing H of each door mirror 1, 2 in accordance with the drive command acquired from the control device 10. Note that the control device 10 can include a rotation component around the y axis and a rotation component around the z axis in the drive command including the rotation component around the x axis.

さらに、本実施形態の制御装置10は、表1に示すように、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満(例えば10Km/h未満)であり、カメラ12,22がオフ状態である動作情報を取得した場合は、走行支援モードであると判断できるが、この状態は一連の駐車操作における一部の操作中の状態である可能性がある。この場合において、ハウジングHの向きを変えてしまうと、カメラ12,22の撮像方向も変化してしまうので、カメラ12,22の映像を見ながら駐車操作をしているドライバにとっては煩わしい。このため、本実施形態では、動作情報から表1の車両状態パターン3の走行支援モードを導いた場合であっても、直前の動作情報が駐車支援モードを示す場合には、車両は駐車操作中であると判断し、ハウジングHの向きを変えないようにする。   Further, as shown in Table 1, in the control device 10 of the present embodiment, the engine is on, the shift position is other than reverse, and the vehicle speed is less than a predetermined speed (for example, less than 10 km / h), When the operation information indicating that the cameras 12 and 22 are in the off state is acquired, it can be determined that the driving support mode is in effect, but this state may be a state during a part of the operation in a series of parking operations. In this case, if the direction of the housing H is changed, the imaging direction of the cameras 12 and 22 is also changed, which is troublesome for a driver who performs a parking operation while viewing the images of the cameras 12 and 22. For this reason, in this embodiment, even when the driving support mode of the vehicle state pattern 3 in Table 1 is derived from the operation information, if the immediately preceding operation information indicates the parking support mode, the vehicle is in the parking operation. Therefore, the direction of the housing H is not changed.

つまり、本実施形態の制御装置10は、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満であり、カメラ12,22がオフ状態である動作情報を取得した場合に、その動作情報を取得する直前に取得した動作情報が、エンジンがオン状態であり、シフトポジションがリバースである旨の動作情報である場合(車両状態パターン1の場合)、又はエンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満であり、カメラ12,22がオン状態である旨の動作情報である場合には、ドアミラー1,2のハウジングHの向きの変更を実行しない。これにより、駐車操作の途中でカメラ12,22の撮像方向が変更されることを防止することができる。   That is, the control device 10 of the present embodiment has acquired operation information that the engine is on, the shift position is other than reverse, the vehicle speed is less than a predetermined speed, and the cameras 12 and 22 are off. If the operation information acquired immediately before acquiring the operation information is the operation information indicating that the engine is on and the shift position is reverse (in the case of the vehicle state pattern 1), or the engine is on. In the state, the shift position is other than reverse, the vehicle speed is less than the predetermined speed, and the operation information indicates that the cameras 12 and 22 are in the ON state, the direction of the housing H of the door mirrors 1 and 2 Do not make any changes. Thereby, it can prevent that the imaging direction of the cameras 12 and 22 is changed in the middle of parking operation.

本実施形態の制御装置10は、シフトポジションがリバースの場合には動作情報として操舵角を考慮することができる。本実施形態の制御装置10は、下掲の表2に示すように、車両側から取得した操舵角を含む動作情報の組み合わせと、車両状態パターンとを予め対応情報Tとして定義することができる。制御装置10は、予め定義された対応情報Tを参照して、取得した動作情報から車両状態パターンを判断することができる。   The control device 10 of the present embodiment can consider the steering angle as the operation information when the shift position is reverse. As shown in Table 2 below, the control device 10 of the present embodiment can define a combination of operation information including the steering angle acquired from the vehicle side and the vehicle state pattern as correspondence information T in advance. The control device 10 can determine the vehicle state pattern from the acquired operation information with reference to the predefined correspondence information T.

Figure 2013001298
Figure 2013001298

本実施形態の制御装置10は、エンジンがオン状態であり、シフトポジションがリバースであり、車両の操舵角が所定値以上である旨の動作情報を取得した場合には、車両状態パターンが走行支援モードであると判断し、カメラ12,22の撮像方向が後側方になるように、ドアミラー1,2のハウジングHの向きを変更させ、エンジンがオン状態であり、シフトポジションがリバースであり、車両の操舵角が所定値未満である旨の動作情報を取得した場合には、車両状態パターンが駐車支援モードであると判断し、カメラ12,22の撮像方向が下向きになるように、ドアミラー1,2のハウジングHの向きを変更させる。具体的に、制御装置10は、少なくとも、x軸を回転軸とし、各カメラ12,22の撮像方向が後側方又は下方向になるような回転駆動命令を各ハウジング駆動機構11,21へ送出する。各ハウジング駆動機構11,21は、制御装置10から取得した駆動命令に従い、各ドアミラー1、2のハウジングHを駆動させる。なお、制御装置10は、x軸回りの回転成分を含む駆動命令に、y軸回りの回転成分、z軸回りの回転成分を含めることができる。   In the control device 10 of the present embodiment, when the operation information indicating that the engine is on, the shift position is reverse, and the steering angle of the vehicle is greater than or equal to a predetermined value is acquired, the vehicle state pattern is the driving support. The mode is determined, the direction of the housing H of the door mirrors 1 and 2 is changed so that the imaging direction of the cameras 12 and 22 is rearward, the engine is on, the shift position is reverse, When the operation information indicating that the steering angle of the vehicle is less than the predetermined value is acquired, it is determined that the vehicle state pattern is the parking assistance mode, and the door mirror 1 is set so that the imaging direction of the cameras 12 and 22 is downward. , 2 is changed in direction. Specifically, the control device 10 sends a rotational drive command to each housing drive mechanism 11, 21 so that at least the x axis is a rotational axis and the imaging direction of each camera 12, 22 is rearward or downward. To do. Each housing drive mechanism 11, 21 drives the housing H of each door mirror 1, 2 in accordance with the drive command acquired from the control device 10. Note that the control device 10 can include a rotation component around the y axis and a rotation component around the z axis in the drive command including the rotation component around the x axis.

操舵角を考慮した制御において、制御装置10は、操舵角の方向に応じて右ドアミラー1又は左ドアミラー2の何れか一方のみのハウジングHを駆動させることができる。制御装置10は、車両の操舵角が右方向への操舵である旨の動作情報を取得した場合には、車両の右側の右ドアミラー1のハウジングHの向きを変更させ、車両の操舵角が左方向への操舵である旨の動作情報を取得した場合には、車両の左側の左ドアミラー2のハウジングHの向きを変更させることができる。これにより、カメラ12,22の撮像方向の変更が必要な方のドアミラー1,2のみを駆動させることができる。   In the control considering the steering angle, the control device 10 can drive the housing H of only one of the right door mirror 1 and the left door mirror 2 in accordance with the direction of the steering angle. When acquiring the operation information indicating that the steering angle of the vehicle is rightward steering, the control device 10 changes the direction of the housing H of the right door mirror 1 on the right side of the vehicle so that the steering angle of the vehicle is left. When the operation information indicating that the steering is in the direction is acquired, the direction of the housing H of the left door mirror 2 on the left side of the vehicle can be changed. Thereby, only the door mirrors 1 and 2 that need to change the imaging direction of the cameras 12 and 22 can be driven.

このように、本実施形態の制御装置10は、車両の動作情報から判断された車両状態パターンに応じて、各ハウジング駆動機構11,21に各ドアミラー1,2のハウジングHの向きを変更させるが、ハウジングHの向きが変わるとミラー本体13,23の向きも変わる。しかし、車両状態パターンに応じてカメラ12,22の撮像方向は変更したいが、ミラー本体13,23の向きは変更したくない場合がある。   As described above, the control device 10 of the present embodiment causes the housing drive mechanisms 11 and 21 to change the orientation of the housing H of the door mirrors 1 and 21 in accordance with the vehicle state pattern determined from the vehicle operation information. When the orientation of the housing H changes, the orientation of the mirror bodies 13 and 23 also changes. However, there are cases where it is desired to change the imaging direction of the cameras 12 and 22 according to the vehicle state pattern, but not to change the orientation of the mirror bodies 13 and 23.

この要求に対応するため、本実施形態の車両用監視装置100の制御装置10は、ミラー駆動制御機能を備える。制御装置10は、ハウジング駆動機構11,21によるハウジングHの向きの変更量に基づいて、各ミラー駆動機構14,24(右ミラー駆動機構14、左ミラー駆動機構24を総称している。以下同じ)にミラー本体13.23の鏡面の向きを変更させることができる。具体的に、制御装置10は、ハウジング駆動機構11,21に送出するハウジングHの向きを変更させるための回転駆動軸、回転駆動方向、回転量、回転速度を含む制御指令に基づいて、このハウジングHの動きがミラー本体13、23の向きに影響を与えないように、ハウジングHの動きを打ち消すような回転駆動軸、回転駆動方向、回転量、回転速度を含む駆動命令を生成する。このミラー本体13,23の駆動命令は、ミラー本体13、23の動きがハウジングHの動きを打ち消すことができる内容であることが好ましい。つまり、制御装置10は、ハウジングHの駆動命令とミラー本体13,23の駆動命令とが実行された場合には、ハウジングHの経時的な動きとミラー本体13,23の経時的な動きが同期し、ミラー本体13,23の鏡面の位置が経時的に維持されるような駆動命令を生成する。   In order to respond to this request, the control device 10 of the vehicle monitoring device 100 of the present embodiment has a mirror drive control function. The control device 10 collectively refers to the mirror drive mechanisms 14 and 24 (the right mirror drive mechanism 14 and the left mirror drive mechanism 24 based on the amount of change in the orientation of the housing H by the housing drive mechanisms 11 and 21. The same applies hereinafter. ) Can change the direction of the mirror surface of the mirror main body 13.23. Specifically, the control device 10 determines the housing based on a control command including a rotation drive shaft, a rotation drive direction, a rotation amount, and a rotation speed for changing the direction of the housing H sent to the housing drive mechanisms 11 and 21. A drive command including a rotation drive shaft, a rotation drive direction, a rotation amount, and a rotation speed that cancels the movement of the housing H is generated so that the movement of H does not affect the direction of the mirror bodies 13 and 23. It is preferable that the drive command for the mirror bodies 13 and 23 has such a content that the movement of the mirror bodies 13 and 23 can cancel the movement of the housing H. That is, when the drive command for the housing H and the drive command for the mirror main bodies 13 and 23 are executed, the control device 10 synchronizes the temporal movement of the housing H and the temporal movement of the mirror main bodies 13 and 23. Then, a drive command is generated so that the mirror surface positions of the mirror bodies 13 and 23 are maintained over time.

例えば、本実施形態の制御装置10は、車両状態パターンが走行支援モードから駐車支援モードへ、駐車支援モードから走行支援モードへ変わった場合には、カメラ12,22の光軸を車両の状態に応じた撮像方向へ向けさせるための駆動命令をハウジング駆動機構11,21に送出するとともに、ミラー本体13、23の向きを維持させるための駆動命令(ハウジングHの動きを打ち消すための駆動命令)を各ミラー駆動機構14,24に送出する。   For example, when the vehicle state pattern changes from the driving support mode to the parking support mode and from the parking support mode to the driving support mode, the control device 10 of the present embodiment changes the optical axes of the cameras 12 and 22 to the vehicle state. A drive command for directing in the corresponding imaging direction is sent to the housing drive mechanisms 11 and 21, and a drive command for maintaining the orientation of the mirror bodies 13 and 23 (a drive command for canceling the movement of the housing H). It is sent to each mirror drive mechanism 14, 24.

各ミラー駆動機構14,24は、制御装置10から受信した駆動命令を実行することにより、ハウジングHの向きが変更されても、ミラー本体13,23の向きを一定に保つことができる。このように、車両状態パターンに応じてハウジングHの向きが変更されても、ミラー本体13、23の向きは変更されないので、運転者は違和感なく、ミラー本体13,23に映る車両周囲の状況を確認しながら運転操作をすることができる。   Each mirror drive mechanism 14, 24 can keep the direction of the mirror bodies 13, 23 constant even when the direction of the housing H is changed by executing the drive command received from the control device 10. Thus, even if the orientation of the housing H is changed according to the vehicle state pattern, the orientation of the mirror bodies 13 and 23 is not changed, so that the driver can feel the situation around the vehicle reflected on the mirror bodies 13 and 23 without feeling uncomfortable. You can drive while checking.

次に、本実施形態の制御装置10の移動体検出機能について説明する。本実施形態の制御装置10は、車両状態パターンが遠隔監視モードである場合には、検出した移動体を追跡する画像を撮像することができる。   Next, the moving body detection function of the control apparatus 10 of this embodiment is demonstrated. When the vehicle state pattern is in the remote monitoring mode, the control device 10 according to the present embodiment can capture an image that tracks the detected moving object.

本実施形態の制御装置10は、カメラ12,22の撮像画像に基づいて車両周囲の移動体及びその移動方向を検出することができる。先述したとおり、本実施形態の制御装置10は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備えており、制御装置10は、画像処理コントロールユニットを用いて、車両に搭載されたカメラ12,22,32,42などの撮像画像を解析し、撮像データから物体に対応する画像を抽出し、さらに抽出した画像に基づいて物体の動きを追跡し、経時的な物体の位置の変化(車両に対する存在位置又は車両に対する存在方向)を算出することができる。   The control device 10 according to the present embodiment can detect the moving body around the vehicle and the moving direction thereof based on the captured images of the cameras 12 and 22. As described above, the control device 10 of the present embodiment includes an image processing control unit (IPCU), and the control device 10 uses the image processing control unit and the camera 12 mounted on the vehicle. , 22, 32, etc., the image corresponding to the object is extracted from the imaging data, the movement of the object is tracked based on the extracted image, and the position of the object over time (vehicle Can be calculated).

また、制御装置10は、撮像画像に含まれる移動体に対応する画像の位置(画像座標上の位置)に基づいて、その移動体の存在方向を算出することができる。制御装置10は、移動体の存在方向に沿う撮像方向を算出する。そして、制御装置10は、移動体の存在方向を撮像するためのカメラ12,22の撮像方向を算出する。   Moreover, the control apparatus 10 can calculate the presence direction of the moving body based on the position of the image corresponding to the moving body included in the captured image (the position on the image coordinates). The control device 10 calculates the imaging direction along the direction in which the moving object exists. And the control apparatus 10 calculates the imaging direction of the cameras 12 and 22 for imaging the presence direction of a moving body.

制御装置10は、エンジンがオフ状態である旨の動作情報を取得し、車両状態パターンが遠隔監視モードであると判断した場合であって、移動体が検出された場合には、検出された移動体の存在方向又はこの移動体の移動方向に応じて、ドアミラー1,2のハウジングHの向きを変更させる駆動命令を生成し、各ハウジング駆動機構11,21へ送出する。各ハウジング駆動機構11、21は、駆動命令に従ってドアミラー1,2のハウジングHを駆動させることにより、移動体を追跡して撮像することができる。これにより、遠隔監視時に、自動的に移動体を追跡した映像を撮像することができるので、車両に危険が生じた場合であっても、遠隔から車両の状態を正確に把握することができ、適切に対処することができる。   The control device 10 acquires the operation information indicating that the engine is in the off state, and determines that the vehicle state pattern is in the remote monitoring mode, and if the moving body is detected, the detected movement A drive command for changing the direction of the housing H of the door mirrors 1 and 2 is generated according to the direction in which the body is present or the movement direction of the moving body, and is sent to the housing drive mechanisms 11 and 21. Each housing drive mechanism 11, 21 can track and image the moving body by driving the housing H of the door mirrors 1, 2 in accordance with a drive command. As a result, it is possible to take an image that automatically tracks the moving body during remote monitoring, so even if a danger occurs in the vehicle, the state of the vehicle can be accurately grasped remotely. Can be dealt with appropriately.

最後に、本実施形態の制御装置10の通信機能について説明する。本実施形態の制御装置10は、外部の通信機能を備える端末装置との通信機能を備え、車両のエンジンがオフ状態である旨の動作情報を取得し、車両状態パターンが遠隔監視モードであると判断した場合には、カメラ12,22により撮像された映像のデータを車両の外部の端末装置800に送出することができる。端末装置800は、通信装置810が受信した映像のデータを、画像処理装置820に処理させ、ディスプレイ830に表示させる。これにより、車両のオーナーは車両から離れた位置においても、自分の車両の状況を映像で確認することができる。   Finally, the communication function of the control device 10 of the present embodiment will be described. The control device 10 of the present embodiment has a communication function with a terminal device having an external communication function, acquires operation information indicating that the vehicle engine is off, and the vehicle state pattern is in the remote monitoring mode. If it is determined, video data captured by the cameras 12 and 22 can be sent to the terminal device 800 outside the vehicle. The terminal device 800 causes the image processing device 820 to process video data received by the communication device 810 and display the data on the display 830. As a result, the owner of the vehicle can check the situation of his / her vehicle by video even at a position away from the vehicle.

続いて、図6のフローチャート図に基づいて、本実施形態の監視システム1000の制御手順を説明する。   Next, a control procedure of the monitoring system 1000 according to the present embodiment will be described based on the flowchart in FIG.

まず、車両用監視装置100の制御装置10は、ステップ11において、車両コントローラ200から車両の動作情報を所定周期で取得し、ステップ12において、動作情報に基づいて車両状態パターンを判断する。本実施形態では、予め動作情報と車両状態パターンとの関係が予め定義された対応情報T(表1、表2参照)に基づいて、動作情報から車両状態パターンを判断する。   First, in step 11, the control device 10 of the vehicle monitoring apparatus 100 acquires vehicle operation information from the vehicle controller 200 at a predetermined cycle, and in step 12, determines a vehicle state pattern based on the operation information. In the present embodiment, the vehicle state pattern is determined from the operation information based on correspondence information T (see Tables 1 and 2) in which the relationship between the operation information and the vehicle state pattern is defined in advance.

ステップ13において、制御装置10は車両状態パターンに応じたハウジングHの駆動命令を生成する。この駆動命令には、ハウジングHの回転軸(x,y,z)回転方向、回転量、回転速度の情報を含む。   In step 13, the control device 10 generates a drive command for the housing H according to the vehicle state pattern. This drive command includes information on the rotation direction (rotation direction), rotation amount, and rotation speed of the rotation axis (x, y, z) of the housing H.

続くステップ14において、制御装置10は、ステップ13において生成されたハウジングHの駆動命令に基づいて、ミラー本体13,23の駆動命令を生成する。この駆動命令には、ミラー本体13、23Hの回転軸(x,y,z)回転方向、回転量、回転速度の情報を含む。   In subsequent step 14, control device 10 generates a drive command for mirror bodies 13 and 23 based on the drive command for housing H generated in step 13. This drive command includes information on the rotation direction (x, y, z), rotation amount, and rotation speed of the mirror bodies 13 and 23H.

そして、ステップ15において、制御装置10はステップ13において生成したハウジングHの駆動命令をハウジング駆動機構11,21へ送出し、ステップ16において、制御装置10はステップ14において生成したミラー本体13,23の駆動命令をミラー駆動機構14,24へ送出する。   In step 15, the control device 10 sends the drive command for the housing H generated in step 13 to the housing drive mechanisms 11 and 21. In step 16, the control device 10 controls the mirror main bodies 13 and 23 generated in step 14. A drive command is sent to the mirror drive mechanisms 14 and 24.

ステップ17において、ハウジング駆動機構11,21はステップ15で送出された駆動命令に基づいてハウジングHを駆動する。   In step 17, the housing drive mechanisms 11 and 21 drive the housing H based on the drive command sent in step 15.

同じく、ステップ18において、ミラー駆動機構14,24はステップ16で送出された駆動命令に基づいてミラー本体13、23を駆動する。ミラー本体13,23の駆動は、ハウジングHの駆動と経時的に同期させるので、ハウジングHの向きを変えつつ、ミラー本体13、23の鏡面の位置(向き)を維持させることができる。   Similarly, in step 18, the mirror drive mechanisms 14, 24 drive the mirror bodies 13, 23 based on the drive command sent in step 16. Since the driving of the mirror bodies 13 and 23 is synchronized with the driving of the housing H over time, the mirror surface positions (orientations) of the mirror bodies 13 and 23 can be maintained while changing the orientation of the housing H.

制御装置10が車両状態パターンを遠隔監視モードであると判断した場合には(ステップ19)ステップ20へ進み、遠隔にいるユーザの外部端末装置800に映像を送信する。ステップ20において、制御装置10はカメラ12,22の撮像した画像に基づいて移動体の存在位置、存在方向を検出する。画像から移動体に関する情報の検出手法は、前述のとおり、既知の手法を適宜に利用することができる。   When the control device 10 determines that the vehicle state pattern is in the remote monitoring mode (step 19), the process proceeds to step 20, and the video is transmitted to the external terminal device 800 of the remote user. In step 20, the control device 10 detects the position and direction of the moving body based on the images taken by the cameras 12 and 22. As described above, a known method can be appropriately used as a method for detecting information about a moving object from an image.

ステップ21において、制御装置10は検出された移動体の存在方向に応じて、ハウジングHの設けられたカメラ12、22の撮像方向が移動体の存在方向と一致するように、ハウジングHの向きを変更させる駆動命令を生成し、ハウジング駆動機構11,21へ送出する。ハウジング駆動機構11、21はこの駆動命令に従いハウジングHの向きを駆動させる。ハウジングHが駆動すると、カメラ12,22の光軸を移動体の存在方向に合わせることができるので、カメラ12、22は移動体を撮像することができる。   In step 21, the control device 10 changes the direction of the housing H so that the imaging direction of the cameras 12 and 22 provided with the housing H matches the direction of existence of the moving body according to the detected direction of the moving body. A drive command to be changed is generated and sent to the housing drive mechanisms 11 and 21. The housing drive mechanisms 11 and 21 drive the direction of the housing H in accordance with this drive command. When the housing H is driven, the optical axes of the cameras 12 and 22 can be aligned with the direction in which the moving body exists, so that the cameras 12 and 22 can image the moving body.

ステップ22において、制御装置10は、カメラ12、22が撮像した映像を外部端末装置800へ送信する。外部端末装置800は、受信した映像をディスプレイ830に表示し、車両の周囲の状況をユーザに提示する。   In step 22, the control device 10 transmits the video captured by the cameras 12 and 22 to the external terminal device 800. The external terminal device 800 displays the received video on the display 830 and presents the situation around the vehicle to the user.

ステップ20以降の処理は、遠隔監視モードが解除されるまで(たとえば、イグニッションキーがオンとなりエンジンが駆動を開始するまで)継続される。   The processing after step 20 is continued until the remote monitoring mode is canceled (for example, until the ignition key is turned on and the engine starts driving).

本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。   Since this invention is comprised as mentioned above and acts as mentioned above, there exist the following effects.

本実施形態の車両用監視装置100、監視システム1000によれば、車両の動作情報から判断された車両状態パターンに応じて車両のドアミラー1,2のハウジングHの向きを変更することにより、ハウジングHに設けられたカメラ12,22の撮像方向を変更することができるので、車両状態パターンに応じた撮像方向の映像を取得することができる。この結果、ハウジングHに設けられたカメラ12,22を用いて、駐車支援や走行時の周辺観察に適した映像のみならず、車両周囲の安全監視に適した映像を、車両の状態に応じて取得することができる。   According to the vehicle monitoring device 100 and the monitoring system 1000 of the present embodiment, the housing H is changed by changing the orientation of the housing H of the door mirrors 1 and 2 of the vehicle according to the vehicle state pattern determined from the operation information of the vehicle. Since the imaging directions of the cameras 12 and 22 provided in the camera can be changed, an image in the imaging direction according to the vehicle state pattern can be acquired. As a result, by using the cameras 12 and 22 provided in the housing H, not only images suitable for parking assistance and observation of the surroundings during traveling, but also images suitable for safety monitoring around the vehicle according to the state of the vehicle. Can be acquired.

たとえば、本実施形態の車両用監視装置100は、エンジンがオン状態であるか、オフ状態であるかの動作情報に応じた車両状態パターンに応じてドアミラー1,2のハウジングHの向きを変えるので、エンジンがオン状態の場合には駐車支援や走行時の周辺観察に適した映像を取得し、エンジンがオフ状態の場合には車両周囲の安全監視に適した映像を取得することができる。   For example, the vehicle monitoring apparatus 100 of the present embodiment changes the orientation of the housing H of the door mirrors 1 and 2 according to the vehicle state pattern corresponding to the operation information indicating whether the engine is on or off. When the engine is on, an image suitable for parking assistance and surrounding observation during traveling can be obtained, and when the engine is off, an image suitable for safety monitoring around the vehicle can be obtained.

本実施形態の車両用監視装置100は、ハウジング駆動機構11,21によるハウジングHの向きの変更量に基づいて、ミラー駆動機構14,24にミラー本体13、23の鏡面の向きを変更させるので、ハウジングHが駆動してもミラー本体13,23の向きを一定に保つことができる。このように、車両状態パターンに応じてハウジングHの向きが変更されても、ミラー本体13、23の向きは変更されないので、運転者は違和感なく、ミラー本体13,23に映る車両周囲の状況を確認しながら運転操作をすることができる。   The vehicle monitoring apparatus 100 of the present embodiment causes the mirror drive mechanisms 14 and 24 to change the mirror surface orientations of the mirror bodies 13 and 23 based on the amount of change in the orientation of the housing H by the housing drive mechanisms 11 and 21. Even when the housing H is driven, the orientation of the mirror bodies 13 and 23 can be kept constant. Thus, even if the orientation of the housing H is changed according to the vehicle state pattern, the orientation of the mirror bodies 13 and 23 is not changed, so that the driver can feel the situation around the vehicle reflected on the mirror bodies 13 and 23 without feeling uncomfortable. You can drive while checking.

本実施形態の車両用監視装置100は、車両の車速、シフトポジション、カメラ12,22のオン/オフ、及び車両の操舵角のうち一つ又は複数の情報を動作情報とするので、車両の状態を正確に判断することができる。つまり、これらの動作情報から、現在の車両の状況において駐車支援や走行時の周辺観察に適した映像が必要であるか、車両周囲の安全監視に適した映像が必要であるかを正確に判断することができる。   Since the vehicle monitoring apparatus 100 of the present embodiment uses one or more information among the vehicle speed, the shift position, the on / off of the cameras 12 and 22 and the steering angle of the vehicle as the operation information, the vehicle state Can be accurately determined. In other words, from these motion information, it is accurately determined whether an image suitable for parking assistance and observation of surroundings during driving is required in the current vehicle situation or an image suitable for safety monitoring around the vehicle. can do.

本実施形態の車両用監視装置100は、エンジンがオフ状態である旨の動作情報を取得した場合には、カメラ12,22の撮像方向が、エンジンがオン状態である場合のカメラ12,22の撮像方向よりも上向きになるように、ドアミラー1,2のハウジングHの向きを変更させることにより、カメラ12,22の撮像方向(光軸)の向きを、エンジンがオン状態であるときの下向きに比べて、横向きに変化させることができる。各ドアミラー1、2に取り付けられたカメラ12,22の撮像方向を車体の横方向にすることで、ドアミラー1,2の高さから車体の周囲を撮像できるので、車両周囲に存在する高さのある物体の全体(不審者の全身)を撮像することができる。
また、ドアミラー1,2の高さから車体の周囲を撮像すると、不審者等を撮像領域の中央部分で捉えることができるので、カメラ12,22が広角である場合であっても、不審者の明瞭な画像を得ることができる。
When the vehicle monitoring apparatus 100 according to the present embodiment acquires operation information indicating that the engine is off, the imaging direction of the cameras 12 and 22 is that of the cameras 12 and 22 when the engine is on. By changing the direction of the housing H of the door mirrors 1 and 2 so as to be upward from the imaging direction, the direction of the imaging direction (optical axis) of the cameras 12 and 22 is downward when the engine is on. In comparison, it can be changed horizontally. By setting the imaging direction of the cameras 12 and 22 attached to the door mirrors 1 and 2 to the lateral direction of the vehicle body, the surroundings of the vehicle body can be imaged from the height of the door mirrors 1 and 2, so that the height around the vehicle is It is possible to take an image of the entire object (the suspicious person's whole body).
In addition, if an image of the surroundings of the vehicle body is taken from the height of the door mirrors 1 and 2, a suspicious person or the like can be captured at the center of the imaging region, so even if the cameras 12 and 22 are wide-angled, A clear image can be obtained.

本実施形態の車両用監視装置100は、エンジンがオン状態であり、シフトポジションがリバースである旨の動作情報を取得した場合には、車両が駐車状態であると判断できるので、カメラ12,22の撮像方向が下向きになるように、ドアミラー1,2のハウジングHの向きを変更させることにより、駐車支援に適した映像を撮像することができる。   The vehicle monitoring apparatus 100 according to the present embodiment can determine that the vehicle is in the parking state when the operation information indicating that the engine is on and the shift position is reverse is obtained. By changing the direction of the housing H of the door mirrors 1 and 2 so that the image capturing direction of the camera is directed downward, an image suitable for parking assistance can be captured.

本実施形態の車両用監視装置100は、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度以上である旨の動作情報を取得した場合には、車両が通常走行状態であると判断できるので、カメラ12,22の撮像方向が後側方になるように、ドアミラー1,2のハウジングHの向きを変更させることにより、走行支援に適した映像を撮像することができる。   In the vehicle monitoring apparatus 100 according to the present embodiment, when the engine is on, the shift position is other than reverse, and operation information indicating that the vehicle speed is equal to or higher than a predetermined speed is acquired, the vehicle travels normally. Since it can be determined that the camera is in a state, it is possible to capture an image suitable for driving support by changing the orientation of the housing H of the door mirrors 1 and 2 so that the imaging direction of the cameras 12 and 22 is rearward. it can.

本実施形態の車両用監視装置100は、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満であるときに、カメラ12,22がオフ状態である旨の動作情報を取得した場合には、カメラ12,22の撮像方向が後側方になるようにドアミラー1,2のハウジングHの向きを変更させ、他方、カメラ12,22がオン状態である旨の動作情報を取得した場合には、カメラ12,22の撮像方向が下向きになるように、前記ドアミラーのハウジングの向きを変更させる。カメラ12,22がオン状態である場合には駐車支援のプログラムが実行されている可能性が高いと判断し、駐車支援に適した映像を撮像することができる。   The vehicle monitoring apparatus 100 according to the present embodiment operates to indicate that the cameras 12 and 22 are in an off state when the engine is on, the shift position is other than reverse, and the vehicle speed is less than a predetermined speed. When the information is acquired, the direction of the housing H of the door mirrors 1 and 2 is changed so that the imaging direction of the cameras 12 and 22 is rearward, while the operation that the cameras 12 and 22 are in an on state. When the information is acquired, the direction of the housing of the door mirror is changed so that the imaging direction of the cameras 12 and 22 is downward. When the cameras 12 and 22 are in the on state, it is determined that there is a high possibility that a parking assistance program is being executed, and an image suitable for parking assistance can be captured.

本実施形態の車両用監視装置100は、エンジンがオン状態であり、シフトポジションがリバース以外であり、車両の車速が所定速度未満であり、カメラ12.22がオフ状態である動作情報を取得し、車両状態パターンが走行支援モードであると判断されたた場合であっても、直前に判断された車両状態パターンが駐車支援モードである場合にはドアミラー1,2のハウジングHの向きの変更を実行しないので、駐車操作の途中でカメラ12,22の撮像方向が変更されることを防止することができる。   The vehicle monitoring apparatus 100 according to the present embodiment acquires operation information indicating that the engine is on, the shift position is other than reverse, the vehicle speed is less than a predetermined speed, and the camera 12.22 is off. Even if it is determined that the vehicle state pattern is the driving support mode, the direction of the housing H of the door mirrors 1 and 2 is changed when the vehicle state pattern determined immediately before is the parking support mode. Since it does not perform, it can prevent that the imaging direction of the cameras 12 and 22 is changed in the middle of parking operation.

本実施形態の車両用監視装置100は、エンジンがオン状態であり、シフトポジションがリバースである動作情報を取得し、車両状態パターンが駐車支援モードであると判断されたた場合に、車両の操舵角が所定値以上である旨の動作情報を取得した場合には、カメラ12,22の撮像方向が後側方になるように、ドアミラー1,2のハウジングHの向きを変更させ、車両の操舵角が所定値未満である旨の動作情報を取得した場合には、カメラ12,22の撮像方向が下向きになるように、ドアミラー1,2のハウジングHの向きを変更させるので、駐車操作のうち車両を大きく旋回させるときには後ろ方向の状態を確認できる映像を撮像し、車両を直進させる(縦列駐車させる)ときには下方向(路面方向)の状態を確認できる映像を撮像することができる。   The vehicle monitoring apparatus 100 according to the present embodiment obtains operation information indicating that the engine is on, the shift position is reverse, and the steering of the vehicle when it is determined that the vehicle state pattern is the parking assist mode. When motion information indicating that the angle is greater than or equal to a predetermined value is acquired, the direction of the housing H of the door mirrors 1 and 2 is changed so that the imaging direction of the cameras 12 and 22 is rearward, and the vehicle is steered. When the operation information indicating that the angle is less than the predetermined value is acquired, the direction of the housing H of the door mirrors 1 and 2 is changed so that the imaging direction of the cameras 12 and 22 is downward. When the vehicle is turned significantly, an image that can confirm the state of the rear direction is taken, and when the vehicle goes straight (Parallel parking), an image that can confirm the state of the down direction (road surface direction) is taken. Rukoto can.

本実施形態の車両用監視装置100は、車両の操舵角が右方向への操舵である旨の動作情報を取得した場合には、車両の右側のドアミラー1のハウジングHの向きを変更させ、車両の操舵角が左方向への操舵である旨の動作情報を取得した場合には、車両の左側のドアミラー2のハウジングHの向きを変更させるので、確認を要する方向(左又は右)のドアミラー1,2のハウジングのみを駆動させることができる。   When the vehicle monitoring apparatus 100 according to the present embodiment acquires operation information indicating that the steering angle of the vehicle is steering in the right direction, the vehicle monitoring apparatus 100 changes the direction of the housing H of the door mirror 1 on the right side of the vehicle. When the operation information indicating that the steering angle is leftward steering is obtained, the direction of the housing H of the door mirror 2 on the left side of the vehicle is changed, so that the door mirror 1 in the direction (left or right) that needs to be confirmed. , 2 can be driven only.

本実施形態の車両用監視装置100は、カメラ12、22の映像から移動体を検出し、その移動体の存在方向又は移動方向に応じてドアミラーのハウジングHの向きを変更させるので、移動体を追跡した映像を取得することができる。   The vehicle monitoring apparatus 100 according to the present embodiment detects the moving body from the images of the cameras 12 and 22 and changes the direction of the door mirror housing H in accordance with the direction in which the moving body exists or the moving direction. The tracked video can be acquired.

本実施形態の車両用監視装置100は、遠隔監視モードの場合にはカメラ12、22により撮像された映像を外部端末装置800に送出するので、車両のオーナーは車両から離れた位置においても、自分の車両の状況を映像で確認することができる。   In the remote monitoring mode, the vehicle monitoring apparatus 100 according to the present embodiment sends the images captured by the cameras 12 and 22 to the external terminal device 800, so that the owner of the vehicle can perform his / herself even at a position away from the vehicle. The situation of the vehicle can be confirmed on the video.

なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。   It should be noted that all the embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

本明細書では、本発明に係る車両用監視装置の一態様として車両用監視装置100及び監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。   In this specification, the vehicle monitoring apparatus 100 and the monitoring system 1000 will be described as an example of the vehicle monitoring apparatus according to the present invention, but the present invention is not limited to this.

また、本明細書では、本発明に係る車両用監視装置の一態様として、カメラ12、22の向きを変更させるハウジング駆動機構11、21と、ミラー本体13,23の鏡面の向きを変更させるミラー駆動機構14、24を制御可能な、CPU11、ROM12、RAM13を含む制御装置10を備える車両用監視装置100を一例として説明するが、これに限定されるものではない。   Moreover, in this specification, as one aspect | mode of the monitoring apparatus for vehicles which concerns on this invention, the mirror which changes the direction of the mirror drive direction of the housing drive mechanisms 11 and 21 and the mirror main bodies 13 and 23 which change the direction of the cameras 12 and 22 The vehicle monitoring device 100 including the control device 10 including the CPU 11, the ROM 12, and the RAM 13 that can control the drive mechanisms 14 and 24 will be described as an example, but is not limited thereto.

本明細書では、ハウジング駆動制御手段と、ミラー駆動制御手段と、移動体検出手段と、送信手段とを有する本発明に係る車両用監視装置の一態様として、ハウジング駆動制御機能と、ミラー駆動制御機能と、移動体検出機能と、送信機能を備える制御装置10を有する車両用監視装置100を説明するが、これに限定されるものではない。   In the present specification, as one aspect of the vehicle monitoring apparatus according to the present invention having a housing drive control means, a mirror drive control means, a moving body detection means, and a transmission means, a housing drive control function and a mirror drive control are provided. Although the vehicle monitoring device 100 having the control device 10 having the function, the moving body detection function, and the transmission function will be described, the present invention is not limited to this.

1000…監視システム
100…車両用監視装置
M…車両
10…制御装置
11…CPU
12…ROM
13…RAM
200…車両コントローラ
300…イグニッションスイッチ
400…車速センサ
500…ポジショニングスイッチ
600…操舵角センサ
700…通信装置
800…外部端末装置
900…通信回線
1000 ... Monitoring system 100 ... Vehicle monitoring device M ... Vehicle 10 ... Control device 11 ... CPU
12 ... ROM
13 ... RAM
DESCRIPTION OF SYMBOLS 200 ... Vehicle controller 300 ... Ignition switch 400 ... Vehicle speed sensor 500 ... Positioning switch 600 ... Steering angle sensor 700 ... Communication apparatus 800 ... External terminal device 900 ... Communication line

Claims (12)

車両に取り付けられ、カメラとミラー本体とが取り付けられたハウジングを備えるドアミラーと、
前記ドアミラーのハウジングの向きを変更させるハウジング駆動機構と、
前記車両から取得した動作情報から判断された車両状態パターンに応じて、前記ハウジング駆動機構に前記ハウジングの向きを変更させるハウジング駆動制御手段と、を備え、
前記ハウジング駆動制御手段は、前記車両のエンジンがオン状態であるか又はオフ状態であるかの情報を含む動作情報を取得し、当該取得した動作情報から判断された車両状態パターンに応じて、前記ハウジング駆動機構に前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
A door mirror having a housing attached to a vehicle and having a camera and a mirror body attached thereto;
A housing drive mechanism for changing the orientation of the housing of the door mirror;
Housing drive control means for causing the housing drive mechanism to change the orientation of the housing according to a vehicle state pattern determined from operation information acquired from the vehicle,
The housing drive control means acquires operation information including information on whether an engine of the vehicle is in an on state or an off state, and according to a vehicle state pattern determined from the acquired operation information, A vehicle monitoring apparatus, wherein a housing driving mechanism is configured to change a direction of a housing of the door mirror.
請求項1に記載の車両用監視装置において、
前記ミラー本体の鏡面の向きを変更させるミラー駆動機構と、
前記ハウジング駆動機構によるハウジングの向きの変更量に基づいて、前記ミラー駆動機構に前記ミラー本体の鏡面の向きを変更させるミラー駆動制御手段と、をさらに備えることを特徴とする車両用監視装置。
The vehicle monitoring device according to claim 1,
A mirror drive mechanism for changing the direction of the mirror surface of the mirror body;
A vehicle monitoring apparatus, further comprising: mirror drive control means for causing the mirror drive mechanism to change the direction of the mirror surface of the mirror body based on a change amount of the housing direction by the housing drive mechanism.
請求項1又は2に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記車両の車速、前記シフトポジション、前記カメラのオン/オフ、及び前記車両の操舵角のうち一つ又は複数の動作情報に基づいて、前記ハウジング駆動機構に前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
The vehicle monitoring device according to claim 1 or 2,
The housing drive control means is configured to provide the housing drive mechanism with the door mirror based on one or more operation information of the vehicle speed, the shift position, the on / off of the camera, and the steering angle of the vehicle. A vehicle monitoring device characterized in that the orientation of a housing is changed.
請求項1〜3の何れか一項に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記エンジンがオフ状態である旨の動作情報を取得した場合には、前記エンジンがオン状態である場合の当該カメラの撮像方向よりも前記カメラの撮像方向が上向きになるように、前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
In the monitoring apparatus for vehicles as described in any one of Claims 1-3,
When the housing drive control means acquires the operation information indicating that the engine is in the off state, the imaging direction of the camera is upward from the imaging direction of the camera when the engine is in the on state. Thus, the direction of the housing of the door mirror is changed.
請求項4に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記エンジンがオン状態であり、シフトポジションがリバースである旨の動作情報を取得した場合には、前記カメラの撮像方向が下向きになるように、前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
The vehicle monitoring device according to claim 4,
The housing drive control means, when acquiring the operation information that the engine is on and the shift position is reverse, the orientation of the housing of the door mirror so that the imaging direction of the camera is downward The vehicle monitoring device characterized by changing the above.
請求項4又は5に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記エンジンがオン状態であり、シフトポジションがリバース以外であり、前記車両の車速が所定速度以上である旨の動作情報を取得した場合には、前記カメラの撮像方向が後側方になるように、前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
The vehicle monitoring device according to claim 4 or 5,
When the housing drive control means acquires operation information indicating that the engine is on, the shift position is other than reverse, and the vehicle speed of the vehicle is equal to or higher than a predetermined speed, the imaging direction of the camera is A vehicular monitoring device, wherein the orientation of the housing of the door mirror is changed so as to be rearward.
請求項4〜6の何れか一項に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記エンジンがオン状態であり、シフトポジションがリバース以外であり、前記車両の車速が所定速度未満であり、前記カメラがオフ状態である旨の動作情報を取得した場合には、前記カメラの撮像方向が後側方になるように前記ドアミラーのハウジングの向きを変更させ、
前記ハウジング駆動制御手段は、前記エンジンがオン状態であり、シフトポジションがリバース以外であり、前記車両の車速が所定速度未満であり、前記カメラがオン状態である旨の動作情報を取得した場合には、前記カメラの撮像方向が下向きになるように、前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
In the monitoring device for vehicles according to any one of claims 4 to 6,
The housing drive control means obtains operation information indicating that the engine is on, the shift position is other than reverse, the vehicle speed of the vehicle is less than a predetermined speed, and the camera is off. Change the orientation of the housing of the door mirror so that the imaging direction of the camera is the rear side,
The housing drive control means obtains operation information indicating that the engine is on, the shift position is other than reverse, the vehicle speed of the vehicle is less than a predetermined speed, and the camera is on. Is a vehicle monitoring device that changes the direction of the housing of the door mirror so that the imaging direction of the camera is downward.
請求項7に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記エンジンがオン状態であり、シフトポジションがリバース以外であり、前記車両の車速が所定速度未満であり、前記カメラがオフ状態である動作情報を取得した場合において、
前記動作情報を取得する直前に取得した動作情報が、前記エンジンがオン状態であり、シフトポジションがリバースである旨の動作情報である場合、又は前記エンジンがオン状態であり、シフトポジションがリバース以外であり、前記車両の車速が所定速度未満であり、前記カメラがオン状態である旨の動作情報である場合には、前記ドアミラーのハウジングの向きの変更を実行しないことを特徴とする車両用監視装置。
The vehicle monitoring device according to claim 7,
The housing drive control means, when the engine is on, the shift position is other than reverse, the vehicle speed of the vehicle is less than a predetermined speed, and the operation information that the camera is off is acquired,
The operation information acquired immediately before acquiring the operation information is operation information indicating that the engine is on and the shift position is reverse, or the engine is on and the shift position is other than reverse. When the vehicle speed of the vehicle is less than a predetermined speed and the operation information indicates that the camera is in an on state, the orientation of the door mirror housing is not changed. apparatus.
請求項4〜8の何れか一項に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、
前記エンジンがオン状態であり、シフトポジションがリバースであり、前記車両の操舵角が所定値以上である旨の動作情報を取得した場合には、前記カメラの撮像方向が後側方になるように、前記ドアミラーのハウジングの向きを変更させ、
前記エンジンがオン状態であり、シフトポジションがリバースであり、前記車両の操舵角が所定値未満である旨の動作情報を取得した場合には、前記カメラの撮像方向が下向きになるように、前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
In the monitoring device for vehicles according to any one of claims 4 to 8,
The housing drive control means includes
When the operation information indicating that the engine is on, the shift position is reverse, and the steering angle of the vehicle is greater than or equal to a predetermined value is acquired, the imaging direction of the camera is set to the rear side , Change the direction of the door mirror housing,
When the operation information indicating that the engine is on, the shift position is reverse, and the steering angle of the vehicle is less than a predetermined value is acquired, the imaging direction of the camera is downward. A monitoring device for a vehicle, wherein the orientation of a door mirror housing is changed.
請求項9に記載の車両用監視装置において、
前記ハウジング駆動制御手段は、前記車両の操舵角が右方向への操舵である旨の動作情報を取得した場合には、前記車両の右側のドアミラーのハウジングの向きを変更させ、
前記車両の操舵角が左方向への操舵である旨の動作情報を取得した場合には、前記車両の左側のドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
The vehicle monitoring device according to claim 9, wherein
When the housing drive control means acquires the operation information indicating that the steering angle of the vehicle is steering in the right direction, the housing drive control means changes the orientation of the housing of the right door mirror of the vehicle,
The vehicle monitoring apparatus, wherein when the operation information indicating that the steering angle of the vehicle is leftward steering is acquired, the direction of the housing of the left door mirror of the vehicle is changed.
請求項1〜10の何れか一項に記載の車両用監視装置において、
前記カメラの撮像画像に基づいて前記車両周囲の移動体及びその移動方向を検出する移動体検出手段をさらに備え、
前記ハウジング駆動制御手段は、前記エンジンがオフ状態である旨の動作情報を取得した後に、前記移動体検出手段により移動体が検出された場合には、前記カメラの撮像方向が前記検出された移動体の存在方向又は当該移動体の移動方向に向くように、前記ドアミラーのハウジングの向きを変更させることを特徴とする車両用監視装置。
In the vehicle monitoring device according to any one of claims 1 to 10,
A moving body detecting means for detecting a moving body around the vehicle and a moving direction thereof based on a captured image of the camera;
The housing drive control means obtains the operation information indicating that the engine is in an off state, and when the moving body detection means detects a moving body, the imaging direction of the camera is detected movement. A vehicle monitoring apparatus, wherein the direction of the housing of the door mirror is changed so as to face the direction of the body or the direction of movement of the moving body.
請求項1〜11の何れか一項に記載の車両用監視装置において、
外部の通信機能を備える端末装置との通信機能を備える送信手段を、さらに備え、
前記送信手段は、前記車両のエンジンがオフ状態である旨の動作情報を取得した場合には、前記カメラにより撮像された映像を前記車両の外部の端末装置に送信することを特徴とする車両用監視装置。
In the vehicle monitoring device according to any one of claims 1 to 11,
A transmission means having a communication function with a terminal device having an external communication function;
The transmission unit transmits an image captured by the camera to a terminal device outside the vehicle when the operation information indicating that the engine of the vehicle is in an off state is acquired. Monitoring device.
JP2011135970A 2011-06-20 2011-06-20 Vehicle monitoring device Active JP5811623B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011135970A JP5811623B2 (en) 2011-06-20 2011-06-20 Vehicle monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011135970A JP5811623B2 (en) 2011-06-20 2011-06-20 Vehicle monitoring device

Publications (2)

Publication Number Publication Date
JP2013001298A true JP2013001298A (en) 2013-01-07
JP5811623B2 JP5811623B2 (en) 2015-11-11

Family

ID=47670298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011135970A Active JP5811623B2 (en) 2011-06-20 2011-06-20 Vehicle monitoring device

Country Status (1)

Country Link
JP (1) JP5811623B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150130723A (en) * 2014-05-14 2015-11-24 엘지이노텍 주식회사 Image providing system for vehicle and method of operating the same
KR20170024295A (en) * 2015-08-25 2017-03-07 현대중공업 주식회사 Working machine
EP3453557A1 (en) 2017-09-06 2019-03-13 Toyota Jidosha Kabushiki Kaisha Image display apparatus
EP3466765A1 (en) 2017-10-04 2019-04-10 Toyota Jidosha Kabushiki Kaisha Image display apparatus
EP3926948A4 (en) * 2019-02-13 2022-04-06 JVCKenwood Corporation Video control device for vehicles, video system for vehicles, video control method, and program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675900U (en) * 1993-04-07 1994-10-25 市光工業株式会社 Vehicle rear view device
JPH09193711A (en) * 1996-01-19 1997-07-29 Sharp Corp Vehicular theft prevention device
JPH11115631A (en) * 1997-10-08 1999-04-27 Mitsubishi Motors Corp Stored mirror device for vehicle
JP2004274618A (en) * 2003-03-11 2004-09-30 Calsonic Kansei Corp Vehicle reversing auxiliary apparatus
JP2006321357A (en) * 2005-05-19 2006-11-30 Auto Network Gijutsu Kenkyusho:Kk Monitoring device for vehicle
JP2007237964A (en) * 2006-03-09 2007-09-20 Alpine Electronics Inc Vehicle drive supporting device
JP2008087651A (en) * 2006-10-03 2008-04-17 Calsonic Kansei Corp In-vehicle camera system
JP2009073250A (en) * 2007-09-19 2009-04-09 Denso Corp Vehicle backsight display device
JP2010247645A (en) * 2009-04-15 2010-11-04 Funai Electric Co Ltd Onboard camera
JP2011003117A (en) * 2009-06-22 2011-01-06 Central Motor Co Ltd Backward visual recognition support system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675900U (en) * 1993-04-07 1994-10-25 市光工業株式会社 Vehicle rear view device
JPH09193711A (en) * 1996-01-19 1997-07-29 Sharp Corp Vehicular theft prevention device
JPH11115631A (en) * 1997-10-08 1999-04-27 Mitsubishi Motors Corp Stored mirror device for vehicle
JP2004274618A (en) * 2003-03-11 2004-09-30 Calsonic Kansei Corp Vehicle reversing auxiliary apparatus
JP2006321357A (en) * 2005-05-19 2006-11-30 Auto Network Gijutsu Kenkyusho:Kk Monitoring device for vehicle
JP2007237964A (en) * 2006-03-09 2007-09-20 Alpine Electronics Inc Vehicle drive supporting device
JP2008087651A (en) * 2006-10-03 2008-04-17 Calsonic Kansei Corp In-vehicle camera system
JP2009073250A (en) * 2007-09-19 2009-04-09 Denso Corp Vehicle backsight display device
JP2010247645A (en) * 2009-04-15 2010-11-04 Funai Electric Co Ltd Onboard camera
JP2011003117A (en) * 2009-06-22 2011-01-06 Central Motor Co Ltd Backward visual recognition support system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150130723A (en) * 2014-05-14 2015-11-24 엘지이노텍 주식회사 Image providing system for vehicle and method of operating the same
KR102193526B1 (en) * 2014-05-14 2020-12-21 엘지이노텍 주식회사 Image providing system for vehicle and method of operating the same
KR20170024295A (en) * 2015-08-25 2017-03-07 현대중공업 주식회사 Working machine
KR102019780B1 (en) * 2015-08-25 2019-09-10 현대건설기계 주식회사 Working machine
EP3453557A1 (en) 2017-09-06 2019-03-13 Toyota Jidosha Kabushiki Kaisha Image display apparatus
KR20190027317A (en) 2017-09-06 2019-03-14 도요타지도샤가부시키가이샤 Image display apparatus
US10829043B2 (en) 2017-09-06 2020-11-10 Toyota Jidosha Kabushiki Kaisha Image display apparatus
EP3466765A1 (en) 2017-10-04 2019-04-10 Toyota Jidosha Kabushiki Kaisha Image display apparatus
KR20190039455A (en) 2017-10-04 2019-04-12 도요타지도샤가부시키가이샤 Image display apparatus
US10960821B2 (en) 2017-10-04 2021-03-30 Toyota Jidosha Kabushiki Kaisha Image display apparatus
EP3926948A4 (en) * 2019-02-13 2022-04-06 JVCKenwood Corporation Video control device for vehicles, video system for vehicles, video control method, and program
US11940794B2 (en) 2019-02-13 2024-03-26 Jvckenwood Corporation Vehicle video control apparatus, vehicle video system, video control method, and program

Also Published As

Publication number Publication date
JP5811623B2 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5099451B2 (en) Vehicle periphery confirmation device
JP6801787B2 (en) Parking support method and parking support device
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP4720386B2 (en) Driving assistance device
JP6447886B2 (en) Automotive electronic mirror
CA3067958C (en) Parking control method and parking control device
JP6856126B2 (en) Parking control method and parking control device
CN111186376B (en) Vehicle electronic mirror system
JP6730614B2 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
JP5811623B2 (en) Vehicle monitoring device
KR101198206B1 (en) System for providing image around vehicle with portable terminal and method thereof
JP2007221200A (en) Vehicle periphery monitoring system
JP2005125828A (en) Vehicle surrounding visually confirming system provided with vehicle surrounding visually confirming device
JP2016505450A (en) VEHICLE CAMERA SYSTEM, METHOD AND DEVICE FOR CONTROLLING IMAGE AREA OF IMAGES OF VEHICLE VEHICLE
JP2007253819A (en) Parking backup device
US10596966B2 (en) Display device for vehicle and display method for vehicle
JP2008162308A (en) Vehicular imaging device and vehicular image processing device
JP2016049953A (en) Back confirmation apparatus and back confirmation method
JP2019116220A (en) Vehicular visible device
JP4677820B2 (en) Predicted course display device and predicted course display method
JP5605605B2 (en) Vehicle periphery monitoring device
JP5083137B2 (en) Driving assistance device
JP2015226146A (en) Three-dimensional monitoring device
JP5245471B2 (en) Imaging apparatus, and image processing apparatus and method
JP7137356B2 (en) In-vehicle failure detection device and failure detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150907

R151 Written notification of patent or utility model registration

Ref document number: 5811623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151