JP2019073279A - Vehicle control system, vehicle control method, and vehicle control program - Google Patents

Vehicle control system, vehicle control method, and vehicle control program Download PDF

Info

Publication number
JP2019073279A
JP2019073279A JP2018207884A JP2018207884A JP2019073279A JP 2019073279 A JP2019073279 A JP 2019073279A JP 2018207884 A JP2018207884 A JP 2018207884A JP 2018207884 A JP2018207884 A JP 2018207884A JP 2019073279 A JP2019073279 A JP 2019073279A
Authority
JP
Japan
Prior art keywords
vehicle
person
information
unit
boarding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018207884A
Other languages
Japanese (ja)
Other versions
JP6627128B2 (en
Inventor
直登志 藤本
Naotoshi Fujimoto
直登志 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018207884A priority Critical patent/JP6627128B2/en
Publication of JP2019073279A publication Critical patent/JP2019073279A/en
Priority to JP2019184769A priority patent/JP6916852B2/en
Application granted granted Critical
Publication of JP6627128B2 publication Critical patent/JP6627128B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a vehicle control system, a vehicle control method, and a vehicle control program capable of easily realizing sharing of a vehicle.SOLUTION: A vehicle control system comprises: an output unit 30 for outputting information to an outside of a vehicle; an in-vehicle situation acquisition unit 150 for acquiring a situation inside the vehicle; a control unit 160 that causes the output unit 30 to output, on the basis of in-vehicle information acquired by the in-vehicle situation acquiring unit 150, whether or not a user can board the vehicle; a recognition unit 121 for recognizing a person who is around the vehicle; and a determination unit 170 that determines whether the person recognized by the recognition unit is ineligible for boarding the vehicle.SELECTED DRAWING: Figure 1

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。   The present invention relates to a vehicle control system, a vehicle control method, and a vehicle control program.

近年、1台の車両を複数人で共同利用するカーシェアリングに関する技術についての研究が進められている。これに関連して、車両を共同利用したい利用者がカーシェアリング会社に会員登録を行い、車両の利用時に、カーシェアリング会社が発行するIDやパスワード等からなる認証用情報を用いて、車両を一時的に専有利用できる技術が開示されている(例えば、特許文献1参照)。   In recent years, research has been conducted on a technology related to car sharing in which a single vehicle is shared by a plurality of people. In connection with this, a user who wants to share a vehicle shares with a car sharing company, and at the time of using the vehicle, the vehicle is temporarily stored using authentication information including an ID and a password issued by the car sharing company. A technology that can be used exclusively is disclosed (see, for example, Patent Document 1).

国際公開第2015/166811号International Publication No. 2015 / 166,811

しかしながら、従来技術の手法では、各会員が1台の車両を個別に利用するため、相乗り車両としての利用は困難であった。また、相乗り希望者は、走行中の車両のうち、どの車両が相乗りできるのかを容易に把握することができない場合があった。   However, in the method according to the prior art, since each member individually uses one vehicle, it has been difficult to use it as a car. In addition, there is a case where the sharer can not easily grasp which of the running vehicles can share.

本発明は、このような事情を考慮してなされたものであり、車両の相乗りを容易に実現することができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。   The present invention has been made in consideration of such circumstances, and it is an object of the present invention to provide a vehicle control system, a vehicle control method, and a vehicle control program, which can easily realize joining of vehicles. Do.

請求項1に記載の発明は、車外に向けて情報を出力する出力部と、車内の状況を取得する車内状況取得部と、前記車内状況取得部により取得された車内情報に基づき、車両に乗り込み可能か否かを、前記出力部に出力させる制御部と、前記車両の周辺にいる人物を認識する認識部と、前記認識部により認識された人物が乗車に不適格か否かを判定する判定部と、を備える車両制御システムである。   The invention according to claim 1 gets on the vehicle based on the in-vehicle information acquired by the in-vehicle condition acquisition unit for acquiring the in-vehicle condition, and an output unit for outputting information to the outside of the vehicle. It is judged whether it is judged whether the person recognized by the control part which makes the above-mentioned output part output the recognition part which recognizes the person who is around the vehicle, and the person recognized by the recognition part is ineligible. And a vehicle control system.

請求項2に記載の発明は、請求項1に記載の車両制御システムであって、前記判定部は、前記認識部により認識された人物が乗車希望者であるか否かを判定し、前記乗車希望者に対して、乗車に不適格か否かを判定するものである。   The invention according to claim 2 is the vehicle control system according to claim 1, wherein the determination unit determines whether or not the person recognized by the recognition unit is a ride applicant, It is determined whether the applicant is ineligible for getting on or off.

請求項3に記載の発明は、請求項1または2に記載の車両制御システムであって、前記車両の周辺を撮像する撮像部を更に備え、前記判定部は、前記撮像部により撮像された画像を解析し、解析結果として得られる前記画像に含まれる人物の動作に基づいて、前記人物が乗車に不適格か否かを判定するものである。   The invention according to claim 3 is the vehicle control system according to claim 1 or 2, further comprising an imaging unit for imaging the periphery of the vehicle, and the determination unit is an image captured by the imaging unit. Are analyzed, and it is determined whether the person is ineligible for boarding based on the movement of the person included in the image obtained as an analysis result.

請求項4に記載の発明は、請求項1から3のうち、いずれか1項に記載の車両制御システムであって、前記人物が吐き出す息を検出する車両センサを更に備え、前記判定部は、前記車両センサにより検出された息から得られる情報に基づいて、前記人物が乗車に不適格か否かを判定するものである。   The invention according to claim 4 is the vehicle control system according to any one of claims 1 to 3, further comprising a vehicle sensor for detecting a breath exhaled by the person, wherein the determination unit is Based on the information obtained from the breath detected by the vehicle sensor, it is determined whether the person is ineligible for boarding.

請求項5に記載の発明は、請求項1から4のうち、いずれか1項に記載の車両制御システムであって、前記判定部は、前記車両の乗員により予め設定された人物情報に基づいて、前記人物が乗車に不適格か否かを判定するものである。   The invention according to claim 5 is the vehicle control system according to any one of claims 1 to 4, wherein the determination unit is based on personal information preset by an occupant of the vehicle. And determining whether the person is ineligible for boarding.

請求項6に記載の発明は、請求項5に記載の車両制御システムであって、前記判定部は、前記車両への乗車時に乗員により設定された相乗りしたくない人物情報を取得し、取得した人物情報に基づいて、前記人物が乗車に不適格か否かを判定するものである。   The invention according to a sixth aspect is the vehicle control system according to the fifth aspect, wherein the determination unit acquires and acquires person information which is set by an occupant when the user gets into the vehicle and who does not want to ride together. Based on the person information, it is determined whether the person is ineligible for boarding.

請求項7に記載の発明は、請求項1から6のうち、いずれか1項に記載の車両制御システムであって、前記車両の乗員に対して情報を出力するインターフェース制御部を備え、前記インターフェース制御部は、前記判定部により、前記認識部により認識された人物が乗車希望者であると判定された場合に、前記乗員に前記乗車希望者を相乗りさせても良いか否かを問い合わせる出力を行い、前記判定部は、前記出力に対する前記乗員の入力結果に基づいて、前記人物が乗車に不適格か否かを判定するものである。   The invention according to claim 7 is the vehicle control system according to any one of claims 1 to 6, comprising an interface control unit for outputting information to a passenger of the vehicle, the interface The control unit is configured to, when the determination unit determines that the person recognized by the recognition unit is a passenger, the output for inquiring whether or not the passenger is allowed to ride the passenger. The determination unit is configured to determine whether the person is ineligible for boarding based on the input result of the occupant for the output.

請求項8に記載の発明は、請求項7に記載の車両制御システムであって、前記乗員の識別情報に、前記乗員により相乗りしたくないと判定された人物の情報を対応付けて登録するサーバを備え、前記判定部は、前記乗員の乗車時に前記サーバより前記相乗りしたくないと判定された人物の情報を取得するものである。   The invention according to claim 8 is the vehicle control system according to claim 7, wherein the identification information of the occupant is registered in association with information of a person who is determined not to want to ride jointly by the occupant. The determination unit is configured to obtain, from the server, information of a person who is determined not to want to join the vehicle when the occupant gets on the vehicle.

請求項9に記載の発明は、請求項1から8のうち、いずれか1項に記載の車両制御システムであって、前記車両は、前記判定部により前記人物が乗車に不適格と判定された場合に、前記人物の乗車を拒否する制御を行うものである。   The invention according to claim 9 is the vehicle control system according to any one of claims 1 to 8, wherein in the vehicle, the determination unit determines that the person is ineligible for boarding. In this case, control is performed to deny the person's entry.

請求項10に記載の発明は、車載コンピュータが、車内の状況を取得し、取得された車内情報に基づき、車両に乗り込み可能か否かを、出力部により車外に向けて出力し、車両の周辺にいる人物を認識し、認識された前記人物が乗車に不適格か否かを判定する車両制御方法である。   According to the invention as set forth in claim 10, the on-vehicle computer acquires the situation inside the vehicle, and based on the acquired in-vehicle information, outputs whether or not it is possible to get into the vehicle by the output unit toward the outside of the vehicle A vehicle control method for recognizing a person who is on the vehicle and determining whether the recognized person is ineligible for getting on or off.

請求項11に記載の発明は、車載コンピュータに、車内の状況を取得させ、取得された車内情報に基づき、車両に乗り込み可能か否かを、出力部により車外に向けて出力させ、車両の周辺にいる人物を認識させ、認識された前記人物が乗車に不適格か否かを判定させる車両制御プログラムである。   The invention according to claim 11 causes the on-vehicle computer to acquire the situation inside the vehicle, and based on the acquired in-vehicle information, causes the output unit to output to the outside of the vehicle whether or not it is possible to get into the vehicle. The vehicle control program causes a person in the vehicle to be recognized and determines whether the recognized person is ineligible for boarding.

請求項1〜11に記載の発明によれば、車両制御システムは、車両の相乗りを容易に実現することができる。   According to the first to eleventh aspects of the present invention, the vehicle control system can easily realize the sharing of the vehicle.

更に、請求項4〜9に記載の発明によれば、車両制御システムは、不適格者が車両に乗車することを抑制することができる。   Furthermore, according to the invention of claims 4 to 9, the vehicle control system can suppress the ineligible person from getting on the vehicle.

第1実施形態の車両システム1の構成図である。It is a block diagram of vehicle system 1 of a 1st embodiment. 自車位置認識部122により走行車線L1に対する車両Mの相対位置および姿勢が認識される様子を示す図である。It is a figure which shows a mode that the relative position and attitude | position of the vehicle M with respect to the travel lane L1 are recognized by the own vehicle position recognition part 122. FIG. 推奨車線に基づいて目標軌道が生成される様子を示す図である。It is a figure which shows a mode that a target track | orbit is produced | generated based on a recommendation lane. 車内状況取得部150による処理を説明するための図である。It is a figure for demonstrating the process by the in-vehicle condition acquisition part 150. FIG. 車外に向けて出力されるコンテンツの一例を示す図である。It is a figure which shows an example of the content output toward the vehicle exterior. 画像300Fおよび300Lで示された文字列の移動の一例を示す図である。It is a figure which shows an example of a movement of the character string shown by the image 300F and 300L. 乗車希望者判定部170による乗車希望者の判定内容を説明するための図である。It is a figure for demonstrating the determination content of the boarding applicant by boarding candidate determination part 170. FIG. 乗車時に表示される問い合わせ画面の一例を示す図である。It is a figure which shows an example of the inquiry screen displayed at the time of boarding. 人物情報の判定時に表示される問い合わせ画面の一例を示す図である。It is a figure which shows an example of the inquiry screen displayed at the time of determination of person information. 車外に向けて出力される停車予定位置に関する情報の一例を示す図である。It is a figure which shows an example of the information regarding the stop plan position output toward a vehicle exterior. 追従走行時における車外への情報出力の一例を示す図である。It is a figure which shows an example of the information output to the vehicle exterior at the time of a follow-up run. 第1実施形態の車両制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the vehicle control processing of 1st Embodiment. 第2実施形態の車両システム2の構成図である。It is a block diagram of the vehicle system 2 of 2nd Embodiment. 第2実施形態の車両制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the vehicle control processing of 2nd Embodiment.

[第1実施形態]
以下、図面を参照し、第1実施形態の車両制御システム、車両制御方法、および車両制御プログラムについて説明する。第1実施形態では、車両制御システムが自動運転車両に適用されたものとする。自動運転とは、例えば、車両の加減速または操舵の少なくとも一方を自動的に制御して車両を走行させることをいう。
First Embodiment
Hereinafter, a vehicle control system, a vehicle control method, and a vehicle control program according to a first embodiment will be described with reference to the drawings. In the first embodiment, the vehicle control system is applied to an autonomous driving vehicle. The automatic driving refers to, for example, automatically driving at least one of acceleration / deceleration or steering of the vehicle to drive the vehicle.

[全体構成]
図1は、第1実施形態の車両システム1の構成図である。車両システム1が搭載される車両(以下、車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
[overall structure]
FIG. 1 is a block diagram of a vehicle system 1 of the first embodiment. The vehicle on which the vehicle system 1 is mounted (hereinafter referred to as a vehicle M) is, for example, a vehicle such as a two-wheeled vehicle, a three-wheeled vehicle, or a four-wheeled vehicle. The drive source is an internal combustion engine such as a diesel engine or gasoline engine, an electric motor, or It is a combination of these. The electric motor operates using the power generated by a generator connected to the internal combustion engine or the discharge power of a secondary battery or a fuel cell.

車両システム1は、例えば、カメラ(撮像部)10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、ナビゲーション装置50と、MPU(Micro-Processing Unit)60と、車両センサ70と、運転操作子80と、車室内カメラ90と、自動運転制御ユニット100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。   The vehicle system 1 includes, for example, a camera (imaging unit) 10, a radar device 12, a finder 14, an object recognition device 16, a communication device 20, an HMI (Human Machine Interface) 30, a navigation device 50, and an MPU. (Micro-Processing Unit) 60, a vehicle sensor 70, a drive operator 80, an in-room camera 90, an automatic driving control unit 100, a traveling driving force output device 200, a brake device 210, a steering device 220, Equipped with These devices and devices are mutually connected by a multiplex communication line such as a CAN (Controller Area Network) communication line, a serial communication line, a wireless communication network or the like. The configuration shown in FIG. 1 is merely an example, and a part of the configuration may be omitted, or another configuration may be added.

第1実施形態において「車両制御システム」は、例えば、HMI30と、自動運転制御ユニット100とを含む。また、HMI30は、「出力部」の一例である。また、インターフェース制御部160は、「制御部」の一例である。また、外界認識部121は、「認識部」の一例である。乗車希望者判定部170は、「判定部」の一例である。また、第1制御部120と第2制御部140とを合わせたものは、「自動運転制御部」の一例である。   In the first embodiment, the “vehicle control system” includes, for example, an HMI 30 and an automatic driving control unit 100. Moreover, HMI30 is an example of an "output part." Further, the interface control unit 160 is an example of a “control unit”. In addition, the external world recognition unit 121 is an example of a “recognition unit”. The boarding candidate determination unit 170 is an example of the “determination unit”. Further, the combination of the first control unit 120 and the second control unit 140 is an example of the “automatic operation control unit”.

カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両Mの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ10は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ10は、ドアミラー等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。   The camera 10 is, for example, a digital camera using a solid-state imaging device such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). One or more cameras 10 are attached to any part of the vehicle M on which the vehicle system 1 is mounted. When imaging the front, the camera 10 is attached to the top of the front windshield, the rear surface of the rearview mirror, or the like. When imaging the back, the camera 10 is attached to a rear windshield upper part, a back door, or the like. When imaging the side, the camera 10 is attached to a door mirror or the like. For example, the camera 10 periodically and repeatedly captures the periphery of the vehicle M. The camera 10 may be a stereo camera.

レーダ装置12は、車両Mの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ装置12は、FMCW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。   The radar device 12 emits radio waves such as millimeter waves around the vehicle M, and detects radio waves (reflected waves) reflected by the object to detect at least the position (distance and direction) of the object. One or more of the radar devices 12 are attached to any part of the vehicle M. The radar device 12 may detect the position and velocity of an object by a frequency modulated continuous wave (FMCW) method.

ファインダ14は、照射光に対する散乱光を測定し、対象までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、車両Mの任意の箇所に一つまたは複数が取り付けられる。   The finder 14 is LIDAR (Light Detection and Ranging, or Laser Imaging Detection and Ranging) which measures scattered light with respect to the irradiation light and detects the distance to the object. One or more finders 14 are attached to any part of the vehicle M.

物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を自動運転制御ユニット100に出力する。   The object recognition device 16 performs sensor fusion processing on the detection result of a part or all of the camera 10, the radar device 12, and the finder 14 to recognize the position, the type, the speed, and the like of the object. The object recognition device 16 outputs the recognition result to the automatic driving control unit 100.

通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置20は、車外の人物が所持する端末装置と通信する。   The communication device 20 communicates with other vehicles existing around the vehicle M using, for example, a cellular network, Wi-Fi network, Bluetooth (registered trademark), DSRC (Dedicated Short Range Communication), or a wireless base Communicate with various server devices through stations. The communication device 20 also communicates with a terminal device owned by a person outside the vehicle.

HMI30は、車内の乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。HMI30は、例えば、車内用機器31を含む。車内用機器31は、例えば各種表示装置、タッチパネル、スピーカ、マイク、ブザー、スイッチ、キー等である。   The HMI 30 presents various information to the occupants in the vehicle, and accepts input operations by the occupants. The HMI 30 includes, for example, an in-vehicle device 31. The in-vehicle apparatus 31 is, for example, various display devices, a touch panel, a speaker, a microphone, a buzzer, a switch, a key, and the like.

また、HMI30は、車外に対して情報を提示する。この場合、HMI30は、例えば、車外用ディスプレイ32および車外用スピーカ33等を含む。   The HMI 30 also presents information to the outside of the vehicle. In this case, the HMI 30 includes, for example, an external display 32 and an external speaker 33.

車外用スピーカ33は、車外の所定範囲に音声を出力する。車外用スピーカ33は、所定方向に指向性を有する音声を出力してもよい。   The external speaker 33 outputs sound to a predetermined range outside the vehicle. The vehicle exterior speaker 33 may output sound having directivity in a predetermined direction.

ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。車両Mの位置は、車両センサ70の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(例えば、目的地まで走行するときの経由地に関する情報を含む)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。経路決定部53により決定された経路は、MPU60に出力される。また、ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。なお、ナビゲーション装置50は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。   The navigation device 50 includes, for example, a GNSS (Global Navigation Satellite System) receiver 51, a navigation HMI 52, and a path determination unit 53, and stores the first map information 54 in a storage device such as an HDD (Hard Disk Drive) or a flash memory. Hold The GNSS receiver locates the vehicle M based on the signals received from GNSS satellites. The position of the vehicle M may be identified or supplemented by an INS (Inertial Navigation System) using the output of the vehicle sensor 70. The navigation HMI 52 includes a display device, a speaker, a touch panel, keys and the like. The navigation HMI 52 may be partially or entirely shared with the above-described HMI 30. The route determination unit 53 is, for example, a route (for example, a destination) from the position of the vehicle M specified by the GNSS receiver 51 (or any position input) to the destination input by the occupant using the navigation HMI 52 It determines with reference to the 1st map information 54, including the information regarding the way point when driving to the ground. The first map information 54 is, for example, information in which a road shape is represented by a link indicating a road and a node connected by the link. The first map information 54 may include road curvature, POI (Point Of Interest) information, and the like. The path determined by the path determination unit 53 is output to the MPU 60. In addition, the navigation device 50 may perform route guidance using the navigation HMI 52 based on the route determined by the route determination unit 53. The navigation device 50 may be realized, for example, by the function of a terminal device such as a smartphone or a tablet terminal owned by the user. In addition, the navigation device 50 may transmit the current position and the destination to the navigation server via the communication device 20, and acquire the route returned from the navigation server.

MPU60は、例えば、推奨車線決定部61として機能し、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、経路において分岐箇所や合流箇所等が存在する場合、車両Mが、分岐先に進行するための合理的な走行経路を走行できるように、推奨車線を決定する。   The MPU 60 functions as, for example, the recommended lane determination unit 61, and holds the second map information 62 in a storage device such as an HDD or a flash memory. The recommended lane determination unit 61 divides the route provided from the navigation device 50 into a plurality of blocks (for example, in units of 100 [m] in the traveling direction of the vehicle), and refers to the second map information 62 for each block. Determine the recommended lanes. The recommended lane determination unit 61 determines which lane to travel from the left. The recommended lane determination unit 61 determines the recommended lane so that the vehicle M can travel on a rational travel route for advancing to a branch destination when a branch point, a junction point, or the like exists in the route.

第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、非常駐車帯の領域、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第2地図情報62は、通信装置20を用いて他装置にアクセスすることにより、随時、アップデートされてよい。   The second map information 62 is map information that is more accurate than the first map information 54. The second map information 62 includes, for example, information on the center of the lane or information on the boundary of the lane. In addition, the second map information 62 may include road information, traffic regulation information, address information (address / zip code), facility information, telephone number information, and the like. The road information includes information indicating the type of road such as expressway, toll road, national road, prefecture road, the number of lanes of road, the area of emergency parking zone, the width of each lane, the slope of road, the position of road (longitude Information such as latitude, three-dimensional coordinates including height), curvature of curve of lane, positions of merging and branching points of lanes, signs provided on roads, and the like. The second map information 62 may be updated as needed by accessing another device using the communication device 20.

車両センサ70は、車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等を含む。   Vehicle sensor 70 includes a vehicle speed sensor that detects the speed of vehicle M, an acceleration sensor that detects acceleration, a yaw rate sensor that detects an angular velocity around the vertical axis, an orientation sensor that detects the direction of vehicle M, and the like.

運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一方または双方に出力される。   The operating element 80 includes, for example, an accelerator pedal, a brake pedal, a shift lever, a steering wheel, and other operating elements. A sensor for detecting the amount of operation or the presence or absence of an operation is attached to the driving operation element 80, and the detection result is the automatic driving control unit 100 or the traveling driving force output device 200, the brake device 210, and the steering device. It is output to one or both of 220.

車室内カメラ90は、運転席に着座した乗員の顔を中心として上半身を撮像する。車室内カメラ90の撮像画像は、自動運転制御ユニット100に出力される。   The in-vehicle camera 90 captures an image of the upper body centering on the face of the occupant seated in the driver's seat. The captured image of the in-vehicle camera 90 is output to the automatic driving control unit 100.

[自動運転制御ユニット]
自動運転制御ユニット100は、例えば、第1制御部120と、第2制御部140と、車内状況取得部150と、インターフェース制御部160と、乗車希望者判定部170と、相乗り精算部180とを備える。第1制御部120と、第2制御部140と、車内状況取得部150と、インターフェース制御部160と、乗車希望者判定部170と、相乗り精算部180とは、それぞれ、CPU(Central Processing Unit)等のプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、以下に説明する第1制御部120、第2制御部140、車内状況取得部150、インターフェース制御部160、乗車希望者判定部170、および相乗り精算部180の各機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
[Automatic operation control unit]
For example, the autonomous driving control unit 100 includes a first control unit 120, a second control unit 140, an in-vehicle condition acquisition unit 150, an interface control unit 160, a boarding person determination unit 170, and a sharing settlement unit 180. Prepare. The first control unit 120, the second control unit 140, the in-vehicle condition acquisition unit 150, the interface control unit 160, the boarding person determination unit 170, and the sharing settlement unit 180 are each a CPU (Central Processing Unit) Etc. are realized by executing a program (software). In addition, some or all of the functional units of first control unit 120, second control unit 140, in-vehicle status acquisition unit 150, interface control unit 160, boarding person determination unit 170, and sharing settlement unit 180 described below will be described. The whole may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array) or may be realized by collaboration of software and hardware. Good.

第1制御部120は、例えば、外界認識部121と、自車位置認識部122と、行動計画生成部123とを備える。   The first control unit 120 includes, for example, an external world recognition unit 121, a host vehicle position recognition unit 122, and an action plan generation unit 123.

外界認識部121は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。   The external world recognition unit 121 recognizes the position, speed, acceleration, and other conditions of surrounding vehicles based on information input from the camera 10, the radar device 12, and the finder 14 via the object recognition device 16. The position of the nearby vehicle may be represented by a representative point such as the center of gravity or a corner of the nearby vehicle, or may be represented by an area represented by the contour of the nearby vehicle. The "state" of the surrounding vehicle may include the acceleration or jerk of the surrounding vehicle, or the "action state" (e.g., whether or not a lane change is being made or is going to be made).

また、外界認識部121は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者等の人物、その他の物体の位置を認識してもよい。   Further, the external world recognition unit 121 may recognize positions of guardrails, utility poles, parked vehicles, persons such as pedestrians, and other objects in addition to surrounding vehicles.

自車位置認識部122は、例えば、車両Mが走行している車線(走行車線)、並びに走行車線に対する車両Mの相対位置および姿勢を認識する。自車位置認識部122は、例えば、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置50から取得される車両Mの位置やINSによる処理結果が加味されてもよい。   The host vehicle position recognition unit 122 recognizes, for example, the lane in which the vehicle M is traveling (traveling lane) and the relative position and posture of the vehicle M with respect to the traveling lane. The vehicle position recognition unit 122 may, for example, use a pattern of road divisions obtained from the second map information 62 (for example, an array of solid and broken lines) and a road around the vehicle M recognized from the image captured by the camera 10 The traveling lane is recognized by comparing with the pattern of the dividing lines. In this recognition, the position of the vehicle M acquired from the navigation device 50 or the processing result by the INS may be added.

そして、自車位置認識部122は、例えば、走行車線に対する車両Mの位置や姿勢を認識する。図2は、自車位置認識部122により走行車線L1に対する車両Mの相対位置および姿勢が認識される様子を示す図である。自車位置認識部122は、例えば、車両Mの基準点(例えば重心)の走行車線中央CLからの乖離OS、および車両Mの進行方向の走行車線中央CLを連ねた線に対してなす角度θを、走行車線L1に対する車両Mの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部122は、走行車線L1のいずれかの側端部に対する車両Mの基準点の位置等を、走行車線に対する車両Mの相対位置として認識してもよい。自車位置認識部122により認識される車両Mの相対位置は、推奨車線決定部61および行動計画生成部123に提供される。   Then, the vehicle position recognition unit 122 recognizes, for example, the position and orientation of the vehicle M with respect to the traveling lane. FIG. 2 is a diagram showing how the own vehicle position recognition unit 122 recognizes the relative position and posture of the vehicle M with respect to the traveling lane L1. For example, the host vehicle position recognition unit 122 makes an angle θ with respect to a line connecting the deviation OS of the reference point (for example, the center of gravity) of the vehicle M from the traveling lane center CL and the traveling lane center CL in the traveling direction of the vehicle M. Is recognized as the relative position and attitude of the vehicle M with respect to the traffic lane L1. Instead of this, the vehicle position recognition unit 122 may recognize the position of the reference point of the vehicle M with respect to any one side end of the traveling lane L1 as the relative position of the vehicle M with respect to the traveling lane . The relative position of the vehicle M recognized by the vehicle position recognition unit 122 is provided to the recommended lane determination unit 61 and the action plan generation unit 123.

行動計画生成部123は、車両Mが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部123は、推奨車線決定部61により決定された推奨車線を走行するように、且つ、車両Mの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。第1実施形態の自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、車両Mの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、前走車両に追従して走行する追従走行イベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で車両Mを目的の方向に走行させる分岐イベント、車両Mを緊急停車させる緊急停車イベント、自動運転を終了して手動運転に切り替えるためのハンドオーバイベント等がある。また、これらのイベントの実行中に、車両Mの周辺状況(周辺車両や歩行者の存在、道路工事による車線狭窄等)に基づいて、回避のための行動が計画される場合もある。   The action plan generation unit 123 generates an action plan for the vehicle M to automatically drive the destination or the like. For example, the action plan generation unit 123 determines events to be sequentially executed in the automatic driving control so as to travel the recommended lane determined by the recommended lane determination unit 61 and to correspond to the peripheral situation of the vehicle M. Do. The events in the automatic driving according to the first embodiment include, for example, a constant speed traveling event which travels the same traveling lane at a constant speed, a lane change event which changes the traveling lane of the vehicle M, an overtaking event which overtakes the front traveling vehicle, Follow-up travel event to follow the vehicle, junction event to merge the vehicle at junction, branch event to drive the vehicle M in the target direction at junction of the road, emergency stop event to emergency stop the vehicle M, automatic driving And a handover event for switching to the manual operation. In addition, during the execution of these events, an action for avoidance may be planned based on the surrounding conditions of the vehicle M (presence of surrounding vehicles and pedestrians, lane constriction due to road construction, etc.).

行動計画生成部123は、車両Mが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとに将来の基準時刻を複数設定し、それらの基準時刻に到達すべき目標地点(軌道点)の集合として生成される。このため、軌道点の間隔が広い場合、その軌道点の間の区間を高速に走行することを示している。   The action plan generation unit 123 generates a target track on which the vehicle M travels in the future. The target trajectory includes, for example, a velocity component. For example, a target trajectory sets a plurality of future reference times for each predetermined sampling time (for example, about 0 comma [sec]), and is generated as a set of target points (orbit points) to reach those reference times. Ru. For this reason, when the distance between the track points is wide, it indicates that the section between the track points travels at high speed.

図3は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部123は、推奨車線の切り替わり地点の所定距離手前(イベントの種類に応じて決定されてよい)に差し掛かると、車線変更イベント、分岐イベント、合流イベント等を起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。   FIG. 3 is a diagram showing how a target track is generated based on a recommended lane. As shown, the recommended lanes are set to be convenient to travel along the route to the destination. When the action plan generation unit 123 approaches a predetermined distance before the switching point of the recommended lane (may be determined according to the type of event), it activates a lane change event, a branch event, a merging event, and the like. When it is necessary to avoid an obstacle during the execution of each event, an avoidance trajectory is generated as illustrated.

行動計画生成部123は、例えば、複数の目標軌道の候補を生成し、安全性と効率性の観点に基づいて、その時点で目的地までの経路に適合する最適な目標軌道を選択する。また、行動計画生成部123は、例えば、車内状況取得部150、インターフェース制御部160、および乗車希望者判定部170等の処理結果を考慮して、目標軌道を生成する。これについては、後述する。   The action plan generation unit 123 generates, for example, a plurality of candidate target trajectory candidates, and selects an optimal target trajectory that conforms to the route to the destination at that time based on the viewpoint of safety and efficiency. Further, the action plan generation unit 123 generates a target trajectory in consideration of, for example, processing results of the in-vehicle condition acquisition unit 150, the interface control unit 160, and the boarding person determination unit 170 and the like. This will be described later.

第2制御部140は、例えば走行制御部141を備える。走行制御部141は、行動計画生成部123によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。   The second control unit 140 includes, for example, a traveling control unit 141. The traveling control unit 141 controls the traveling driving force output device 200, the brake device 210, and the steering device 220 so that the vehicle M passes the target track generated by the action plan generating unit 123 at a scheduled time. .

走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。   The traveling driving force output device 200 outputs traveling driving force (torque) for the vehicle to travel to the driving wheels. The traveling driving force output device 200 includes, for example, a combination of an internal combustion engine, an electric motor, a transmission, and the like, and an ECU (Electronic Control Unit) that controls these. The ECU controls the above configuration in accordance with the information input from the traveling control unit 141 or the information input from the drive operator 80.

ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。また、ブレーキ装置210は、安全面を考慮して複数系統のブレーキ装置を備えていてもよい。   The brake device 210 includes, for example, a brake caliper, a cylinder that transmits hydraulic pressure to the brake caliper, an electric motor that generates hydraulic pressure in the cylinder, and a brake ECU. The brake ECU controls the electric motor in accordance with the information input from the travel control unit 141 or the information input from the drive operator 80 so that the brake torque corresponding to the braking operation is output to each wheel. The brake device 210 may include, as a backup, a mechanism for transmitting the hydraulic pressure generated by the operation of the brake pedal included in the drive operator 80 to the cylinder via the master cylinder. The brake device 210 transmits the hydraulic pressure of the master cylinder to the cylinder by controlling the actuator according to the information input from the traveling control unit 141 or the information input from the drive operator 80, not limited to the configuration described above. It may be an electronically controlled hydraulic brake device. Further, the brake device 210 may be provided with a plurality of brake devices in consideration of safety.

ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。   The steering device 220 includes, for example, a steering ECU and an electric motor. The electric motor, for example, applies a force to the rack and pinion mechanism to change the direction of the steered wheels. The steering ECU drives the electric motor to change the direction of the steered wheels in accordance with the information input from the traveling control unit 141 or the information input from the drive operator 80.

[乗車希望者を乗車させるための車両制御]
以下、第1実施形態における乗車希望者を乗車させるための車両制御について説明する。第1実施形態の車両Mは、例えば、車内状況および所定条件に基づいて、後述するインターフェース制御によって車外に情報を出力する。また、第1実施形態の車両Mは、車外の人物が乗車希望者であると判定された場合に、乗車希望者が乗車に不適格な人物か否かの判定を行い、乗車に不適格でない場合に、乗車希望者を乗車させるための停止制御を行う。また、第1実施形態の車両Mは、相乗り乗車させた乗員が降車する場合に、相乗り精算を行う。
[Vehicle control to get on the boarding candidate]
Hereinafter, vehicle control for allowing the passenger to board the vehicle according to the first embodiment will be described. The vehicle M according to the first embodiment outputs information to the outside of the vehicle by interface control described later, based on, for example, an in-vehicle condition and a predetermined condition. Further, when it is determined that the person outside the vehicle is the person who wants to get in, the vehicle M according to the first embodiment determines whether the person who is desired to get in is the person who is ineligible to get in and is not disqualified for getting on. In this case, stop control is performed to allow the passenger to get on the vehicle. In addition, the vehicle M according to the first embodiment performs ride sharing when the passenger who rides on the ride gets off.

[車内状況]
車内状況取得部150は、車両M内の状況または車内情報を取得する。図4は、車内状況取得部150による処理を説明するための図である。図4の例において、車両Mは、車外用ディスプレイ32と、車室内カメラ90と、座席Sとを備える。車外用ディスプレイ32は、例えば、車両Mの前方ディスプレイ32Fと、右側方ディスプレイ32Rと、左側方ディスプレイ32Lと、後方ディスプレイ32Bとを備える。
[In-vehicle situation]
In-vehicle condition acquisition unit 150 acquires the condition in vehicle M or in-vehicle information. FIG. 4 is a diagram for explaining the process performed by the in-vehicle condition acquisition unit 150. In the example of FIG. 4, the vehicle M includes the display for outside the vehicle 32, a camera 90 inside the vehicle, and a seat S. The display for outside of the vehicle 32 includes, for example, a front display 32F of the vehicle M, a right side display 32R, a left side display 32L, and a rear display 32B.

前方ディスプレイ32Fは、例えば、フロントガラスの少なくとも一部に形成された光透過型の液晶パネルである。前方ディスプレイ32Fは、運転者からの前方視認を確保するとともに、車外の前方に存在する人物から視認可能な画像を表示する。また、右側方ディスプレイ32R、左側方ディスプレイ32L、および後方ディスプレイ32Bのそれぞれは、前方ディスプレイ32Fと同様に、各方向に設けられたガラスの少なくとも一部に形成された光透過型の液晶パネルである。右側方ディスプレイ32Rおよび左側方ディスプレイ32Lは、車両Mにおける後方座席のサイドウィンドウに形成されているものとするが、これに限らず、前方座席のサイドウィンドウに形成されていてもよく、前方座席および後方座席の両方に形成されていてもよい。   The front display 32F is, for example, a light transmissive liquid crystal panel formed on at least a part of a windshield. The front display 32F secures the driver's front view and displays an image that can be seen by a person in front of the vehicle. Further, each of the right side display 32R, the left side display 32L, and the rear display 32B is a light transmission type liquid crystal panel formed on at least a part of the glass provided in each direction, like the front display 32F. . The right side display 32R and the left side display 32L are formed in the side window of the rear seat in the vehicle M, but the invention is not limited thereto, and may be formed in the side window of the front seat. It may be formed on both of the rear seats.

なお、車外用ディスプレイ32は、上述したように車両Mのガラスの少なくとも一部に設けられているものとしたが、これに代えて(または、加えて)、車両Mの外側のボディ部に設けられてもよい。   Although the display 32 outside the vehicle is provided on at least a part of the glass of the vehicle M as described above, it is provided instead of (or in addition to) the body portion outside the vehicle M. It may be done.

また、図4の例では、車両Mに設けられた乗員が着座する座席S1〜S4の一部または全部が撮像できる位置に、車室内カメラ90が設けられている。以下の説明では、便宜上、車室内カメラ90の位置や画角等は固定されているものとする。したがって、車内状況取得部150は、車室内カメラ90の撮像画像上の位置(座標)に、車両Mのどの座席が映っているかを予め把握している。   Further, in the example of FIG. 4, the in-vehicle camera 90 is provided at a position where it is possible to image a part or all of the seats S1 to S4 on which the occupant provided on the vehicle M is seated. In the following description, for convenience, the position, the angle of view, and the like of the in-vehicle camera 90 are assumed to be fixed. Therefore, the in-vehicle condition acquisition unit 150 grasps in advance which seat of the vehicle M is shown at the position (coordinates) on the captured image of the in-vehicle camera 90.

車内状況取得部150は、車室内カメラ90が撮像した撮像画像を取得し、取得した撮像画像を解析し、車両M内の各座席S1〜S4の位置のうち、どの座席に乗員が着座しているかを判断する。例えば、車内状況取得部150は、撮像画像中に顔の特徴情報(例えば目、鼻、口、顔の輪郭)を含む顔領域が存在するか否かを判定する。また、車内状況取得部150は、顔領域が存在すると判定された場合に、撮像画像に存在する顔領域の位置(中心位置)に基づいて、座席S1〜S4のうち、どの座席に乗員が着座しているかを判断する。   The in-vehicle condition acquisition unit 150 acquires a captured image captured by the in-vehicle camera 90, analyzes the captured image, and a passenger is seated in any seat among the positions of the seats S1 to S4 in the vehicle M Determine if it is. For example, the in-vehicle situation acquisition unit 150 determines whether or not there is a face area including feature information of a face (for example, an eye, a nose, a mouth, a face outline) in the captured image. Further, when it is determined that the face area is present, the in-vehicle condition acquisition unit 150 seats the passenger on any one of the seats S1 to S4 based on the position (center position) of the face area present in the captured image Determine what you are doing.

また、各座席S1〜S4のそれぞれに荷重センサが設けられている場合、車内状況取得部150は、それぞれの荷重センサからの荷重値が閾値以上である場合に、その座席に乗員が着座していると判定してもよい。   When a load sensor is provided for each of the seats S1 to S4, the in-vehicle condition acquisition unit 150 seats an occupant on the seat when the load value from each load sensor is equal to or greater than the threshold value. It may be determined that there is.

更に、車内状況取得部150は、車室内カメラ90の撮像画像から、座席に着座している乗員の髪型や、服装、顔の形状や色等を解析し、解析した結果に基づいて、乗員の性別を推定してもよい。例えば、乗員の髪が長く、唇の色が赤である場合に、車内状況取得部150は、その乗員が女性であると判定する。また、車内状況取得部150は、乗員の乗車時に、車内用機器31を用いて乗員の性別に関する情報の入力を受け付けてもよい。車内状況取得部150は、例えば、取得した各乗員の性別に関する情報に基づいて、乗員の男女比を取得してもよい。図4の例において、乗員P1が男性、乗員P2が女性である場合、男女比は、1:1となる。   Furthermore, the in-vehicle condition acquisition unit 150 analyzes the hair style, clothes, shape and color of the face, etc. of the occupant sitting on the seat from the captured image of the in-vehicle camera 90, and based on the analysis result, Sex may be estimated. For example, when the hair of the occupant is long and the color of the lips is red, the in-vehicle condition acquisition unit 150 determines that the occupant is a woman. In addition, the in-vehicle condition acquisition unit 150 may use the in-vehicle device 31 to receive input of information on the sex of the occupant when the occupant gets on the vehicle. For example, the in-vehicle condition acquisition unit 150 may acquire the male-female ratio of the occupant based on the acquired information on the gender of each occupant. In the example of FIG. 4, when the occupant P1 is a male and the occupant P2 is a female, the male-female ratio is 1: 1.

そして、車内状況取得部150は、全座席数S1〜S4と乗員が着座している座席数(乗員数)とに基づいて、車両Mに乗車できる残りの人数を算出する。図4の例では、車内状況取得部150は、座席S1〜S4のうち、座席S1およびS3に乗員P1およびP2が着座していることを把握する。また、車内状況取得部150は、全4座席のうち、2座席に乗員が着座しているため、車両Mに乗車できる残りの人数が2人であることを把握する。   Then, the in-vehicle condition acquisition unit 150 calculates the remaining number of people who can get on the vehicle M based on the total number of seats S1 to S4 and the number of seats in which the occupants are seated (the number of occupants). In the example of FIG. 4, the in-vehicle condition acquisition unit 150 recognizes that the occupants P1 and P2 are seated on the seats S1 and S3 among the seats S1 to S4. Further, since the occupants are seated in two of the four seats, the in-vehicle condition acquisition unit 150 recognizes that the remaining number of people who can get on the vehicle M is two.

また、車内状況取得部150は、車両Mに設定される車内装備に関する情報を取得する。車内設備に関する情報は、例えば、端末装置を充電する充電設備を備えているか否か、車内を加湿する加湿設備を備えているか否かに関する情報である。車内装備に関する情報は、例えば、自動運転制御ユニット100内の図示しないHDDやフラッシュメモリ等の記憶装置に保持されてよい。車内装備に関する情報は、例えば工場出荷時に予め設定されていてもよく、設備が車両Mに取り付けられたとき、または、取り外されたときに更新されてもよい。   Further, the in-vehicle condition acquisition unit 150 acquires information on the in-vehicle equipment set for the vehicle M. The information on the in-vehicle equipment is, for example, information on whether or not the charging equipment for charging the terminal device is provided, and whether or not the humidifying equipment for humidifying the interior of the vehicle is provided. The information on the in-vehicle equipment may be held, for example, in a storage device such as an HDD or a flash memory (not shown) in the automatic driving control unit 100. The information on the in-vehicle equipment may be preset, for example, at the time of factory shipment, and may be updated when the equipment is attached to the vehicle M or removed.

[インターフェース制御]
インターフェース制御部160は、車外用ディスプレイ32または車外用スピーカ33の少なくとも一方を用いて、車外に向けて情報を出力する。情報は、例えば車外用ディスプレイ32に表示される画像や車外用スピーカ33から出力される音声等のコンテンツである。コンテンツにより提示される情報は、例えば、乗車を募集するための情報である。コンテンツにより提示される情報は、例えば、車内状況取得部150から得られる車内情報である。例えば、コンテンツにより提示される情報は、車両Mに乗り込み可能か否かに関する情報である。また、コンテンツにより提示される情報は、車両Mに乗り込み可能な人数に関する情報でもよい。また、コンテンツにより提示される情報は、車内状況取得部150により取得された車内装備または乗員の男女比の情報等でもよい。
[Interface control]
The interface control unit 160 outputs information to the outside of the vehicle using at least one of the display for outside the vehicle 32 and the speaker 33 for the outside of the vehicle. The information is, for example, content such as an image displayed on the display for outside of the vehicle 32 or a sound output from the speaker 33 for outside of the vehicle. The information presented by the content is, for example, information for recruiting passengers. The information presented by the content is, for example, in-vehicle information obtained from the in-vehicle condition acquisition unit 150. For example, the information presented by the content is information on whether or not the vehicle M can be boarded. Further, the information presented by the content may be information on the number of people who can get on the vehicle M. Further, the information presented by the content may be information on the in-vehicle equipment acquired by the in-vehicle condition acquisition unit 150 or the information on the ratio of male to female of the occupant, or the like.

また、コンテンツにより提示される情報は、車両Mの走行計画に関する情報でもよい。車両Mの走行計画に関する情報とは、例えば、車両Mの目的地または経由地の少なくとも一方を含む。経由地を出力することで、途中まで行先が同じ人物を相乗り乗車させることができる。インターフェース制御部160は、上述したコンテンツにより提示される情報のそれぞれを適宜組み合わせて、車外に向けて出力してもよい。   Further, the information presented by the content may be information on a travel plan of the vehicle M. The information on the travel plan of the vehicle M includes, for example, at least one of a destination or a transit point of the vehicle M. By outputting the via point, it is possible to ride a person with the same destination halfway along the way. The interface control unit 160 may appropriately combine each of the information presented by the content described above and output the information to the outside of the vehicle.

図5は、車外に向けて出力されるコンテンツの一例を示す図である。インターフェース制御部160は、外界認識部121により人物P3を認識した場合に、人物P3の位置から見える方向の車外用ディスプレイ32を用いてコンテンツを出力する。図5の例では、走行車線L1を走行する車両Mの前方ディスプレイ32Fおよび左側方ディスプレイ32Lに、目的地および車両Mに乗り込み可能な人数に関する画像300Fおよび300Lが表示されている。また、インターフェース制御部160は、画像300Fおよび300Lを、点滅表示させてもよく、日中と夜とで色を変えて表示してもよい。   FIG. 5 is a diagram showing an example of content output toward the outside of the vehicle. When the external world recognition unit 121 recognizes the person P3, the interface control unit 160 outputs the content using the external display 32 in the direction seen from the position of the person P3. In the example of FIG. 5, the images 300F and 300L concerning the destination and the number of persons who can get on the vehicle M are displayed on the front display 32F and the left side display 32L of the vehicle M traveling on the traveling lane L1. Further, the interface control unit 160 may display the images 300F and 300L in a blinking manner, or may change the color in the daytime and the nighttime.

また、インターフェース制御部160は、車外用スピーカ33を用いて、画像300Lに示されている情報と同じ内容の音声を出力する。また、インターフェース制御部160は、車外用スピーカ33を用いて、周囲が注目を集めるような音楽や警報を出力してもよい。   Further, the interface control unit 160 outputs a voice having the same content as the information shown in the image 300L, using the vehicle exterior speaker 33. In addition, the interface control unit 160 may output music or an alarm that the surroundings draw attention by using the vehicle exterior speaker 33.

また、インターフェース制御部160は、画像300Fおよび300Lで示された文字列を、文字の先頭から順番に移動させながら表示させてもよい。   Further, the interface control unit 160 may display the character strings indicated by the images 300F and 300L while sequentially moving them from the beginning of the character.

図6は、画像300Fおよび300Lで示された文字列の移動の一例を示す図である。図6の例では、インターフェース制御部160は、前方ディスプレイ32Fに表示される画像300Fを矢印D1方向に移動させ、左側方ディスプレイ32Lに表示される画像300Lを矢印D2方向に移動させる。インターフェース制御部160は、画像300Fおよび300Lを繰り返し表示させる。   FIG. 6 is a diagram showing an example of movement of the character strings shown in the images 300F and 300L. In the example of FIG. 6, the interface control unit 160 moves the image 300F displayed on the front display 32F in the arrow D1 direction, and moves the image 300L displayed on the left side display 32L in the arrow D2 direction. The interface control unit 160 repeatedly displays the images 300F and 300L.

また、インターフェース制御部160は、外界認識部121により認識された人物の歩行する方向や歩行速度に基づいて、画像300Fおよび300Lを移動させる向きや表示速度を制御する。   The interface control unit 160 also controls the direction in which the images 300F and 300L are moved and the display speed based on the walking direction and walking speed of the person recognized by the external world recognition unit 121.

例えば、インターフェース制御部160は、左側方ディスプレイ32Lを用いて、画像300Lを表示する場合、人物P3の歩行する方向とは逆方向に移動させながら画像300Lを表示する。また、画像300Lの表示を移動させる速さは、人物P3の歩行速度と同じ速さであることが好ましい。これにより、インターフェース制御部160は、人物P3に画像300Lを視認させやすくすることができる。また、人物P3は、車両Mが自分に気が付いていることを認識することができる。   For example, when displaying the image 300L using the left side display 32L, the interface control unit 160 displays the image 300L while moving in a direction opposite to the walking direction of the person P3. Moreover, it is preferable that the speed which moves the display of the image 300L is the same speed as the walking speed of the person P3. Thereby, the interface control unit 160 can easily make the person P3 visually recognize the image 300L. The person P3 can also recognize that the vehicle M is aware of himself.

また、インターフェース制御部160は、人物P3に対して画像300Fおよび300Lを出力する場合に、人物P3の走行速度に基づいて車両Mの走行速度を減速させるように、行動計画生成部123に指示してもよい。例えば、インターフェース制御部160は、人物P3の走行速度と同一または近似する速度で車両Mを走行させることで、人物P3に画像300Fおよび300Lを視認させやすくすることができる。   Further, when outputting the images 300F and 300L to the person P3, the interface control unit 160 instructs the action plan generation unit 123 to reduce the traveling speed of the vehicle M based on the traveling speed of the person P3. May be For example, the interface control unit 160 can easily make the person P3 visually recognize the images 300F and 300L by causing the vehicle M to travel at a speed that is the same as or similar to the traveling speed of the person P3.

また、インターフェース制御部160は、外界認識部121により認識された人物が複数いる場合、例えば、最初に認識した人物を対象に、車外用ディスプレイ32に画像300を出力させる。また、インターフェース制御部160は、車両Mに最も近くにいる人物を対象に、車外用ディスプレイ32に画像300を出力させてもよい。   Further, when there are a plurality of persons recognized by the external world recognition unit 121, the interface control unit 160 causes the display for outside the vehicle 32 to output the image 300, for example, for the person recognized first. In addition, the interface control unit 160 may output the image 300 to the vehicle external display 32 for the person closest to the vehicle M.

[所定条件]
車外に向けてコンテンツを出力するための所定条件とは、例えば、(1)車両Mの走行位置、(2)車両Mの走行速度、(3)車外にいる人物の動作、(4)車両Mに乗り込み可能な人数等に関する条件である。インターフェース制御部160は、これらのうち設定された全ての条件を満たす場合に、車外に向けてコンテンツを出力する。以下、(1)〜(4)のそれぞれについて、具体的に説明する。
[Predetermined condition]
The predetermined conditions for outputting the content to the outside of the vehicle are, for example, (1) the traveling position of the vehicle M, (2) the traveling speed of the vehicle M, (3) the operation of the person outside the vehicle, (4) the vehicle M This is a condition regarding the number of people who can get in. The interface control unit 160 outputs the content to the outside of the vehicle when all of the set conditions are satisfied. Hereinafter, each of (1) to (4) will be specifically described.

(1)車両Mの走行位置
インターフェース制御部160は、例えば、自車位置認識部122が認識した車両Mの位置情報に基づいて、車両Mが予め定めた区間内を走行中である場合に、車外にコンテンツを出力する。区間の設定は、工場出荷時に行ってもよく、乗員等が行ってもよい。また、区間の設定において、高速道路等、設定禁止区間が設定されていてもよい。
(1) Traveling Position of Vehicle M The interface control unit 160, for example, based on the position information of the vehicle M recognized by the vehicle position recognition unit 122, when the vehicle M is traveling in a predetermined section, Output content outside the car. The setting of the section may be performed at the time of factory shipment, or may be performed by an occupant or the like. In addition, in the setting of the section, a setting prohibited section such as a highway may be set.

(2)車両Mの走行速度
インターフェース制御部160は、例えば、車両Mの走行速度が閾値以下である場合に、車外にコンテンツを出力する。閾値は、道路ごとに予め設定されていてもよく、乗員により設定されてもよい。これにより、インターフェース制御部160は、例えば、高速道路等の人物を乗車させることができない状況における車外へのコンテンツの出力を抑制することができる。また、車外にいる人物は、低速走行している車両に出力されたコンテンツを容易に把握することができる。低速走行時にコンテンツを出力することにより、乗車希望者を乗車させる場合に、車両Mの停車をスムーズに行うことができる。
(2) Traveling Speed of Vehicle M The interface control unit 160 outputs the content outside the vehicle, for example, when the traveling speed of the vehicle M is equal to or less than a threshold. The threshold may be set in advance for each road, or may be set by an occupant. Thereby, for example, the interface control unit 160 can suppress the output of the content to the outside of the vehicle in a situation where a person such as an expressway can not get on the vehicle. Also, a person outside the vehicle can easily grasp the content output to the vehicle traveling at a low speed. By outputting the content when traveling at a low speed, the vehicle M can be smoothly stopped when the passenger who wants to get on the vehicle travels.

(3)車外にいる人物の動作
インターフェース制御部160は、例えば、車外の人物が手を挙げていると推定した場合に、車外にコンテンツを出力してもよい。例えば、インターフェース制御部160は、カメラ10による撮像画像を解析し、撮像画像に含まれる人物の輪郭形状と、予め設定された手を挙げた人物の輪郭形状とのパターンマッチングにより、手を挙げている人物を推定する。これにより、インターフェース制御部160は、乗車希望者である可能性が高い人物に対してコンテンツを出力することができる。
(3) Operation of Person Outside Vehicle The interface control unit 160 may output the content outside the vehicle, for example, when it is estimated that a person outside the vehicle is raising a hand. For example, the interface control unit 160 analyzes the image captured by the camera 10 and raises the hand by pattern matching between the contour shape of the person included in the captured image and the contour shape of the person who raised the hand set in advance. Estimate the person who is Thus, the interface control unit 160 can output content to a person who is highly likely to be a passenger.

(4)車両Mに乗り込み可能な人数
インターフェース制御部160は、例えば、車両Mに乗り込み可能な人数が1以上である場合に車外にコンテンツを出力してもよい。これにより、インターフェース制御部160は、満員時におけるコンテンツの出力を抑制することができる。
(4) Number of people who can get in the vehicle M The interface control unit 160 may output the content outside the vehicle, for example, when the number of people who can get in the vehicle M is one or more. As a result, the interface control unit 160 can suppress the output of the content when the content is full.

また、上記の(1)〜(4)の他にも、インターフェース制御部160は、HMI30の車内用機器31を用いて、車両Mの乗員に対して車外に向けてコンテンツを出力してよいか否かの問い合わせを行い、出力してよい旨の入力を乗員から受け付けた場合に、車外に向けてコンテンツを出力してもよい。これにより、インターフェース制御部160は、例えば、相乗りをしたくない乗員の要望に応じて、相乗りを募集するコンテンツを出力しないようにすることができる。   In addition to the above (1) to (4), may the interface control unit 160 output contents to the occupants of the vehicle M outside the vehicle using the in-vehicle device 31 of the HMI 30? If the user makes an inquiry as to whether or not the input is acceptable from the occupant, the content may be output to the outside of the vehicle. Thereby, the interface control unit 160 can be configured not to output the content for recruiting the passenger according to the request of the passenger who does not want to ride the passenger, for example.

[乗車希望者の判定]
乗車希望者判定部170は、インターフェース制御部160により車外に向けてコンテンツが出力されている状況である場合に、外界認識部121により認識された人物が、乗車希望者であるか否かを判定する。図7は、乗車希望者判定部170による乗車希望者の判定内容を説明するための図である。図7の例では、車両Mと、人物P4〜P6と、人物P4およびP5が所持する端末装置400−1および400−2(以下、個々に区別して説明する場合を除き、「端末装置400」と略称する)と、サーバ装置500を示している。車両Mと、端末装置400と、サーバ装置500とは、ネットワークNWを介した通信が行われる。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)等である。
[Judgment of applicants for boarding]
The boarding person determination unit 170 determines whether or not the person recognized by the external world recognition unit 121 is the boarding person if the interface control unit 160 is outputting contents toward the outside of the vehicle. Do. FIG. 7 is a diagram for explaining the determination contents of the boarding applicant by the boarding person determination section 170. In the example of FIG. 7, the terminal devices 400-1 and 400-2 possessed by the vehicle M, the persons P4 to P6, and the persons P4 and P5 (hereinafter referred to as "the terminal device 400 except in the case where they are individually distinguished and described) And the server device 500 are shown. Communication between the vehicle M, the terminal device 400, and the server device 500 is performed via the network NW. The network NW is, for example, a wide area network (WAN) or a local area network (LAN).

端末装置400は、例えば、スマートフォンやタブレット端末である。端末装置400は、セルラー網やWi−Fi網、Bluetooth、DSRC等を利用して、周辺に存在する車両Mと通信し、或いは無線基地局を介してサーバ装置500と通信する機能を備える。   The terminal device 400 is, for example, a smartphone or a tablet terminal. The terminal device 400 has a function of communicating with the vehicle M present in the vicinity using a cellular network, Wi-Fi network, Bluetooth, DSRC, or the like, or communicating with the server device 500 via a wireless base station.

サーバ装置500は、1又は複数の車両の走行位置や状況等を管理する。サーバ装置500は、例えば、1台の情報処理装置である。また、サーバ装置500は、一以上の情報処理装置から構成されるクラウドサーバでもよい。   The server device 500 manages traveling positions, situations, and the like of one or more vehicles. The server device 500 is, for example, one information processing device. Further, the server device 500 may be a cloud server configured of one or more information processing devices.

乗車希望者判定部170は、例えば、車外にいる人物P4の端末装置400−1から乗車希望者である旨の情報が通知されたときに、外界認識部121により認識された人物P4が乗車希望者であると判定する。図7の例において、人物P4は、端末装置400−1を利用して、乗車希望者である旨を示す信号を周囲に出力する。周囲とは、通信規格によって定義される通信可能な範囲である。車両Mは、通信装置20により端末装置400−1からの信号を受信する。乗車希望者判定部170は、端末装置400−1から受信した信号に基づき、外界認識部121により車両Mの近くにいる人物を認識し、認識された人物P4が乗車希望者であると判定する。   For example, when the terminal device 400-1 of the person P4 who is outside the vehicle is notified of the information indicating that he / she is a passenger, the person P4 who is recognized by the outside world recognition portion 121 wishes to get in. It is determined that the In the example of FIG. 7, the person P4 uses the terminal device 400-1 to output to the surroundings a signal indicating that the person is a passenger. The surrounding is a communicable range defined by a communication standard. Vehicle M receives a signal from terminal device 400-1 by communication device 20. Based on the signal received from the terminal device 400-1, the passenger identification unit 170 recognizes the person near the vehicle M by the external recognition unit 121, and determines that the recognized person P4 is a passenger. .

また、乗車希望者判定部170は、サーバ装置500を介して間接的に、端末装置400−2から乗車希望者である旨の情報が通知されたときに、外界認識部121により認識された人物が乗車希望者であると判定する。図7の例において、人物P5は、端末装置400−2を利用して、乗車希望者である旨を示す情報および端末装置400−2の位置情報を、ネットワークNWを介してサーバ装置500に送信する。サーバ装置500は、端末装置400−2から受信した情報に基づいて、端末装置400−2の位置に最も近くを走行している車両Mを抽出し、抽出した車両Mに対して、乗車希望者である旨を示す情報および端末装置400−2の位置情報を送信する。乗車希望者判定部170は、サーバ装置500から受信した情報に基づいて、端末装置400−2の位置の近くにいる人物P5を乗車希望者であると判定する。   In addition, a person who is recognized by the outside world recognition unit 121 when the boarding candidate determination unit 170 is notified indirectly of the terminal device 400-2 that the user is a boarding desire person indirectly via the server device 500. Is determined to be a passenger. In the example of FIG. 7, the person P5 transmits the information indicating that he / she is a passenger and the position information of the terminal device 400-2 to the server device 500 via the network NW using the terminal device 400-2. Do. The server device 500 extracts the vehicle M traveling the closest to the position of the terminal device 400-2 based on the information received from the terminal device 400-2, and the person who desires to get in the extracted vehicle M. The information indicating that it is and the position information of the terminal device 400-2 are transmitted. Based on the information received from the server device 500, the boarding person determination unit 170 determines that the person P5 near the position of the terminal device 400-2 is the boarding person.

また、乗車希望者判定部170は、カメラ10による撮像画像を解析し、撮像画像に含まれる人物が手を挙げていると判定された場合に、その人物が乗車希望者であると判定してもよい。図7の例において、人物P6は、手を挙げている。したがって、乗車希望者判定部170は、カメラ10による撮像画像の解析により、人物P6を乗車希望者であると判定する。   Also, the boarding person determination unit 170 analyzes the image captured by the camera 10 and determines that the person is the boarding person if it is determined that the person included in the captured image is raising his hand. It is also good. In the example of FIG. 7, the person P6 is raising a hand. Therefore, by the analysis of the captured image by the camera 10, the boarding person determination unit 170 determines that the person P6 is a boarding person.

[乗車希望者が乗車に不適格な人物か否かの判定]
また、乗車希望者判定部170は、外界認識部121により認識された人物が、乗車希望者であると判定した場合に、更に、その人物情報から乗車希望者が乗車に不適格な人物か否かを判定してもよい。
[Determination of whether or not a passenger is ineligible for riding]
Further, when the riding applicant determination unit 170 determines that the person recognized by the outside world recognition unit 121 is the riding applicant, the person information is further based on the person information that the riding applicant is not suitable for riding or not. It may be determined.

例えば、乗車希望者判定部170は、カメラ10による撮像画像を解析し、乗車希望者の付近に犬や猫等のペットの輪郭形状、またはペットの顔の特徴情報等がある場合に、乗車希望者がペットを連れていると判定する。この場合、乗車希望者判定部170は、乗車希望者が犬や猫等のペットを連れていると判定された場合であって、乗員がペット同伴者の乗車を拒否している場合に、その乗車希望者を乗車に不適格な人物と判定する。   For example, if the boarding candidate determination unit 170 analyzes the image captured by the camera 10 and there is a contour shape of a pet such as a dog or a cat or feature information of the pet's face in the vicinity of the boarding candidate, the boarding request is made. It is determined that the person is with a pet. In this case, the boarding person determination unit 170 determines that the boarding person is carrying a pet such as a dog or a cat when the boarding person refuses to accompany the pet companion. Determines the passenger as a person who is not suitable for riding.

また、乗車希望者判定部170は、カメラ10による撮像画像を解析し、乗車希望者の動作が揺れていて不自然であり、且つ、顔色が赤い場合に、乗車希望者が泥酔していると判定してもよい。また、乗車希望者判定部170は、車両センサ70がアルコール検知センサを備えている場合に、乗員希望者が吐き出す息に対するアルコール検知センサの検知結果に基づいて泥酔の判定を行ってもよい。乗車希望者判定部170は、乗車希望者が泥酔している状態であると判定された場合に、その乗車希望者を乗車に不適格な人物と判定してもよい。   In addition, the boarding person determination unit 170 analyzes the image captured by the camera 10, and it is unnatural that the boarding person's action is shaken and unnatural, and that the boarding person is drunk when the complexion is red. You may judge. Further, when the vehicle sensor 70 includes an alcohol detection sensor, the boarding person determination unit 170 may determine the drunkenness based on the detection result of the alcohol detection sensor with respect to the breath exhaled by the occupant candidate. When it is determined that the boarding candidate is in a state of being drunk, the boarding candidate determination unit 170 may determine that the boarding candidate is an ineligible person for boarding.

また、乗車希望者判定部170は、カメラ10による撮像画像を解析し、乗車希望者がタバコを持っている、またはタバコを吸っている状態であると判定した場合に、乗車希望者が喫煙者であると判定してもよい。また、乗車希望者判定部170は、車両センサ70が臭い検知センサを備えている場合に、乗員希望者が吐き出す息に対する臭い検知センサの検知結果に基づいて喫煙者の判定を行ってもよい。乗車希望者判定部170は、乗車希望者が喫煙者である判定した場合であって、乗員が喫煙者の乗車を拒否している場合に、その乗車希望者を乗車に不適格な人物と判定してもよい。   In addition, the boarding candidate determination unit 170 analyzes the image captured by the camera 10 and determines that the boarding candidate has a cigarette or is smoking a cigarette, and the boarding candidate is a smoker. It may be determined that Further, when the vehicle sensor 70 includes an odor detection sensor, the boarding person determination unit 170 may determine the smoker based on the detection result of the odor detection sensor for the breath exhaled by the occupant candidate. The boarding candidate determination unit 170 determines that the boarding candidate is an ineligible person for boarding if it is determined that the boarding candidate is a smoker and the occupant has refused to board the smoker. You may

また、乗車希望者判定部170は、カメラ10による撮像画像を解析し、乗車希望者が凶器等を持っている等の危険人物と判定された場合に、その乗車希望者を乗車に不適格な人物と判定してもよい。   In addition, the boarding candidate determination unit 170 analyzes the image taken by the camera 10, and when it is determined that the boarding candidate is a dangerous person having a weapon etc., the boarding candidate is not eligible for boarding. It may be determined as a person.

また、乗車希望者判定部170は、乗員が相乗りしたくない人物情報を予め記憶しておき、乗車希望者がその条件を満たす場合に、乗車に不適格な人物と判定してよい。また、インターフェース制御部160は、乗員の乗車時または乗員希望者の人物情報を取得したタイミングで、車内用機器31のタッチパネルに問い合わせ画面を表示し、その問い合わせに対する回答から乗員が相乗りをしたくない人物情報を取得してもよい。   In addition, the boarding person determining unit 170 may store in advance person information that the occupants do not want to ride side by side, and may determine that the boarding person is not suitable for boarding if the boarding person satisfies the condition. Further, the interface control unit 160 displays an inquiry screen on the touch panel of the in-vehicle device 31 at the time of getting on the passenger or obtaining the person information of the passenger desired person, and the passenger does not want to ride as a passenger. Person information may be acquired.

図8は、乗車時に表示される問い合わせ画面の一例を示す図である。図8の例では、車内用機器31のタッチパネル31Aに表示される画面例を示している。タッチパネル31Aは、例えば、車両M内の各座席の前方の所定の位置に設置される。インターフェース制御部160は、車両Mの乗車した乗員に対して、予め設定した人物情報のうち、相乗りしたくない人物を選択させる画面を、タッチパネル31Aを用いて表示する。図8の例では、タッチパネル31Aの画面上に、「ペット同伴者」、「喫煙者」、「泥酔者」等のGUI(Graphical User Interface)オブジェクトが表示されている。また、インターフェース制御部160は、乗員により選択された少なくとも1つのGUIオブジェクトに対応付けられた人物情報を、乗車希望者判定部170に出力する。これにより、乗車希望者判定部170は、上述したような乗車希望者が乗車に不適格か否かの判定を行うことができる。   FIG. 8 is a diagram showing an example of an inquiry screen displayed when getting on the vehicle. In the example of FIG. 8, the screen example displayed on the touch panel 31A of the in-vehicle device 31 is shown. The touch panel 31A is installed, for example, at a predetermined position in front of each seat in the vehicle M. The interface control unit 160 displays, using the touch panel 31A, a screen that allows the occupant of the vehicle M to select a person who does not want to ride in a row among the preset person information. In the example of FIG. 8, GUI (Graphical User Interface) objects such as “pet companion”, “smoker”, and “drunk person” are displayed on the screen of the touch panel 31A. The interface control unit 160 also outputs personal information associated with at least one GUI object selected by the occupant to the boarding candidate determination unit 170. Thereby, the boarding candidate determination unit 170 can determine whether the boarding candidate as described above is not suitable for boarding.

また、インターフェース制御部160は、乗車希望者判定部170が乗車希望者の人物情報を判定したタイミングで、その人物情報に対する問い合わせ画面をタッチパネル31Aに表示して、乗員に問い合わせを行ってもよい。   In addition, the interface control unit 160 may make an inquiry to the occupant by displaying an inquiry screen for the person information on the touch panel 31A at the timing when the person desiring to boarding person determination unit 170 determines the person information of the person desiring to board.

図9は、人物情報の判定時に表示される問い合わせ画面の一例を示す図である。インターフェース制御部160は、車両Mの乗員に対して、タッチパネル31Aの画面に、乗車希望者の人物情報を表示するとともに、その人物を乗車させてよいかの問い合わせを行う。例えば、乗車希望者判定部170が、乗車希望者がペットを連れていると判定した場合、インターフェース制御部160は、図9に示すように、ペット同伴者を相乗りさせてもよいか否かを問い合わせる画面を、タッチパネル31Aに表示する。また、インターフェース制御部160は、乗車希望者の乗車を許可または拒否するためのGUIオブジェクトを画面に表示し、乗員により選択された結果を、乗車希望者判定部170に出力する。これにより、乗車希望者判定部170は、上述したような乗車希望者が乗車に不適格か否かの判定を行うことができる。   FIG. 9 is a view showing an example of an inquiry screen displayed at the time of determination of person information. The interface control unit 160 causes the occupant of the vehicle M to display personal information of a passenger who desires to get on the screen of the touch panel 31A, and inquires whether the person may get on the vehicle. For example, if the boarding candidate determination unit 170 determines that the boarding candidate is carrying a pet, the interface control unit 160 may, as shown in FIG. The screen to be inquired is displayed on the touch panel 31A. The interface control unit 160 also displays on the screen a GUI object for permitting or refusing the entry of the entry applicant, and outputs the result selected by the occupant to the entry applicant determination unit 170. Thereby, the boarding candidate determination unit 170 can determine whether the boarding candidate as described above is not suitable for boarding.

また、インターフェース制御部160は、上述した画面に示す情報と同様の情報を車内用機器31のスピーカにより音声で乗員に通知し、マイクから取得した回答を乗車希望者判定部170に出力してもよい。また、インターフェース制御部160は、画面表示と音声出力とを組み合わせて乗員に通知してもよい。   Further, even if the interface control unit 160 notifies the occupant of the same information as the information shown on the above screen by voice from the speaker of the in-vehicle device 31 and outputs the answer acquired from the microphone to the boarding person determination unit 170 Good. The interface control unit 160 may also notify the occupant by combining the screen display and the audio output.

なお、インターフェース制御部160は、一度問い合わせた情報を記憶しておき、同一の問い合わせを繰り返し行わないようにしてもよい。また、インターフェース制御部160は、相乗りしたくない人物に関する情報を、乗員ごとにサーバ装置500で管理させてもよい。この場合、乗車希望者判定部170は、乗員の顔認証結果または乗員ID等の識別情報に、相乗りしたくない人物に関する情報を対応付けて、通信装置20を介してサーバ装置500に登録する。また、インターフェース制御部160は、乗員の乗車時に、乗員の識別情報を取得して、通信装置20からサーバ装置500に問い合わせを行い、サーバ装置500から乗員に対応する相乗りしたくない人物に関する情報を取得する。   The interface control unit 160 may store the information once inquired, and may not repeat the same inquiry repeatedly. In addition, the interface control unit 160 may cause the server device 500 to manage, for each passenger, information on a person who does not want to ride together. In this case, the boarding candidate determination unit 170 associates the information on the person who does not want to ride together with the identification information such as the face authentication result of the occupant or the occupant ID and registers the information in the server device 500 via the communication device 20. Further, the interface control unit 160 acquires the identification information of the occupant when the occupant gets in, makes an inquiry to the server device 500 from the communication device 20, and causes the server device 500 to obtain information on a person who does not want to ride along. get.

乗車希望者判定部170は、乗車希望者が乗車に不適格な人物であると判定した場合、インターフェース制御部160は、乗車希望者の乗車を拒否する制御を行う。具体的には、インターフェース制御部160は、例えば、車両Mのドアロックを行ったり、車外用ディスプレイ32および車外用スピーカ33を用いて車外に向けて乗車拒否の通知等を行う。これにより、乗車希望者判定部170は、不適格者が車両Mに乗車することを抑制することができる。   If the boarding candidate determination unit 170 determines that the boarding candidate is a person who is not suitable for boarding, the interface control section 160 performs control to reject the boarding request of the boarding candidate. Specifically, for example, the interface control unit 160 locks the door of the vehicle M, or uses the display for outside the vehicle 32 and the speaker 33 for outside the vehicle to notify, for example, the rejection of boarding and the like. Thereby, the boarding candidate determination unit 170 can suppress the ineligible person from getting on the vehicle M.

[停止制御]
乗車希望者判定部170は、乗車希望者が乗車に不適格な人物ではない(適格な人物である)と判定した場合に、その人物付近で車両Mを停車させる指示を、行動計画生成部123に出力する。行動計画生成部123は、乗車希望者判定部170からの指示により、停車するための目標軌道を生成し、生成した目標軌道を走行制御部141に出力する。これにより、乗車希望者の付近に車両Mを停車させることができる。
[Stop control]
If the boarding candidate determination unit 170 determines that the boarding candidate is not a person who is not suitable for boarding (is a qualified person), the action plan generation unit 123 instructs the vehicle M to stop near the person. Output to The action plan generation unit 123 generates a target trajectory for stopping the vehicle according to an instruction from the passenger applicant determination unit 170, and outputs the generated target trajectory to the travel control unit 141. Thus, the vehicle M can be stopped near the passenger.

また、インターフェース制御部160は、車両Mを停車させる場合に、停車することを示す情報を、車外用ディスプレイ32または車外用スピーカ33の少なくとも一方を用いて車外に向けて出力してもよい。更に、インターフェース制御部160は、乗車希望者を乗車させる予定の地点(停車予定位置)に関する情報を、車外用ディスプレイ32または車外用スピーカ33の少なくとも一方を用いて車外に出力してもよい。   In addition, when the vehicle M is stopped, the interface control unit 160 may output information indicating that the vehicle M is stopped, using at least one of the external display 32 or the external speaker 33 toward the outside of the vehicle. Furthermore, the interface control unit 160 may output information about a point (planned stop position) where a passenger who wants to get on the vehicle is to get on the vehicle, using at least one of the vehicle external display 32 and the vehicle external speaker 33 outside the vehicle.

図10は、車外に向けて出力される停車予定位置に関する情報の一例を示す図である。例えば、乗車希望者が横断歩道付近、バス停付近等の駐停車禁止区間にいる場合、車両Mは、乗車希望者の近くに停車することができない。そのため、インターフェース制御部160は、行動計画生成部123により生成された目標軌道に基づいて、停車予定位置を取得し、取得した停車予定位置に関する情報を、車外用ディスプレイ32または車外用スピーカ33の少なくとも一方を用いて乗車希望者に提示する。   FIG. 10 is a diagram showing an example of information on the planned parking position output toward the outside of the vehicle. For example, in the case where a passenger wishing to ride is in a parking prohibited section such as near a pedestrian crossing, near a bus stop, etc., the vehicle M can not stop near the passenger wishing to board. Therefore, the interface control unit 160 acquires the planned parking position based on the target trajectory generated by the action plan generation unit 123, and acquires information regarding the acquired planned parking position according to at least the display 32 for the car or the speaker 33 for the car. Present to the passenger using the one.

図10の例では、乗車希望者判定部170により乗車希望者と判定された人物P6が横断歩道付近にいる。この場合、インターフェース制御部160は、前方ディスプレイ32Fを用いて、停車予定位置に関する画像310Fを表示する。画像310Fは、例えば、「15m前方で停車します」等の情報を含む。これにより、人物P6は、車両Mが自分を乗せるために停車すること、および停車する位置を容易に把握することができる。   In the example of FIG. 10, a person P6 who is determined to be a boarding candidate by the boarding person determining unit 170 is in the vicinity of a pedestrian crossing. In this case, the interface control unit 160 uses the front display 32F to display an image 310F related to the planned parking position. The image 310F includes, for example, information such as "Stop at 15 m ahead". Thereby, the person P6 can easily grasp that the vehicle M stops in order to carry itself and the position at which the vehicle M stops.

なお、インターフェース制御部160は、人物P6を乗車させた後に、車内用機器31を用いて人物P6の目的地を受け付け、受け付けた目的地が、予め設定されている目的地まで走行するときの経由地である場合に、行動計画生成部123に人物P6の目的地で車両Mを停車させるための行動計画を生成させる。   The interface control unit 160 receives the destination of the person P6 by using the in-vehicle device 31 after the person P6 is taken on the vehicle, and the route through which the accepted destination travels to the preset destination is set. When it is a ground, the action plan generation unit 123 generates an action plan for stopping the vehicle M at the destination of the person P6.

また、インターフェース制御部160は、例えば、目的地までの走行中に追従走行を実行する場合に、車両Mが追従走行している他車両との位置関係に基づいて、車外用ディスプレイ32を用いて表示する内容および位置を変更してもよい。   Further, for example, when the following control is performed while traveling to the destination, the interface control unit 160 uses the external display 32 based on the positional relationship with other vehicles on which the vehicle M is following. You may change the content and position to display.

図11は、追従走行時における車外への情報出力の一例を示す図である。図11の例において、車両M−1〜M−3は、追従走行を実行している一連の車両群である。車両M−1〜M−3のうちのいずれかは、上述の車両Mに相当する。   FIG. 11 is a diagram showing an example of information output to the outside of the vehicle at the time of follow-up traveling. In the example of FIG. 11, the vehicles M-1 to M-3 are a series of vehicles performing a following movement. One of the vehicles M-1 to M-3 corresponds to the above-described vehicle M.

行動計画生成部123は、走行中に前走車両がある場合に、前走車両に追従して走行させる追従走行イベントを実行する。追従走行を開始した場合、インターフェース制御部160は、通信装置20を用いて周辺車両と車車間通信を行い、各周辺車両から得られた情報から、車両Mが追従走行している車両Mのうち、何番目に走行している車両かを判定する。また、インターフェース制御部160は、車両Mが、追従走行している一連の車両M−1〜M−3のうち、先行車両または最後尾車両である場合に、車両Mの目的地に関する情報とともに追従走行に関する情報を、車外に向けて出力する。   The action plan generation unit 123 executes a follow-up traveling event that causes the front-traveling vehicle to travel in a case where the front-traveling vehicle is present while traveling. When the follow-up traveling is started, the interface control unit 160 performs inter-vehicle communication with the surrounding vehicles using the communication device 20, and from the information obtained from each surrounding vehicle, the vehicle M follows the following traveling vehicle M , It is determined which vehicle is traveling at what time. Further, when the vehicle M is the leading vehicle or the last vehicle among the series of vehicles M-1 to M-3 traveling following the interface M, the interface control unit 160 follows the information together with the information on the destination of the vehicle M. It outputs information about driving to the outside of the vehicle.

図11の例において、車両Mが追従走行している車両のうち先頭車両(車両M−1)である場合、インターフェース制御部160は、前方ディスプレイ32Fに、車両Mの目的地および追従走行の先頭車両であることを示す画像320Fを出力する。また、車両Mが追従走行している車両のうち最後尾車両(車両M−3)である場合、インターフェース制御部160は、後方ディスプレイ32Bに、車両Mの目的地および追従走行の最後尾車両であることを示す画像320Bを出力する。   In the example of FIG. 11, when the leading vehicle (vehicle M-1) is the leading vehicle (vehicle M-1) among the vehicles that the vehicle M is following, the interface control unit 160 causes the front display 32F to display the destination of the vehicle M and the beginning of following An image 320F indicating a vehicle is output. Further, when the vehicle M is the last vehicle (vehicle M-3) among the vehicles following the traveling, the interface control unit 160 controls the rear display 32B with the destination of the vehicle M and the last vehicle following the traveling An image 320B indicating that there is is output.

これにより、車両M−1〜M−3の周辺車両の乗員は、その車両の目的地や追従走行している一連の車両の先頭および最後尾を視認することができる。そのため、自車両を最後尾に続いて追従走行させたり、追い越し走行を行わせる場合に、追従走行車両を意識しながら、適切な走行を実現させることができる。   As a result, the occupants of the vehicles peripheral to the vehicles M-1 to M-3 can visually recognize the destination of the vehicle and the head and tail of a series of vehicles traveling following. Therefore, when the host vehicle is made to follow following the tail end or overtaking, it is possible to realize appropriate running while keeping in mind the following vehicle.

[相乗り精算]
相乗り精算部180は、車両Mに複数人が相乗りした場合に、相乗りした人数、区間、距離、実費(燃料費、高速代)等の条件に基づいて、乗員ごとの費用を計算する。例えば、相乗り精算部180は、相乗りした人数で合計金額を分割することで、各乗員は少ない費用で目的地まで到達することができる。また、相乗り精算部180は、乗員が降車する際に、精算結果等を、車内用機器31を用いて乗員に提示してもよい。
[Share ride settlement]
When a plurality of persons ride on the vehicle M, the sharing settlement unit 180 calculates the cost for each passenger based on conditions such as the number of people, section, distance, actual cost (fuel cost, high-speed charge) and the like. For example, each passenger can reach the destination with little cost by dividing the total amount of money by the number of persons who share the car, for example. In addition, when the passenger gets off, the sharing settlement unit 180 may present the result of the settlement to the passenger using the in-vehicle device 31.

また、相乗り精算部180は、金額の計算ではなく、相乗りさせた乗員に対するポイントを計算してもよい。計算された金額やポイントは、その場で精算されてもよく、通信装置20を介して図7に示すサーバ装置500に送信されてもよい。   Further, the sharing settlement unit 180 may calculate points for the shared passenger instead of calculating the amount of money. The calculated amount or point may be settled on the spot or may be transmitted to the server device 500 shown in FIG. 7 via the communication device 20.

計算された計算された金額やポイントがサーバ装置500に送信された場合、サーバ装置500は、乗員ごとに金額やポイントを管理する。これにより、乗員は、月ごとに利用した金額を精算することができ、蓄積されたポイントを、自分が相乗りする場合に利用したり、ポイントに商品等に交換したりする等の特典を得ることができる。   When the calculated amount or point calculated is transmitted to the server device 500, the server device 500 manages the amount or point for each occupant. As a result, the passenger can settle the amount of money used each month, and obtain benefits such as using the accumulated points when sharing with him or exchanging points for goods etc. Can.

[車両制御処理]
以下、第1実施形態の車両システム1による各種車両制御の一例について説明する。図12は、第1実施形態の車両制御処理の一例を示すフローチャートである。なお、図12の例では、すでに乗員が乗車している車両Mに対して、相乗り運転を行う場合の車両制御について説明する。図12の処理は、例えば、相乗り運転が実行されるごとに実行される。
[Vehicle control processing]
Hereinafter, an example of various vehicle control by the vehicle system 1 of 1st Embodiment is demonstrated. FIG. 12 is a flowchart showing an example of the vehicle control process of the first embodiment. Note that, in the example of FIG. 12, vehicle control in the case of performing joint driving on a vehicle M on which a passenger is already riding will be described. The process of FIG. 12 is performed, for example, each time the sharing operation is performed.

まず、ナビゲーション装置50は、すでに乗車乗員の設定を受け付ける(ステップS100)。次に、行動計画生成部123は、車両Mが目的地等に対して自動運転を行うための行動計画を生成する(ステップS102)。次に、走行制御部141は、生成された行動計画に基づいて車両Mを走行させる(ステップS104)。   First, the navigation device 50 has already received the setting of a passenger (step S100). Next, the action plan generation unit 123 generates an action plan for the vehicle M to automatically drive the destination or the like (step S102). Next, the traveling control unit 141 causes the vehicle M to travel based on the generated action plan (step S104).

次に、行動計画生成部123は、車両Mが目的地に到着したか否かを判定する(ステップS106)。目的地に到着していない場合、車内状況取得部150は、車両M内の状況を取得する(ステップS108)。車両M内の状況は、少なくとも車両Mに乗り込み可能な人数に関する情報を含む。   Next, the action plan generation unit 123 determines whether the vehicle M has arrived at the destination (step S106). When the vehicle has not arrived at the destination, the in-vehicle condition acquisition unit 150 acquires the condition in the vehicle M (step S108). The condition in the vehicle M includes at least information on the number of people who can get in the vehicle M.

次に、インターフェース制御部160は、所定条件に基づき、車外に情報を出力するか否かを判定する(ステップS110)。車外に情報を出力する場合、インターフェース制御部160は、車外用ディスプレイ32または車外用スピーカ33の少なくとも一方を用いて、少なくとも車両に乗り込み可能な人数に関する情報を出力する(ステップS112)。   Next, the interface control unit 160 determines whether to output information outside the vehicle based on a predetermined condition (step S110). When outputting information outside the vehicle, the interface control unit 160 outputs information on at least the number of people who can get in the vehicle using at least one of the display for outside the vehicle 32 or the speaker 33 for the outside of the vehicle (step S112).

次に、乗車希望者判定部170は、乗車希望者が存在するか否かを判定する(ステップS114)。乗車希望者が存在する場合、乗車希望者判定部170は、乗車希望者の人物情報を取得する(ステップS116)。次に、乗車希望者判定部170は、乗車希望者が乗車に不適格な人物か否かを判定する(ステップS118)。乗車希望者が乗車に不適格な人物である場合、インターフェース制御部160は、乗車拒否に関する制御を行い(ステップS120)、ステップS104の処理に戻る。また、乗車希望者が乗車に不適格な人物でない場合、行動計画生成部123は、車両を停車させるための目標軌道を生成し、生成した目標軌道に基づいて車両Mを停車させて(ステップS122)、乗車希望者の乗車後、ステップS104の処理に戻る。   Next, the boarding candidate determination unit 170 determines whether there is a boarding candidate (step S114). If the passenger desires to ride, the passenger wishing determination section 170 acquires personal information on the rider desired to ride (step S116). Next, the boarding candidate determination unit 170 determines whether the boarding candidate is an unqualified person for boarding (step S118). If the person desiring to board the vehicle is a person who is not suitable for boarding, the interface control unit 160 performs control relating to boarding refusal (step S120), and returns to the process of step S104. If the passenger is not a person who is not suitable for getting on the vehicle, the action plan generation unit 123 generates a target track for stopping the vehicle, and stops the vehicle M based on the generated target track (step S122). ), And after getting on the boarding person, the process returns to the process of step S104.

また、ステップS106において、目的地に到着した場合、相乗り精算部180は、相乗り者がいるか否かを判定する(ステップS124)。相乗り者がいる場合、相乗り精算部180は、乗員に対する相乗り精算を行う(ステップS126)。これにより、本フローチャートを終了する。   Further, in step S106, when arriving at the destination, the sharing settlement unit 180 determines whether there is a sharer (step S124). When there is a sharer, the share settlement section 180 performs share settlement for the passenger (step S126). Thus, the present flowchart ends.

上述したように、第1実施形態によれば、車両制御システムは、車外に向けて乗り込み可能か否かの情報を出力することで、車両の相乗りを容易に実現することができる。具体的には、第1実施形態によれば、車両に乗り込み可能な人数に関する情報や、車両の走行計画に関する情報、車内装備、乗員の男女比等の情報を出力することで、車外にいる人物に、乗車したい車両を容易に選択させることができる。また、第1実施形態によれば、予め定めた区間内において、相乗りに関する制御を行うことができる。また、高速道路等での走行時に、相乗りに関する制御を行わないようにすることができ、安全な走行を実現することができる。   As described above, according to the first embodiment, the vehicle control system can easily realize the sharing of the vehicle by outputting the information as to whether or not the vehicle can be boarded toward the outside of the vehicle. Specifically, according to the first embodiment, a person who is outside the vehicle by outputting information such as information on the number of people who can get into the vehicle, information on a travel plan of the vehicle, equipment in the vehicle, and a male-female ratio of the occupant. In addition, it is possible to easily select the vehicle that you want to get on. Further, according to the first embodiment, control regarding sharing can be performed in a predetermined section. In addition, when traveling on an expressway or the like, it is possible not to perform control regarding sharing, and safe traveling can be realized.

また、第1実施形態によれば、周辺車両の乗員に対して、追従走行している一連の車両の先頭および最後尾を視認させることができる。そのため、自車両を最後尾に続いて追従走行させたり、追い越し走行を行わせる場合に、適切な走行を実現させることができる。また、第1実施形態によれば、端末装置からの通知により容易に乗車希望者を判定することができる。また、第1実施形態によれば、人物の手を挙げている動作により、容易に乗車希望者を判定することができる。   Further, according to the first embodiment, it is possible to make the occupants of the surrounding vehicles visually recognize the head and tail of a series of vehicles traveling following. Therefore, it is possible to realize appropriate traveling when the host vehicle is made to follow the trailing end and overtaking traveling is performed. Further, according to the first embodiment, it is possible to easily determine the passenger who desires to get on the vehicle by the notification from the terminal device. Further, according to the first embodiment, the passenger can easily be determined by the operation of raising the hand of the person.

なお、第1実施形態では、最初に車両Mに乗車した乗員が目的地を設定し、その目的地に対する自動運転において、相乗り乗車の制御を実行するものとしたが、これに限定されるものではなく、無人運転による相乗り乗車の制御を行ってもよい。この場合、例えば、サーバ装置500から車両Mに巡回経路の設定を行い、車両Mの巡回経路に関する情報を車外用ディスプレイ32および車外用スピーカ33を用いて出力する。これにより、第1実施形態の車両システム1は、例えば、無人タクシーや無人バス等に適用することができる。   In the first embodiment, the passenger who first got on the vehicle M sets the destination, and controls the sharing ride in the automatic driving for the destination, but it is limited to this. Alternatively, the control of passenger ride by unmanned operation may be performed. In this case, for example, a patrol route is set from the server device 500 to the vehicle M, and information on the patrol route of the vehicle M is output using the exterior display 32 and the exterior speaker 33. Thereby, the vehicle system 1 of 1st Embodiment can be applied to an unmanned taxi, an unmanned bus, etc., for example.

[第2実施形態]
次に、第2実施形態の車両制御システム、車両制御方法、および車両制御プログラムについて説明する。第2実施形態では、車両制御システムが自動運転車両でない車両に適用されたものとする。なお、以下の説明では、第1実施形態と同様の構成については、同じ構成ブロックおよび符号を付するものとし、ここでの具体的な説明は省略する。
Second Embodiment
Next, a vehicle control system, a vehicle control method, and a vehicle control program according to the second embodiment will be described. In the second embodiment, the vehicle control system is applied to a vehicle that is not an autonomous driving vehicle. In the following description, the same components as those in the first embodiment are denoted by the same constituent blocks and reference numerals, and the specific description is omitted here.

[全体構成]
図13は、第2実施形態の車両システム2の構成図である。車両システム2は、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI30と、運転操作子80と、車室内カメラ90と、運転制御ユニット600と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図13に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
[overall structure]
FIG. 13 is a block diagram of a vehicle system 2 of the second embodiment. The vehicle system 2 includes a camera 10, a radar device 12, a finder 14, an object recognition device 16, a communication device 20, an HMI 30, a drive operator 80, an in-vehicle camera 90, and a drive control unit 600. A traveling driving force output device 200, a brake device 210, and a steering device 220 are provided. These devices and devices are mutually connected by a multiplex communication line such as a CAN communication line, a serial communication line, a wireless communication network or the like. The configuration shown in FIG. 13 is merely an example, and a part of the configuration may be omitted, or another configuration may be added.

第2実施形態において「車両制御システム」は、例えば、HMI30と、運転制御ユニット600とを含む。   In the second embodiment, the “vehicle control system” includes, for example, an HMI 30 and a drive control unit 600.

[運転制御ユニット]
運転制御ユニット600は、例えば、車内状況取得部650と、インターフェース制御部660と、乗車希望者判定部670と、相乗り精算部680とを備える。車内状況取得部650と、インターフェース制御部660と、乗車希望者判定部670と、相乗り精算部680とは、それぞれ、CPU等のプロセッサがプログラム(ソフトウェア)を実行することで実現される。車内状況取得部650、インターフェース制御部660、乗車希望者判定部670、および相乗り精算部680の各機能部のうち一部または全部は、LSIやASIC、FPGA等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
[Operation control unit]
The operation control unit 600 includes, for example, an in-vehicle condition acquisition unit 650, an interface control unit 660, a boarding candidate determination unit 670, and a sharing settlement unit 680. The in-vehicle condition acquisition unit 650, the interface control unit 660, the boarding person determination unit 670, and the sharing settlement unit 680 are realized by a processor such as a CPU executing a program (software). Some or all of the functional units of the in-vehicle status acquisition unit 650, the interface control unit 660, the boarding person determination unit 670, and the sharing settlement unit 680 may be realized by hardware such as an LSI, an ASIC, or an FPGA. And may be realized by cooperation of software and hardware.

車内状況取得部650、インターフェース制御部660、乗車希望者判定部670、および相乗り精算部680は、それぞれ車内状況取得部150、インターフェース制御部160、乗車希望者判定部170、および相乗り精算部180に相当する。   The in-vehicle status acquisition unit 650, the interface control unit 660, the boarding candidate determination unit 670, and the sharing settlement unit 680 are respectively connected to the in-vehicle status acquisition unit 150, the interface control unit 160, the boarding candidate determination unit 170, and the joining settlement unit 180. Equivalent to.

[車両制御処理]
以下、第2実施形態の車両システム2による各種車両制御の一例について説明する。図14は、第2実施形態の車両制御処理の一例を示すフローチャートである。なお、図14の例では、すでに乗員の運転により、目的地への走行が実行されている車両Mに対して相乗り運転を行う場合の車両制御について説明する。図14の処理は、例えば、相乗り運転が実行されるごとに実行される。
[Vehicle control processing]
Hereinafter, an example of various vehicle control by the vehicle system 2 of 2nd Embodiment is demonstrated. FIG. 14 is a flowchart showing an example of the vehicle control process of the second embodiment. Note that, in the example of FIG. 14, vehicle control in the case of performing joint driving on a vehicle M for which traveling to a destination has already been executed by driver's driving will be described. The process of FIG. 14 is performed, for example, each time the sharing operation is performed.

まず、運転制御ユニット600は、車両Mが目的地に到着したか否かを判定する(S200)。目的地に到着していない場合、車内状況取得部650は、車両M内の状況を取得する(ステップS202)。   First, the operation control unit 600 determines whether the vehicle M has arrived at the destination (S200). When the vehicle has not arrived at the destination, the in-vehicle condition acquisition unit 650 acquires the condition in the vehicle M (step S202).

次に、インターフェース制御部660は、所定の条件に基づき、車外に情報を出力するか否かを判定する(ステップS204)。車外に情報を出力する場合、インターフェース制御部660は、車外用ディスプレイ32または車外用スピーカ33の少なくとも一方を用いて、少なくとも車両に乗り込み可能な人数に関する情報を出力する(ステップS206)。   Next, the interface control unit 660 determines whether to output information outside the vehicle based on a predetermined condition (step S204). When outputting information outside the vehicle, the interface control unit 660 outputs information on at least the number of people who can get into the vehicle using at least one of the display for outside the vehicle 32 or the speaker 33 for the outside of the vehicle (step S206).

次に、乗車希望者判定部670は、乗車希望者が存在するか否かを判定する(ステップS208)。乗車希望者が存在する場合、乗車希望者判定部670は、乗車希望者の人物情報を取得する(ステップS210)。次に、乗車希望者判定部670は、乗車希望者が乗車に不適格な人物か否かを判定する(ステップS212)。乗車希望者が乗車に不適格な人物である場合、インターフェース制御部660は、乗車拒否に関する制御を行い(ステップS214)、ステップS200の処理に戻る。また、乗車希望者が乗車に不適格な人物でない場合、インターフェース制御部660は、車内用機器31を用いて乗車希望者が存在することを、車両Mを運転している乗員に通知する(ステップS216)。この場合、インターフェース制御部660は、例えば、スピーカにより警報を出力してもよく、乗車希望者が存在することを表示装置に出力してもよい。これにより、乗員の運転により、乗車希望者のいる位置に車両Mを停車させることができる。乗車希望者の乗車後、ステップS200の処理に戻る。   Next, the boarding candidate determination unit 670 determines whether there is a boarding candidate (step S208). If the passenger desires to ride, the passenger wishing determination unit 670 acquires personal information on the rider desired to ride (step S210). Next, the boarding candidate determination unit 670 determines whether the boarding candidate is an unqualified person for boarding (step S212). If the person desiring to board the vehicle is a person who is not suitable for boarding, the interface control unit 660 performs control relating to boarding refusal (step S214), and returns to the process of step S200. Further, when the passenger is not a person who is not suitable for riding, the interface control unit 660 notifies the passenger driving the vehicle M that there is a passenger using the in-vehicle device 31 (Step S216). In this case, for example, the interface control unit 660 may output an alarm using a speaker, or may output to a display device that there is a passenger desire. Thereby, the vehicle M can be stopped at the position where the passenger wants to get in by the driver's driving. After the passenger wants to ride, the process returns to the process of step S200.

また、ステップS200において、目的地に到着した場合、相乗り精算部680は、相乗り者がいるか否かを判定する(ステップS218)。相乗り者がいる場合、相乗り精算部180は、乗員に対する相乗り精算を行う(ステップS220)。これにより、本フローチャートを終了する。   Further, in step S200, when arriving at the destination, the sharing settlement unit 680 determines whether there is a sharer (step S218). When there is a sharer, the share settlement section 180 performs share settlement for the occupant (step S220). Thus, the present flowchart ends.

上述したように、第2実施形態によれば、車両制御システムは、手動運転用の車両に対する相乗りを容易に実現することができる。これにより、第2実施形態の車両システム2は、例えば、運転者が存在するタクシーやバス等に適用することができる。   As described above, according to the second embodiment, the vehicle control system can easily realize joining of a vehicle for manual driving. Thus, the vehicle system 2 according to the second embodiment can be applied to, for example, a taxi or a bus in which a driver is present.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。   As mentioned above, although the form for carrying out the present invention was explained using an embodiment, the present invention is not limited at all by such an embodiment, and various modification and substitution within the range which does not deviate from the gist of the present invention Can be added.

1、2…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、30…HMI、31…車内用機器、32…車外用ディスプレイ、33…車外用スピーカ、50…ナビゲーション装置、60…MPU、70…車両センサ、80…運転操作子、90…車室内カメラ、100…自動運転制御ユニット、120…第1制御部、121…外界認識部、122…自車位置認識部、123…行動計画生成部、140…第2制御部、141…走行制御部、150、650…車内状況取得部、160、660…インターフェース制御部、170、670…乗車希望者判定部、180、680…相乗り精算部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、400…端末装置、500…サーバ装置、600…運転制御ユニット、M…車両   1, 2 ... vehicle system, 10 ... camera, 12 ... radar device, 14 ... finder, 16 ... object recognition device, 20 ... communication device, 30 ... HMI, 31 ... in-vehicle devices, 32 ... in-vehicle displays, 33 ... vehicles Speaker for external use, 50: navigation device, 60: MPU, 70: vehicle sensor, 80: driving operation element, 90: in-vehicle camera, 100: automatic driving control unit, 120: first control unit, 121: external recognition unit, 122 ... Vehicle position recognition unit, 123 ... Action plan generation unit, 140 ... Second control unit, 141 ... Travel control unit, 150, 650 ... In-vehicle status acquisition unit, 160, 660 ... Interface control unit, 170, 670 ... Ride request Judgment unit 180, 680 ... Reconciliation unit 200 ... Travel driving force output device 210 ... Brake device 220 ... Steering device 400 ... Terminal Location, 500 ... server, 600 ... operation control unit, M ... vehicle

Claims (11)

車外に向けて情報を出力する出力部と、
車内の状況を取得する車内状況取得部と、
前記車内状況取得部により取得された車内情報に基づき、車両に乗り込み可能か否かを、前記出力部に出力させる制御部と、
前記車両の周辺にいる人物を認識する認識部と、
前記認識部により認識された人物が乗車に不適格か否かを判定する判定部と、
を備える車両制御システム。
An output unit that outputs information to the outside of the vehicle;
An in-vehicle condition acquisition unit that acquires the condition in the vehicle,
A control unit that causes the output unit to output whether or not it is possible to get into the vehicle based on the in-vehicle information acquired by the in-vehicle condition acquisition unit;
A recognition unit that recognizes a person who is in the vicinity of the vehicle;
A determination unit that determines whether the person recognized by the recognition unit is ineligible for boarding;
Vehicle control system comprising:
前記判定部は、前記認識部により認識された人物が乗車希望者であるか否かを判定し、前記乗車希望者に対して、乗車に不適格か否かを判定する、
請求項1に記載の車両制御システム。
The determination unit determines whether or not the person recognized by the recognition unit is a rider and is determined to be ineligible for the rider.
The vehicle control system according to claim 1.
前記車両の周辺を撮像する撮像部を更に備え、
前記判定部は、前記撮像部により撮像された画像を解析し、解析結果として得られる前記画像に含まれる人物の動作に基づいて、前記人物が乗車に不適格か否かを判定する、
請求項1または2に記載の車両制御システム。
It further comprises an imaging unit for imaging the periphery of the vehicle,
The determination unit analyzes an image captured by the imaging unit, and determines whether the person is ineligible for getting on the basis of an operation of a person included in the image obtained as an analysis result.
A vehicle control system according to claim 1 or 2.
前記人物が吐き出す息を検出する車両センサを更に備え、
前記判定部は、前記車両センサにより検出された息から得られる情報に基づいて、前記人物が乗車に不適格か否かを判定する、
請求項1から3のうち、いずれか1項に記載の車両制御システム。
The vehicle further comprises a vehicle sensor for detecting a breath exhaled by the person,
The determination unit determines whether the person is ineligible for boarding based on information obtained from the breath detected by the vehicle sensor.
The vehicle control system according to any one of claims 1 to 3.
前記判定部は、前記車両の乗員により予め設定された人物情報に基づいて、前記人物が乗車に不適格か否かを判定する、
請求項1から4のうち何れか1項に記載の車両制御システム。
The determination unit determines whether the person is ineligible for boarding based on person information preset by an occupant of the vehicle.
The vehicle control system according to any one of claims 1 to 4.
前記判定部は、前記車両への乗車時に乗員により設定された相乗りしたくない人物情報を取得し、取得した人物情報に基づいて、前記人物が乗車に不適格か否かを判定する、
請求項5に記載の車両制御システム。
The determination unit acquires person information which is not desired to be joined by a passenger when the user gets into the vehicle, and determines whether the person is ineligible for boarding based on the acquired person information.
The vehicle control system according to claim 5.
前記車両の乗員に対して情報を出力するインターフェース制御部を備え、
前記インターフェース制御部は、前記判定部により、前記認識部により認識された人物が乗車希望者であると判定された場合に、前記乗員に前記乗車希望者を相乗りさせても良いか否かを問い合わせる出力を行い、
前記判定部は、前記出力に対する前記乗員の入力結果に基づいて、前記人物が乗車に不適格か否かを判定する、
請求項1から6のうち、いずれか1項に記載の車両制御システム。
An interface control unit for outputting information to the occupants of the vehicle;
When it is determined by the determination unit that the person recognized by the recognition unit is a passenger, the interface control unit inquires whether or not the passenger may join the passenger. Output
The determination unit determines whether the person is ineligible for boarding based on an input result of the occupant for the output.
The vehicle control system according to any one of claims 1 to 6.
前記乗員の識別情報に、前記乗員により相乗りしたくないと判定された人物の情報を対応付けて登録するサーバを備え、
前記判定部は、前記乗員の乗車時に前記サーバより前記相乗りしたくないと判定された人物の情報を取得する、
請求項7に記載の車両制御システム。
The server is provided with a server that associates and registers information of a person who is determined not to want to ride jointly by the occupant with the identification information of the occupant.
The determination unit acquires, from the server, information of a person who is determined not to want to join the vehicle when the occupant gets on the vehicle.
The vehicle control system according to claim 7.
前記車両は、前記判定部により前記人物が乗車に不適格と判定された場合に、前記人物の乗車を拒否する制御を行う、
請求項1から8のうち、いずれか1項に記載の車両制御システム。
The vehicle performs control to reject the person's getting on when the determination unit determines that the person is not suitable for getting on the vehicle.
The vehicle control system according to any one of claims 1 to 8.
車載コンピュータが、
車内の状況を取得し、
取得された車内情報に基づき、車両に乗り込み可能か否かを、出力部により車外に向けて出力し、
車両の周辺にいる人物を認識し、
認識された前記人物が乗車に不適格か否かを判定する、
車両制御方法。
The in-vehicle computer
Get the situation in the car,
Based on the acquired in-vehicle information, the output unit outputs to the outside of the vehicle whether it is possible to get in the vehicle,
Recognize the person around the vehicle,
Determine whether the recognized person is ineligible for a ride
Vehicle control method.
車載コンピュータに、
車内の状況を取得させ、
取得された車内情報に基づき、車両に乗り込み可能か否かを、出力部により車外に向けて出力させ、
車両の周辺にいる人物を認識させ、
認識された前記人物が乗車に不適格か否かを判定させる、
車両制御プログラム。
In-vehicle computers,
Get the situation in the car,
Based on the acquired in-vehicle information, the output unit outputs to the outside of the vehicle whether or not it is possible to get in the vehicle,
Make people aware of the surroundings of the vehicle,
Make it possible to determine whether the recognized person is ineligible for getting on the vehicle,
Vehicle control program.
JP2018207884A 2018-11-05 2018-11-05 Vehicle control system, vehicle control method, and vehicle control program Expired - Fee Related JP6627128B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018207884A JP6627128B2 (en) 2018-11-05 2018-11-05 Vehicle control system, vehicle control method, and vehicle control program
JP2019184769A JP6916852B2 (en) 2018-11-05 2019-10-07 Vehicle control systems, vehicle control methods, and vehicle control programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018207884A JP6627128B2 (en) 2018-11-05 2018-11-05 Vehicle control system, vehicle control method, and vehicle control program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016216380A Division JP6458792B2 (en) 2016-11-04 2016-11-04 Vehicle control system, vehicle control method, and vehicle control program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019184769A Division JP6916852B2 (en) 2018-11-05 2019-10-07 Vehicle control systems, vehicle control methods, and vehicle control programs

Publications (2)

Publication Number Publication Date
JP2019073279A true JP2019073279A (en) 2019-05-16
JP6627128B2 JP6627128B2 (en) 2020-01-08

Family

ID=66544664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018207884A Expired - Fee Related JP6627128B2 (en) 2018-11-05 2018-11-05 Vehicle control system, vehicle control method, and vehicle control program

Country Status (1)

Country Link
JP (1) JP6627128B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106837A (en) * 2019-08-05 2019-09-18 엘지전자 주식회사 Autonomous vehicle for carrying user group with multiple users, method and control server for controlling the autonomous driving vehicle
CN114170786A (en) * 2020-09-11 2022-03-11 丰田自动车株式会社 Information processing apparatus, information processing system, and information processing method
KR20220112872A (en) * 2021-02-03 2022-08-12 한양대학교 에리카산학협력단 Rescue system for self driving cars

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044702A (en) * 2001-07-30 2003-02-14 Casio Comput Co Ltd System and method for mediating shared taxi
JP2003271706A (en) * 2002-03-14 2003-09-26 Fujitsu Ltd Method, program, and apparatus for taxi sharing management
JP2004102644A (en) * 2002-09-10 2004-04-02 Hitachi Ltd Bus service support system
JP2007293530A (en) * 2006-04-24 2007-11-08 Nishiwaki Keisan Center:Kk Transportation fare decision method for transportation means and transportation fare decision device
JP2009211526A (en) * 2008-03-05 2009-09-17 Denso Corp Ride sharing support device and program for ride sharing support device
JP2009289192A (en) * 2008-05-30 2009-12-10 Aisin Aw Co Ltd Carpool system
WO2015166811A1 (en) * 2014-04-30 2015-11-05 みこらった株式会社 Automatic driving vehicle and program for automatic driving vehicle
JP2016126405A (en) * 2014-12-26 2016-07-11 日本電気株式会社 Potential customer position information detection system, method, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044702A (en) * 2001-07-30 2003-02-14 Casio Comput Co Ltd System and method for mediating shared taxi
JP2003271706A (en) * 2002-03-14 2003-09-26 Fujitsu Ltd Method, program, and apparatus for taxi sharing management
JP2004102644A (en) * 2002-09-10 2004-04-02 Hitachi Ltd Bus service support system
JP2007293530A (en) * 2006-04-24 2007-11-08 Nishiwaki Keisan Center:Kk Transportation fare decision method for transportation means and transportation fare decision device
JP2009211526A (en) * 2008-03-05 2009-09-17 Denso Corp Ride sharing support device and program for ride sharing support device
JP2009289192A (en) * 2008-05-30 2009-12-10 Aisin Aw Co Ltd Carpool system
WO2015166811A1 (en) * 2014-04-30 2015-11-05 みこらった株式会社 Automatic driving vehicle and program for automatic driving vehicle
JP2016126405A (en) * 2014-12-26 2016-07-11 日本電気株式会社 Potential customer position information detection system, method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106837A (en) * 2019-08-05 2019-09-18 엘지전자 주식회사 Autonomous vehicle for carrying user group with multiple users, method and control server for controlling the autonomous driving vehicle
KR102228516B1 (en) 2019-08-05 2021-03-16 엘지전자 주식회사 Autonomous vehicle for carrying user group with multiple users, method and control server for controlling the autonomous driving vehicle
CN114170786A (en) * 2020-09-11 2022-03-11 丰田自动车株式会社 Information processing apparatus, information processing system, and information processing method
KR20220112872A (en) * 2021-02-03 2022-08-12 한양대학교 에리카산학협력단 Rescue system for self driving cars
KR102568277B1 (en) * 2021-02-03 2023-08-22 한양대학교 에리카산학협력단 Rescue system for self driving cars

Also Published As

Publication number Publication date
JP6627128B2 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
JP6458792B2 (en) Vehicle control system, vehicle control method, and vehicle control program
CN110228472B (en) Vehicle control system, vehicle control method, and storage medium
JP6648256B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP7176974B2 (en) Pick-up management device, pick-up control method, and program
WO2018116461A1 (en) Vehicle control system, vehicle control method, and vehicle control program
WO2018116409A1 (en) Vehicle contrl system, vehcle control method, and vehicle control program
CN110234552B (en) Vehicle control system, vehicle control method, and storage medium
WO2019163121A1 (en) Vehicle control system, vehicle control method, and program
JP6327424B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP7032295B2 (en) Vehicle control systems, vehicle control methods, and programs
WO2018123014A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2018075873A (en) Vehicle control system, vehicle control method, and vehicle control program
WO2018087862A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2019159426A (en) Vehicle control device, vehicle control method, and program
WO2018142560A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6916852B2 (en) Vehicle control systems, vehicle control methods, and vehicle control programs
US20210107509A1 (en) Vehicle control system, vehicle control device, and vehicle control method
JP6627128B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2019158646A (en) Vehicle control device, vehicle control method, and program
CN111932927B (en) Management device, management method, and storage medium
JP2020160705A (en) Vehicle control device, vehicle control method, and program
CN112319474A (en) Vehicle control device, vehicle control method, and storage medium
JP2019156266A (en) Vehicle controller, vehicle control method and program
JP2019164729A (en) Vehicle control system, vehicle control method, and program
JP6874209B2 (en) Vehicle control systems, vehicle control methods, programs, and information processing equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191112

R150 Certificate of patent or registration of utility model

Ref document number: 6627128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees