JP2020142669A - 車両管理システム - Google Patents

車両管理システム Download PDF

Info

Publication number
JP2020142669A
JP2020142669A JP2019041168A JP2019041168A JP2020142669A JP 2020142669 A JP2020142669 A JP 2020142669A JP 2019041168 A JP2019041168 A JP 2019041168A JP 2019041168 A JP2019041168 A JP 2019041168A JP 2020142669 A JP2020142669 A JP 2020142669A
Authority
JP
Japan
Prior art keywords
vehicle
user
command
passenger
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019041168A
Other languages
English (en)
Other versions
JP7013407B2 (ja
Inventor
英斗 三宅
Hideto Miyake
英斗 三宅
岡本 進一
Shinichi Okamoto
進一 岡本
賢太郎 大友
Kentaro Otomo
賢太郎 大友
大輝 齊藤
Daiki Saito
大輝 齊藤
石井 宏二
Koji Ishii
宏二 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2019041168A priority Critical patent/JP7013407B2/ja
Priority to EP20156908.4A priority patent/EP3706037A1/en
Priority to US16/808,511 priority patent/US11731643B2/en
Priority to CN202010143556.1A priority patent/CN111669542B/zh
Publication of JP2020142669A publication Critical patent/JP2020142669A/ja
Application granted granted Critical
Publication of JP7013407B2 publication Critical patent/JP7013407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】搭乗者が他の搭乗者に知られることなく車両側に要望を伝えることが可能な車両管理システムを提供する。【解決手段】車両管理システム1は、相乗り車両100に設けられ、車両に搭乗している複数の搭乗者Pを撮像する撮像装置13と、撮像装置による撮像結果に基づいて、複数の搭乗者の一人であるユーザ200が、事前に登録した動作である所定動作を行ったことを検出する検出部と、所定動作が検出された場合に、所定動作に対応する指令として事前に登録された指令である所定指令に基づいて車両を制御する制御部と、を備える。【選択図】図4

Description

本発明は、車両管理システムに関する。
従来、ユーザの感情を推定する技術がある。特許文献1には、車両においてユーザの感情を推定する技術が開示されている。特許文献1の情報提示装置は、車両がタクシーである場合、乗客の感情を推定し、乗客が恐怖の感情を抱いたら、運転手に通知することなくスピード制限をかける、アクセルを重くする、又は、自動運転に切り替えるなどの制御を行う。
特開2017−73107号公報
ここで、複数の乗客が乗り合う相乗り車両において、搭乗者の要望を適切に把握できることが望まれている。搭乗者は、他の搭乗者に知られることなく車両側に要望を伝えたいと希望することがある。例えば、迷惑行為を行っている搭乗者に対して車両側から注意をして欲しい場合に、他の搭乗者に知られることなく車両側に要望を伝えることができれば、相乗り車両の利便性が向上する。
本発明の目的は、搭乗者が他の搭乗者に知られることなく車両側に要望を伝えることが可能な車両管理システムを提供することである。
本発明の車両管理システムは、相乗り車両に設けられ、前記車両に搭乗している複数の搭乗者を撮像する撮像装置と、前記撮像装置による撮像結果に基づいて、複数の前記搭乗者の一人であるユーザが、事前に登録した動作である所定動作を行ったことを検出する検出部と、前記所定動作が検出された場合に、前記所定動作に対応する指令として事前に登録された指令である所定指令に基づいて前記車両を制御する制御部と、を備えることを特徴とする。
本発明に係る車両管理システムは、相乗り車両に設けられ、車両に搭乗している複数の搭乗者を撮像する撮像装置と、撮像装置による撮像結果に基づいて、複数の搭乗者の一人であるユーザが、事前に登録した動作である所定動作を行ったことを検出する検出部と、所定動作が検出された場合に、所定動作に対応する指令として事前に登録された指令である所定指令に基づいて車両を制御する制御部と、を備える。本発明に係る車両管理システムによれば、予め登録しておいた所定動作をすることで、他の搭乗者に知られることなく車両側に要望を伝えることができるという効果を奏する。
図1は、実施形態に係る車両管理システムのブロック図である。 図2は、実施形態に係る車両の要部斜視図である。 図3は、実施形態に係る車両の断面図である。 図4は、実施形態に係る車内システムの配置図である。 図5は、実施形態における所定動作の登録に係るフローチャートである。 図6は、実施形態における車両制御に係るフローチャートである。 図7は、実施形態における車両制御に係る他のフローチャートである。
以下に、本発明の実施形態に係る車両管理システムにつき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。
[実施形態]
図1から図7を参照して、実施形態について説明する。本実施形態は、車両管理システムに関する。図1は、実施形態に係る車両管理システムのブロック図、図2は、実施形態に係る車両の要部斜視図、図3は、実施形態に係る車両の断面図、図4は、実施形態に係る車内システムの配置図、図5は、実施形態における所定動作の登録に係るフローチャート、図6は、実施形態における車両制御に係るフローチャート、図7は、実施形態における車両制御に係る他のフローチャートである。
図1に示すように、実施形態に係る車両管理システム1は、車内システム2およびセンターシステム3を有する。車内システム2は、車両100に配置されたシステムである。実施形態に係る車両100は、相乗り車両(ライドシェア車両)であり、相乗りを希望する複数の乗客を同乗させて走行する車両である。車両100は、それぞれの乗客を希望の降車地点まで乗車させる。車両100は、乗客が指定した乗車地点でそれぞれの乗客を乗車させてもよく、予め定められた乗車地点で乗客を乗車させてもよい。
本実施形態の車両100は、自動で走行する自動走行車両である。すなわち、車両100は、運転者が同乗せずに乗客のみを搭乗させて走行することができる。
図3および図4に示すように、車両100は、複数の座席Sを有する。複数の座席Sは、車両前後方向および車幅方向に沿って配列されている。図4に示すように、車両100の前部に配置された座席Sは、第一座席S1および第二座席S2を有する。第一座席S1は、車室内INにおける右前部に配置された座席Sである。第二座席S2は、車室内INにおける左前部に配置された座席Sである。乗客は、複数の座席Sのうち何れかの座席Sに着座する。以下の説明では、座席Sに着座した乗客を「搭乗者P」と記載する。また、第一座席S1に着座した乗客を「第一搭乗者P1」と記載し、第二座席S2に着座した乗客を「第二搭乗者P2」と記載する。
図1に示すように、車内システム2は、システム制御部4、車両制御処理部5、画像処理部6、音声出力処理部7、指向性スピーカ8、スピーカ9、個人用ディスプレイ10、ディスプレイ11、手元ボタン12、カメラ13、および通信機14を有する。
システム制御部4は、車両100を統合制御する。システム制御部4は、例えば、電子制御装置である。システム制御部4は、演算部や記憶部、インタフェース等を有している。システム制御部4は、車内システム2を構成する各部と通信可能に接続されている。
車両制御処理部5は、車両100の各種動作を制御する。車両制御処理部5は、例えば、車両100の走行制御や、車両100のドアを開閉する制御を実行する。車両制御処理部5は、システム制御部4からの指令に基づいて、車両100に設けられた各種のアクチュエータを制御する。車両100に設けられたアクチュエータは、走行駆動用のアクチュエータ、制動用のアクチュエータ、転舵用のアクチュエータ、ドア開閉用のアクチュエータ等を含む。車両制御処理部5は、車両100を自動走行させることができる。車両制御処理部5は、車両100に配置された各種のセンサやナビゲーション装置から情報を取得し、取得した情報に基づいてアクチュエータを制御し、車両100を自動走行させる。
画像処理部6は、カメラ13によって撮像された画像に対して画像処理を実行する。より詳しくは、画像処理部6は、カメラ13によって撮像された画像に基づいて、車両100に搭乗している複数の搭乗者Pの動作を検出する。搭乗者Pの動作には、搭乗者Pの姿勢、顔の向き、視線方向等が含まれる。画像処理部6の検出結果の情報は、システム制御部4に送信される。
音声出力処理部7は、車両100における音声出力を処理する。音声出力処理部7は、例えば、予め記憶している音声データに基づいて、指向性スピーカ8やスピーカ9から出力する音声信号を生成する。音声出力処理部7による処理結果の情報は、システム制御部4に送られる。
指向性スピーカ8および個人用ディスプレイ10は、車両100の各搭乗者Pに対して一つずつ設けられている。スピーカ9およびディスプレイ11は、複数の搭乗者Pに対して一つ設けられる共通の装置である。図2から図4に示すように、車両100には、第一モジュール21および第二モジュール22が配置されている。第一モジュール21は、複数の搭乗者Pに対して一つ設けられる共通のモジュールである。本実施形態の第一モジュール21は、全ての搭乗者Pに共通であり、車両100に一つだけ設けられている。第二モジュール22は、各搭乗者Pに対して一つずつ設けられる個人用のモジュールである。つまり、第二モジュール22は、車両100に配置された座席Sの数と同じ数だけ配置される。
第一モジュール21および第二モジュール22は、車両100の屋根部材(ルーフ)RFに配置される。屋根部材RFは、ピラーPLを介して車両100のボデー本体BOによって支持されている。第一モジュール21および第二モジュール22は、屋根部材RFにおける車室内側に固定されている。第一モジュール21は、屋根部材RFにおける前部中央に配置されている。第二モジュール22は、各座席Sに対応して配置されている。第二モジュール22は、右前モジュール22Aおよび左前モジュール22Bを有する。
右前モジュール22Aは、車両100が有する複数の第二モジュール22のうち、第一座席S1に対応する第二モジュール22である。右前モジュール22Aは、屋根部材RFにおける前部右側に配置されている。左前モジュール22Bは、第二座席S2に対応する第二モジュール22である。左前モジュール22Bは、屋根部材RFにおける前部左側に配置されている。
図4に示すように、第一モジュール21は、スピーカ9、ディスプレイ11、カメラ13、およびマイク15を有する。スピーカ9は、車両100の全ての搭乗者Pに向けて音声を出力する。ディスプレイ11は、車両後方を向けて配置されている。ディスプレイ11は、全ての搭乗者Pに向けて画像を表示する。ディスプレイ11は、例えば、全ての搭乗者Pから視認可能な位置に配置されている。
カメラ13は、車室内INを撮像する撮像装置である。カメラ13は、第一モジュール21におけるディスプレイ11よりも上側に配置されている。カメラ13は、車両後方を向けて配置されており、車室内INにおけるカメラ13よりも後方を撮像する。カメラ13は、例えば、全ての搭乗者Pを撮像可能なように構成されている。例えば、カメラ13の配置や画角は、全搭乗者Pの顔や上半身を撮像可能なように設定されている。カメラ13は、システム制御部4からの撮像指令に応じて撮像を行ってもよく、自動的かつ連続的に撮像を行ってもよい。本実施形態のカメラ13は、例えば、ビデオカメラであり、車室内INの動画を撮像する。
マイク15は、車室内INの音声を集音するマイクである。マイク15は、例えば、全搭乗者Pの声を検出できるように構成されている。マイク15は、車両後方を向けて配置されている。
第二モジュール22は、指向性スピーカ8および個人用ディスプレイ10を有する。指向性スピーカ8は、指向性を有する音声を出力するスピーカである。例えば、右前モジュール22Aの指向性スピーカ8は、第一搭乗者P1を対象とする指向性の音声を出力するように構成されている。すなわち、右前モジュール22Aの指向性スピーカ8は、第一搭乗者P1を除く搭乗者Pには音声が聞こえないように、指向性の音声を出力する。同様に、左前モジュール22Bの指向性スピーカ8は、第二搭乗者P2を対象とする指向性の音声を出力するように構成されている。なお、指向性スピーカ8は、第二モジュール22に配置されることに代えて、各座席Sのヘッドレスト等に配置されてもよい。
個人用ディスプレイ10は、それぞれの搭乗者Pに対して配置された個人用の表示デバイスである。例えば、右前モジュール22Aの個人用ディスプレイ10は、第一搭乗者P1のための専用ディスプレイである。個人用ディスプレイ10は、対象とする搭乗者Pを除く搭乗者Pからは画像が見えないように構成されていてもよい。例えば、右前モジュール22Aの個人用ディスプレイ10は、第一搭乗者P1を除く搭乗者Pからは画像が見えないように、指向性を有する表示光を出力してもよい。
手元ボタン12は、各搭乗者Pの手元に配置されたボタンである。手元ボタン12は、例えば、各座席Sに設けられてもよく、ボデー本体BOにおける各座席Sの近傍に配置されてもよい。搭乗者Pは、手元ボタン12によって、車内システム2に対する指令やリクエストを行うことができる。
通信機14は、センターシステム3との間で電波の送受信を行う無線通信機である。通信機14は、センターシステム3の通信機34と直接交信してもよく、基地局による中継や他の車両100による中継を介して通信機34と交信してもよい。車内システム2の通信機14とセンターシステム3の通信機34との通信には、有線の通信が含まれてもよい。
センターシステム3は、システム制御部31、モニター32、マイク33、および通信機34を有する。センターシステム3は、複数の車両100を管理するシステムである。センターシステム3は、各車両100から、車両100の現在位置、搭乗者Pの有無等の情報を通信によって取得する。センターシステム3は、カメラ13によって撮像された画像データを各車両100から取得し、車両100の車室内INの様子を監視することもできる。また、センターシステム3は、搭乗予定の乗客に関する情報を通信によって各車両100に送信する。センターシステム3は、後述するセンター監視員300を撮像するカメラを有していてもよい。
モニター32は、車両100を監視するための情報を表示する。モニター32は、例えば、カメラ13によって撮像された画像を表示する。モニター32は、複数の車両100に関する情報を表示することも、特定の車両100に関する情報を表示することも可能である。車両100は、センター監視員300によって監視される。マイク33は、センター監視員300の音声を拾う。マイク33は、センター監視員300が装着するヘッドセットに設けられていてもよい。センター監視員300は、例えば、ヘッドセットを介して車両100の搭乗者Pと会話することができる。
センター監視員300は、センターシステム3を操作して、各車両100を監視する。センター監視員300は、例えば、車両100から応答リクエストがなされた場合、その車両100の搭乗者Pに対応する。また、センター監視員300は、車両100において異常等が検出された場合に、その車両100を監視する。また、センター監視員300は、搭乗者Pが困っている様子を車両100が検出した場合、その搭乗者Pに対して個別のメッセージを送ってもよい。
図5および図6を参照して、本実施形態に係る車両管理システム1の動作について説明する。図5には、車両100を利用するユーザ200が合図を登録するための手順が示されている。本実施形態の車両100を利用するユーザ200は、音声以外の合図によって車両管理システム1に対するリクエストや指令を行うことができる。ユーザ200は、リクエストや指令に対応する動作(合図)を事前に車両管理システム1に登録しておくことができる。
以下の説明では、ユーザ200によって事前に登録された動作を「所定動作」と称する。所定動作は、車両管理システム1に対する指令と関連づけられる。ユーザ200は、所定動作による車両100に対する指令を車両管理システム1に事前に登録する。以下の説明では、ユーザ200によって登録された指令であり、所定動作に対応する指令として事前に登録された指令を「所定指令」と称する。
ユーザ200は、例えば、スマートフォン201を用いて所定動作および所定指令を登録する。図1に示すように、実施形態の車内システム2およびセンターシステム3は、スマートフォン201との間で通信を行うことができる。車内システム2とスマートフォン201との通信は、例えば、近距離無線通信によってなされる。センターシステム3とスマートフォン201との通信は、例えば、通信会社の通信回線を利用してなされる。
本実施形態の車両管理システム1では、センターシステム3が所定動作および所定指令の登録を受け付ける。登録作業は、例えば、スマートフォン201のアプリケーションによって実行される。このアプリケーションでは、図5のステップS10に示すように、ユーザ200の名前、住所等の個人情報が登録される。アプリケーションにおいて入力された個人情報は、センターシステム3に送信される。センターシステム3は、ユーザ200に対してユーザIDを割り当て、ユーザIDと関連づけて個人情報を記憶する。
次に、ステップS20に示すように、ユーザ200の顔の写真が登録される。ユーザ200は、スマートフォン201のカメラによって自分の顔を撮像し、顔画像データを生成する。ユーザ200は、送信する顔画像データをアプリケーションにおいて指定する。このときに、異なる向きで撮像された複数の顔画像データが送信されてもよい。例えば、ユーザ200の顔を正面から撮像した画像に加えて、斜め方向から顔を撮像した画像が送信されてもよい。指定された顔画像データは、スマートフォン201からセンターシステム3に送信される。センターシステム3は、ユーザIDと関連づけて顔画像データを記憶する。車内システム2は、顔画像データに基づいてユーザ200を識別する。
次に、ステップS30において、ジェスチャや口唇術用のデータを登録するか否かが確認される。本実施形態では、所定動作として、ジェスチャや口の動きを登録することができる。つまり、ステップS30では、所定動作を登録するか否かが確認される。ステップS30においてユーザ200が所定動作を登録すると指定した場合(S30−Y)にはステップS40に進み、所定動作を登録しないと指定した場合(S30−N)には本制御フローは終了する。
ステップS40において、ユーザ200は、所定動作を登録する。ユーザ200は、スマートフォン201によって所定動作の動画を撮影する。この場合、ユーザ200は、所定動作を行い、その動作を行っているユーザ200の動画を撮影する。ユーザ200は、送信する動画データをアプリケーションにおいて指定する。一つの動画データは、例えば、一つの所定動作に対応する。この場合、複数の所定動作を登録する場合、複数の動画データが送信される。また、ユーザ200は、所定動作に対応する指令を指定する。所定動作に関連づけることができる指令は、例えば、車両管理システム1によって事前に用意されている。
選択することができる指令には、例えば、迷惑行為を行う他の搭乗者Pに対して車両100から注意をさせる指令が含まれる。以下の説明では、迷惑行為を行う他の搭乗者Pに対して車両100から注意をさせる指令を「第一の所定指令」と称する。また、第一の所定指令を実行させるための所定動作を「第一の所定動作」と称する。
選択することができる指令には、ユーザ200の降車地点を変更する指令が含まれてもよい。降車地点を変更する指令は、例えば、降車地点を最寄りのトイレから近い地点へと変更させる指令であってもよい。以下の説明では、降車地点を変更する指令を「第二の所定指令」と称する。また、第二の所定指令を実行させるための所定動作を「第二の所定動作」と称する。
選択することができる指令には、車両100を速やかに停車させる指令が含まれてもよい。車両100を速やかに停車させる指令を「第三の所定指令」と称する。また、第三の所定指令を実行させるための所定動作を「第三の所定動作」と称する。
選択することができる指令には、センター監視員300に通知させる指令が含まれてもよい。この通知は、例えば、ユーザ200との個別コミュニケーションを要求する通知であってもよく、車室内INにおいて困った事態が発生したことを知らせる通知であってもよい。車両100からセンター監視員300に通知させる指令を「第四の所定指令」と称する。また、第四の所定指令を実行させるための所定動作を「第四の所定動作」と称する。
ユーザ200は、所定動作の動画データと、この所定動作に対応する所定指令との組み合わせをアプリケーションにおいて指定する。動画データおよび対応する所定指令は、センターシステム3に送信される。センターシステム3は、ユーザIDと関連づけて、所定動作の動画データおよびこの所定動作に対応する所定指令との組み合わせを記憶する。例えば、センターシステム3は、第一の所定動作と第一の所定指令とを関連づけて記憶し、第二の所定動作と第二の所定指令とを関連づけて記憶する。ステップS40が完了すると、本制御フローは終了する。
ユーザ200は、車両100を利用する場合、センターシステム3に利用予約を行う。利用予約は、例えば、スマートフォン201のアプリケーションによってなされる。ユーザ200は、利用日、乗車場所、乗車時刻、降車場所、降車時刻等の予約情報をセンターシステム3に登録する。センターシステム3は、ユーザIDと関連づけて予約情報を記憶する。センターシステム3は、予約情報に基づいて、車両100を配車する。センターシステム3は、ユーザ200に割り当てられた車両100に対して、ユーザ200のユーザID、予約情報、所定動作の情報、および所定指令を送信する。所定動作の情報は、ユーザ200によって登録された動画データそのものであってもよく、動画データから抽出された情報、即ち画像から所定動作を検出するための情報であってもよい。
車両100は、予約情報によって指定された乗車時刻に、指定された乗車場所に停車する。ユーザ200は、車両100に乗車する際にユーザ認証を行う。ユーザ認証は、例えば、スマートフォン201のアプリケーションによって実行される。スマートフォン201から車内システム2に対して、例えば、ユーザIDおよび予約情報が送信される。車内システム2は、受信した情報に基づいて、予約したユーザ200が乗車したことを確認する。センターシステム3から車内システム2への所定動作および所定指令の送信は、予約情報の送信と同時になされてもよく、ユーザ200の乗車が確認された後になされてもよい。あるいは、所定動作および所定指令は、ユーザ認証を行う際にスマートフォン201から車内システム2に送信されてもよい。
ユーザ200が座席Sに着座すると、着座位置の確認がなされる。着座位置の確認は、例えば、画像処理部6による画像処理の結果に基づいてなされる。システム制御部4は、例えば、画像処理部6に対して、ユーザ200の顔画像データを受け渡す。画像処理部6は、カメラ13によって撮像された画像に基づいて、ユーザ200がどの座席Sに着座しているかを判断する。画像処理部6は、判断結果に基づいて、ユーザ200が座っている座席Sの位置をシステム制御部4に送る。
図6を参照して、ユーザ200が車両100を利用するときの車両管理システム1の動作について説明する。図6のステップS110では、ユーザ200が車両100に乗車する。車両100は、上記のようにユーザ認証を行い、かつユーザ200が着座した座席Sを特定する。以下の説明では、ユーザ200が左前座席S2に座っているものとする。つまり、ユーザ200は、第二搭乗者P2として車両100に乗車している。
次に、ステップS120では、ユーザ200が車両管理システム1に通知したい事態が発生する。例えば、第一座席S1の第一搭乗者P1が大声で話しているなど、ユーザ200が迷惑を感じているとする。この場合、ユーザ200は、第一搭乗者P1に対して車両100から注意をして欲しいと考える。しかしながら、注意をさせた人がユーザ200であることを第一搭乗者P1には知られずに済ませたい。本実施形態の車両管理システム1は、以下に説明する様に、他の搭乗者Pに知られることなく車両100に対する指令を行うことが可能である。
ステップS130において、ユーザ200は、予め登録した所定動作を行う。ここで行われる所定動作は、第一の所定動作である。第一の所定動作は、例えば、ジェスチャであってもよく、口の動きであってもよく、口を特定の形にしておくことであってもよく、その他の動作であってもよい。
ステップS140において、車内システム2は、所定動作を検出したか否かを判定する。システム制御部4は、ユーザ200が乗車すると、画像処理部6に対してユーザ200の所定動作についての情報を送る。画像処理部6は、カメラ13によって撮像された画像データに基づいて、ユーザ200の所定動作が検出されたか否かの判定を行う。画像処理部6は、ユーザ200の所定動作が検出されると、検出された所定動作をシステム制御部4に送る。例えば、ユーザ200による第一の所定動作が検出された場合、画像処理部6は、第一の所定動作が検出されたことをシステム制御部4に知らせる。ステップS140において所定動作が検出されたと肯定判定された場合(S140−Y)にはステップS150に進み、否定判定された場合(S140−N)にはステップS120に移行する。
ステップS150において、システム制御部4は、第一の所定指令に応じた制御を実施する。システム制御部4は、音声出力処理部7に対して、迷惑行為を注意する音声データを準備させる。準備されるメッセージは、例えば、「他の乗客に迷惑をかける行為はやめてください」という音声メッセージである。システム制御部4は、この音声メッセージを指向性スピーカ8またはスピーカ9によって出力させる。迷惑行為を行っている搭乗者Pが特定されている場合には、指向性スピーカ8によってメッセージが出力されてもよい。例えば、第一搭乗者P1が迷惑行為を行っていると判定できている場合には、右前モジュール22Aの指向性スピーカ8によってメッセージが出力されてもよい。
システム制御部4は、迷惑行為を注意する文字や画像を個人用ディスプレイ10やディスプレイ11に表示させてもよい。迷惑行為を行っている搭乗者Pが特定されている場合には、個人用ディスプレイ10にメッセージが表示されてもよい。例えば、第一搭乗者P1が迷惑行為を行っていると判定できている場合には、右前モジュール22Aの個人用ディスプレイ10によってメッセージが表示されてもよい。ステップS150が実行されると、本制御フローは終了する。
なお、本実施形態の車両管理システム1は、所定動作が検出されない場合であっても搭乗者Pが困っていることを自動検知することができる。図7を参照して、困っている搭乗者Pを自動検知する動作について説明する。図7のステップS210では、ユーザ200が車両100に乗車する。車両100は、ユーザ認証を行い、かつユーザ200が着座した座席Sを特定する。ユーザ200は、所定動作を登録済みであっても、所定動作を登録していなくてもよい。ユーザ200は、例えば、第二座席S2に着座する。ステップS210が実行されると、ステップS220に進む。
ステップS220では、画像処理部6によって、ユーザ200の動作が検出される。画像処理部6は、ユーザ200以外の搭乗者Pの動作も検出する。ステップS220が実行されると、ステップS230に進む。
ステップS230において、ユーザ200が困っていそうか否かが判定される。画像処理部6は、ステップS220において検出した動作と、予め記憶しているサンプル動作との類似度を算出する。ここで、サンプル動作は、困っている搭乗者Pが行う一般的な動作として登録された動作である。サンプル動作は、例えば、迷惑行為を行っている他の搭乗者Pから顔をそむけたり、顔をしかめたりする動作や、落ち着きがなくそわそわした動作などである。サンプル動作は、搭乗者Pの姿勢が、リラックスした姿勢から緊張した姿勢に変化する動作であってもよい。
画像処理部6は、ステップS220において検出されたユーザ200の動作と、サンプル動作との類似度を算出する。画像処理部6は、類似度が高い場合、ユーザ200がサンプル動作と同じ動作を行ったと判定する。画像処理部6は、判定結果をシステム制御部4に送信する。システム制御部4は、ユーザ200がサンプル動作と同じ動作を行ったとの判定結果を画像処理部6から受信した場合、ユーザ200が困っていそうであると判定する。ステップS230においてユーザ200が困っていそうであると肯定判定された場合(S230−Y)にはステップS240に進み、否定判定された場合(S230−N)にはステップS220に移行する。
ステップS240において、システム制御部4は、ユーザ200との個別コミュニケーションを実行する。ここで、個別コミュニケーションは、ユーザ200以外の搭乗者Pには知られないようになされる秘密のコミュニケーションである。例えば、システム制御部4は、指向性スピーカ8によってユーザ200に対する音声メッセージを出力する。このときの音声メッセージは、例えば、「困っている場合にはジェスチャや口の動きによって教えてください」というメッセージである。
ユーザ200は、事前に所定動作を登録している場合には、所定動作を行うことで車両100に対する指令を行うことができる。ユーザ200は、所定動作がうまく検出されない場合や、所定動作を登録していない場合には、車両管理システム1から提示された動作を行ってもよい。システム制御部4は、困っている内容を伝えるための動作を個別コミュニケーションによってユーザ200に知らせる。例えば、システム制御部4は、「他の乗客を迷惑に感じている場合、カメラ13を10秒間見てください」との音声メッセージを指向性スピーカ8から出力する。システム制御部4からユーザ200への問いかけがなされると、ステップS250に進む。
ステップS250において、システム制御部4は、ユーザ200が実際に困っているかを判定する。システム制御部4は、ユーザ200への問いかけがなされた後のユーザ200の動作によって、ユーザ200が実際に困っているか否かを判定する。ユーザ200への問いかけに応じてなされた動作を「応答動作」と称する。例えば、問いかけに応じてユーザ200がカメラ13を10秒間見続けた場合、システム制御部4は、ユーザ200が実際に困っていると判定する。一方、ユーザ200がカメラ13を見続ける動作を行わない場合、システム制御部4はユーザ200が困っていないと判定する。ステップS250においてユーザ200が困っていると肯定判定された場合(S250−Y)にはステップS260に進み、否定判定された場合(S250−N)にはステップS220に移行する。
ステップS260において、システム制御部4は、ユーザ200の応答動作に応じた制御を実行する。システム制御部4は、ユーザ200がカメラ13を10秒間見た応答動作に応じて、迷惑行為を行っている搭乗者Pを注意する。システム制御部4は、例えば、「他の乗客に迷惑をかける行為はやめてください」との音声メッセージをスピーカ9や指向性スピーカ8から出力する。ステップS260が実行されると、本制御フローは終了する。
なお、ユーザ200との個別コミュニケーションにおいて、システム制御部4は、個人用ディスプレイ10によってユーザ200に対する問いかけを表示してもよい。個人用ディスプレイ10が指向性の高い表示光を出力するものである場合、他の搭乗者Pに知られることなくユーザ200に問いかけを行うことができる。
システム制御部4からの問いかけに対してユーザ200が行う応答動作は、カメラ13を見る動作には限定されない。ユーザ200が行う応答動作は、例えば、手元ボタン12を押す動作であってもよい。例えば、手元ボタン12を押す回数によって、困っている内容や車両100に対する指令を知らせることができる。手元ボタン12を押す回数に応じて、「他の乗客がうるさくて困っている」、「トイレに行きたい」、「センター監視員300に通知して欲しい」、「速やかに停車させて欲しい」等のメッセージを送ることができる。
なお、ユーザ200に対する問いかけは、センター監視員300によってなされてもよい。この場合、センター監視員300は、困っている場合は応答動作を行うようにユーザ200に伝える。問いかけに応じてユーザ200が応答動作を行った場合、センター監視員300は、車内システム2に対して指令をする。例えば、ユーザ200が迷惑行為で困っていることを示す応答動作を行った場合、センター監視員300は、迷惑行為を注意するように車内システム2に対して指令する。
以上説明したように、本実施形態に係る車両管理システム1は、カメラ13と、画像処理部6と、システム制御部4と、を有する。カメラ13は、相乗り車両としての車両100に設けられた撮像装置である。カメラ13は、車両100に搭乗している複数の搭乗者Pを撮像する。画像処理部6は、複数の搭乗者Pの一人であるユーザ200が所定動作を行ったことを検出する検出部として機能する。画像処理部6は、カメラ13による撮像結果に基づいて所定動作を検出する。所定動作は、ユーザ200によって事前に登録された動作である。
システム制御部4は、所定動作が検出された場合に、所定指令に基づいて車両100を制御する制御部である。所定指令は、所定動作に対応する指令として事前に登録された指令である。本実施形態に係る車両管理システム1によれば、ユーザ200は、他の搭乗者Pに知られることなく車両100に対する指令を行うことができる。
[実施形態の変形例]
ユーザ200は、スマートフォン201を利用して車両100側に対して各種の指令を行うこともできる。例えば、第一の所定指令乃至第四の所定指令がスマートフォン201によって車内システム2に送信されてもよい。ユーザ200は、スマートフォン201による通信と所定動作との組み合わせによって車内システム2に対して要望を伝えてもよい。
上記の実施形態および変形例に開示された内容は、適宜組み合わせて実行することができる。
1 車両管理システム
2 車内システム
3 センターシステム
4 システム制御部
5 車両制御処理部
6 画像処理部
7 音声出力処理部
8 指向性スピーカ
9 スピーカ
10 個人用ディスプレイ
11 ディスプレイ
12 手元ボタン
13 カメラ
14 通信機
15 マイク
21 第一モジュール
22 第二モジュール
22A:右前モジュール、 22B:左前モジュール
31 システム制御部
32 モニター
33 マイク
34 通信機
100 車両
200 ユーザー
201 スマートフォン
300 センター監視員
P 搭乗者
P1:第一搭乗者、 P2:第二搭乗者
S 座席
S1:右前座席、 S2:左前座席

Claims (5)

  1. 相乗り車両に設けられ、前記車両に搭乗している複数の搭乗者を撮像する撮像装置と、
    前記撮像装置による撮像結果に基づいて、複数の前記搭乗者の一人であるユーザが、事前に登録した動作である所定動作を行ったことを検出する検出部と、
    前記所定動作が検出された場合に、前記所定動作に対応する指令として事前に登録された指令である所定指令に基づいて前記車両を制御する制御部と、
    を備えることを特徴とする車両管理システム。
  2. 前記所定指令は、迷惑行為を行う前記搭乗者に対して前記車両から注意をさせる指令である
    請求項1に記載の車両管理システム。
  3. 前記所定指令は、前記ユーザの降車地点を変更する指令である
    請求項1に記載の車両管理システム。
  4. 前記所定指令は、降車地点を最寄りのトイレから近い地点へと変更させる指令である
    請求項3に記載の車両管理システム。
  5. 前記制御部は、困っている人の一般的な動作を前記搭乗者が行った場合、個別コミュニケーションによって前記搭乗者に対して実際に困っているかを問いかけ、
    前記制御部は、前記制御部からの問いかけに応じて前記搭乗者が行った応答動作に基づいて前記車両を制御する
    請求項1から4の何れか1項に記載の車両管理システム。
JP2019041168A 2019-03-07 2019-03-07 車両管理システム Active JP7013407B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019041168A JP7013407B2 (ja) 2019-03-07 2019-03-07 車両管理システム
EP20156908.4A EP3706037A1 (en) 2019-03-07 2020-02-12 Vehicle management system
US16/808,511 US11731643B2 (en) 2019-03-07 2020-03-04 Vehicle management system
CN202010143556.1A CN111669542B (zh) 2019-03-07 2020-03-04 车辆管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019041168A JP7013407B2 (ja) 2019-03-07 2019-03-07 車両管理システム

Publications (2)

Publication Number Publication Date
JP2020142669A true JP2020142669A (ja) 2020-09-10
JP7013407B2 JP7013407B2 (ja) 2022-01-31

Family

ID=69581886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041168A Active JP7013407B2 (ja) 2019-03-07 2019-03-07 車両管理システム

Country Status (4)

Country Link
US (1) US11731643B2 (ja)
EP (1) EP3706037A1 (ja)
JP (1) JP7013407B2 (ja)
CN (1) CN111669542B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6936380B1 (ja) * 2020-12-28 2021-09-15 本田技研工業株式会社 車両制御システム、および車両制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3061315U (ja) * 1999-02-08 1999-09-17 秀明 山口 報知装置
JP2000198370A (ja) * 1999-01-08 2000-07-18 Yazaki Corp 事故防止システム
JP2005089095A (ja) * 2003-09-17 2005-04-07 Toshiba Elevator Co Ltd エレベータ制御装置
JP2014197252A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
US20140306799A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle Intruder Alert Detection and Indication
US20170235371A1 (en) * 2015-03-16 2017-08-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
WO2018037954A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
JP2018150672A (ja) * 2017-03-09 2018-09-27 株式会社オートネットワーク技術研究所 駆動制御装置及びコンピュータプログラム
JP2018179547A (ja) * 2017-04-04 2018-11-15 株式会社日立システムズ 安全走行支援システム、安全走行支援方法、並びに安全走行支援プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6177887B1 (en) * 1999-07-06 2001-01-23 George A. Jerome Multi-passenger vehicle catering and entertainment system
DE10258306B4 (de) * 2002-12-13 2007-01-11 Daimlerchrysler Ag Fahrersitzintegrierter Monitor für Fondinsassen
US7446669B2 (en) * 2003-07-02 2008-11-04 Raanan Liebermann Devices for use by deaf and/or blind people
JP2008085584A (ja) * 2006-09-27 2008-04-10 Omron Corp 監視装置および方法、監視システム、並びにプログラム
JP2009073428A (ja) * 2007-09-24 2009-04-09 Clarion Co Ltd 車載装置及び車載システム
WO2012117508A1 (ja) * 2011-02-28 2012-09-07 株式会社Pfu 情報処理装置、方法およびプログラム
US20140067204A1 (en) * 2011-03-04 2014-03-06 Nikon Corporation Electronic apparatus, processing system, and computer readable storage medium
JP2013063810A (ja) * 2011-09-15 2013-04-11 Hitachi Building Systems Co Ltd エレベータ監視装置
US20140309862A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc User profile exchange via vehicle supported communications protocol
JP2015169980A (ja) * 2014-03-05 2015-09-28 シャープ株式会社 運転監視装置
JP6656079B2 (ja) 2015-10-08 2020-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報提示装置の制御方法、及び、情報提示装置
US11194405B2 (en) 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
US20170316533A1 (en) * 2016-04-29 2017-11-02 GM Global Technology Operations LLC Personal safety and privacy features for passengers of an autonomous vehicle based transportation system
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10654448B2 (en) * 2016-08-30 2020-05-19 Nzube John Etonye Vehicle security system
DE102016217770A1 (de) * 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
US10913463B2 (en) * 2016-09-21 2021-02-09 Apple Inc. Gesture based control of autonomous vehicles
JP2018060487A (ja) * 2016-09-30 2018-04-12 株式会社ギガテック タクシーの運行支援システム
FR3064794B1 (fr) * 2017-03-28 2019-11-01 Continental Automotive France Systeme et procede de transmission d’un message oral dans un vehicule
US10395457B2 (en) * 2017-08-10 2019-08-27 GM Global Technology Operations LLC User recognition system and methods for autonomous vehicles
US20190146491A1 (en) * 2017-11-10 2019-05-16 GM Global Technology Operations LLC In-vehicle system to communicate with passengers
DE102017220116A1 (de) * 2017-11-13 2019-05-16 Ford Global Technologies, Llc Verfahren und Vorrichtung um einen schnellen Halt eines autonom fahrenden Fahrzeugs zu ermöglichen
WO2019111244A1 (en) * 2017-12-04 2019-06-13 Guardian Optical Technologies Ltd. Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s)
US10697791B2 (en) * 2018-01-15 2020-06-30 Ford Global Technologies, Llc On-the-horizon navigation system
WO2019165451A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US20190391581A1 (en) * 2018-06-26 2019-12-26 Uber Technologies, Inc. Passenger Health Monitoring and Intervention for Autonomous Vehicles
CN208314982U (zh) 2018-07-05 2019-01-01 南京信息工程大学 一种出租车与网约车的智能报警系统
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
CN109291793A (zh) 2018-11-01 2019-02-01 西安培华学院 网约车乘客报警装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000198370A (ja) * 1999-01-08 2000-07-18 Yazaki Corp 事故防止システム
JP3061315U (ja) * 1999-02-08 1999-09-17 秀明 山口 報知装置
JP2005089095A (ja) * 2003-09-17 2005-04-07 Toshiba Elevator Co Ltd エレベータ制御装置
JP2014197252A (ja) * 2013-03-29 2014-10-16 パナソニック株式会社 ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
US20140306799A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle Intruder Alert Detection and Indication
US20170235371A1 (en) * 2015-03-16 2017-08-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
WO2018037954A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
JP2018150672A (ja) * 2017-03-09 2018-09-27 株式会社オートネットワーク技術研究所 駆動制御装置及びコンピュータプログラム
JP2018179547A (ja) * 2017-04-04 2018-11-15 株式会社日立システムズ 安全走行支援システム、安全走行支援方法、並びに安全走行支援プログラム

Also Published As

Publication number Publication date
JP7013407B2 (ja) 2022-01-31
US11731643B2 (en) 2023-08-22
CN111669542A (zh) 2020-09-15
EP3706037A1 (en) 2020-09-09
CN111669542B (zh) 2023-03-24
US20200283010A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
US10032453B2 (en) System for providing occupant-specific acoustic functions in a vehicle of transportation
JP6962280B2 (ja) 車両制御方法、車両制御システム、及び車両制御装置
JP5527411B2 (ja) 車両の緊急退避装置
US20170349184A1 (en) Speech-based group interactions in autonomous vehicles
JP2014167438A (ja) 情報通知装置
JP2010149767A (ja) 車両の乗客監視装置
US10674003B1 (en) Apparatus and system for identifying occupants in a vehicle
JP2006194633A (ja) 車両用音声情報提供装置
EP3939837A1 (en) Control system and presentation system
JP2017021745A (ja) 情報収集装置、情報収集サーバ及び情報収集システム
JP2018041238A (ja) 運転支援システム
JP7013407B2 (ja) 車両管理システム
JP2008221989A (ja) モニタ装置及びプログラム
US20230234564A1 (en) Agent apparatus
JP6620724B2 (ja) 車両用会話支援装置
WO2021192793A1 (ja) 転倒防止システム
JP2022185633A (ja) パーテーション装置及び方法
JP2022129156A (ja) 車両の車内モニタリング装置
WO2021069950A1 (ja) 情報処理装置および情報処理方法
JP2017214021A (ja) 運転支援装置及びコンピュータプログラム
JP2020121668A (ja) 利用者支援システム及び利用者支援装置
JP2020130502A (ja) 情報処理装置および情報処理方法
WO2023229001A1 (ja) 投影システム
WO2022239642A1 (ja) 車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラム
JP7211016B2 (ja) 通報表示装置および車両管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220119

R150 Certificate of patent or registration of utility model

Ref document number: 7013407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350