CN115244915B - 车用装置以及车用装置执行的方法 - Google Patents

车用装置以及车用装置执行的方法 Download PDF

Info

Publication number
CN115244915B
CN115244915B CN202180019539.XA CN202180019539A CN115244915B CN 115244915 B CN115244915 B CN 115244915B CN 202180019539 A CN202180019539 A CN 202180019539A CN 115244915 B CN115244915 B CN 115244915B
Authority
CN
China
Prior art keywords
vehicle
portable terminal
wireless communication
driver
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180019539.XA
Other languages
English (en)
Other versions
CN115244915A (zh
Inventor
小矶久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN115244915A publication Critical patent/CN115244915A/zh
Application granted granted Critical
Publication of CN115244915B publication Critical patent/CN115244915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

搭乘者检测部(113)从拍摄车辆的车厢内的相机(20)拍摄到的影像中识别搭乘于车辆的搭乘者的生物体信息，并且确定该搭乘者的搭乘位置。判断部(114)判断与搭乘者检测部(113)识别出的生物体信息建立关联的便携终端(2)是否处于能够通过近距离无线通信连接的状态。决定部(115)在判断部(114)判断为处于能够通过近距离无线通信连接的状态的便携终端(2)存在多个的情况下，基于由与该多个便携终端(2)建立关联的多个生物体信息确定的多个搭乘者的搭乘位置来决定通过近距离无线通信连接的便携终端(2)。通信控制部(116)通过近距离无线通信连接决定部(115)决定的便携终端(2)和本车用装置。

Description

车用装置以及车用装置执行的方法
技术领域
本发明涉及输入由相机拍摄的影像的车用装置以及车用装置执行的方法。
背景技术
在驾驶汽车的过程中，驾驶员手持便携终端(主要是智能手机、功能手机)用于通话等被法律和条例禁止。作为其对策，利用了以下的方法：通过近距离无线通信连接便携终端和车辆侧的免提对应设备，以免提的方式进行通话或操作。
通常，免提用的车辆侧的设备被设定为自动连接到最近的最后连接的便携终端。因此，在与上次的驾驶员不同的驾驶员驾驶的情况下，不自动连接，需要选择新的驾驶员的便携终端的操作。另外，如果新的驾驶员没有注意到而驾驶，则存在无法使用免提功能的不便。
对此，提出了以下的方法：参照将用户的脸部信息和便携终端的识别信息相关联的表，识别由驾驶席相机拍摄的驾驶员的脸部，从而自动建立与便携终端的连接(例如，参照专利文献1)。另外，在该驾驶席相机中，无法拍摄包含驾驶员以外的同乘者的车厢内整体。
现有技术文献
专利文献
专利文献1：日本特开2008-042577号公报。
发明内容
例如，在驾驶员暂时下车的情况下，如果车辆侧的免提对应设备的连接目的地从驾驶员的便携终端切换到坐在副驾驶席上的同乘者的便携终端，则很方便。
本实施方式是鉴于这样的状况而完成的，其目的在于提供一种提高车辆内的、持有便携终端的搭乘者的便利性的技术。
为了解决上述课题，本实施方式的某个方式的车用装置包括：搭乘者检测部，从相机拍摄到的影像中识别搭乘于所述车辆的搭乘者，并且确定识别出的搭乘者的搭乘位置，所述相机拍摄车辆的车厢内；判断部，判断与所述搭乘者检测部识别出的搭乘者建立关联的便携终端是否处于能够通过近距离无线通信连接的状态；决定部，在所述判断部判断为处于能够通过所述近距离无线通信连接的状态的便携终端存在多个的情况下，基于与该多个便携终端建立关联的多个搭乘者的搭乘位置来决定通过所述近距离无线通信连接的便携终端；以及通信控制部，通过所述近距离无线通信连接所述决定部决定的便携终端和本车用装置。
本实施方式的其他方式是车用装置执行的方法。该方法包括以下步骤：从相机拍摄到的影像中识别搭乘于所述车辆的搭乘者，并且确定识别出的搭乘者的搭乘位置，所述相机拍摄车辆的车厢内；判断与识别出的搭乘者建立关联的便携终端是否处于能够通过近距离无线通信连接的状态；在判断为处于能够通过所述近距离无线通信连接的状态的便携终端存在多个的情况下，基于与该多个便携终端建立关联的多个搭乘者的搭乘位置来决定通过所述近距离无线通信连接的便携终端；以及通信控制部，通过所述近距离无线通信连接决定的便携终端和本车用装置。
另外，将以上构成要素的任意组合、本实施方式的表现在装置、方法、系统、记录介质、计算机程序等之间变换后的形态作为本实施方式的形态是有效的。
根据本实施方式，能够提高车辆内的、持有便携终端的搭乘者的便利性。
附图说明
图1是表示车辆内的相机的设置例的图。
图2是用于说明实施方式涉及的车辆用免提控制系统的构成例的图。
图3是表示在用户列表保持部中保持的用户列表的一例的图。
图4是表示车辆内的搭乘者和搭乘位置的检测例的图。
图5是表示实施例1涉及的车辆用免提控制装置的脸部认证处理的流程的流程图。
图6是表示实施例2涉及的车辆用免提控制装置的脸部认证处理的流程的流程图。
图7是表示实施例2的变形例涉及的车辆用免提控制装置的脸部认证处理的流程的流程图。
具体实施方式
本实施方式涉及用于实现车辆的搭乘者所持有的便携终端的免提功能的车辆用免提控制系统。在实施方式涉及的车辆用免提控制系统中，使用对包括驾驶席、副驾驶席和后部座席的车厢内进行大范围拍摄的相机。
图1是表示车辆C1内的相机20的设置例的图。在图1所示的例子中，相机20安装在车内后视镜上。相机20可以转用行车记录仪或车厢内监控系统(In-Cabin MonitoringSystem)中使用的相机，也可以准备免提控制系统专用的相机。
图2是用于说明实施方式涉及的车辆用免提控制系统1的构成例的图。车辆用免提控制系统1包括车辆用免提控制装置10、相机20、麦克风30、扬声器40、监视器50和操作部60。
相机20拍摄车厢内，并将拍摄到的影像输出到车辆用免提控制装置10。相机20可以是可见光相机，也可以是红外线相机。另外，也可以是能够拍摄可见光区域和红外区域这两者的相机。
相机20包括透镜、拍摄元件和信号处理电路。例如，拍摄元件能够使用CMOS(Complementary Metal Oxide Semiconductor互补金属氧化物半导体)图像传感器或CCD(Charge Coupled Device电荷耦合器件)图像传感器。拍摄元件将经由透镜入射的光转换为电影像信号，并输出到信号处理电路。在拍摄红外线影像的情况下，使用在红外区域具有灵敏度的拍摄元件。信号处理电路对从拍摄元件输入的影像信号实施A/D转换、噪声去除等信号处理，并输出到车辆用免提控制装置10。
车辆用免提控制装置10具备处理部11、存储部12、无线通信部13以及车内通信部14。车辆用免提控制装置10可以安装在专用的框体内，也可以作为汽车导航系统、显示器音响、行车记录仪或车厢内监控系统的一个功能而组装。
处理部11包括图像识别部111、注册部112、搭乘者检测部113、判断部114、决定部115、通信控制部116以及功能控制部117。处理部11的功能能够通过硬件资源和软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源能够使用CPU、ROM、RAM、GPU(GraphicsProcessing Unit，图形处理单元)、DSP(Digital Signal Processor，数字信号处理器)、ISP(Image Signal Processor，图像信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)和其它LSI。作为软件资源能够利用固件等程序。
存储部12包括HDD(Hard Disk Drive，硬盘驱动器)和SSD(Solid State Drive，固态驱动器)等非易失性记录介质而构成，并且包括用户列表保持部121。用户列表保持部121是将车辆的搭乘者的脸部认证数据和与搭乘者所持有的便携终端2相关的信息建立关联而注册的列表。在用户列表中，不仅持有驾驶证的人可以注册，而且没有驾驶证的人也可以注册。
图3是表示保持在用户列表保持部121中的用户列表的一例的图。在图3所示的用户列表中，针对每个注册者关联注册有脸部认证数据和与便携终端2有关的信息。作为与便携终端2相关的信息，注册有便携终端2的名称、连接状态和AV源。作为连接状态，注册有免提通话的使用/不使用、音乐的自动再现的有无、影像的自动再现的有无、数据通信的使用/不使用。数据通信的使用/不使用规定了车辆用免提控制装置10是否通过便携终端2进行使用了便携电话网(4G/5G)的数据通信。例如，能够使用数据通信来执行音乐或影像的流再现。
AV源表示有音乐再现或有影像再现时的音乐数据或影像数据的提供源。例如，能够使用存储在便携终端2中的音乐文件或影像文件作为AV源。此外，能够使用由搭载在汽车导航系统或显示器音频中的调谐器接收的无线电广播或电视广播。另外，能够使用汽车导航系统或显示器音频中插入的CD/DVD中记录的声音文件或影像文件。
另外，也能够针对每个注册者注册AV环境以外的车内环境。例如，能够注册坐在驾驶席或副驾驶席的情况下的座椅位置、空调状态等。作为空调状态，能够注册制冷、制热、送风的切换、设定温度等。并且，作为车内环境，还能够注册后视镜的位置等。
返回到图2。图像识别部111在从相机20输入的影像的帧图像中使用用于检测人的脸部的识别器来搜索人的脸部。在脸部检测用的识别器中，使用学习出现了人的脸部的多个图像而生成的词典数据。例如，能够使用Haar-like特征量、HOG(Histogram ofGradients，梯度直方图)特征量、LBP(Local Binary Patterns，局部二值模式)特征量等来识别脸部。
注册部112将搭乘者的脸部认证数据和与便携终端2相关的信息注册到用户列表中。希望向用户列表注册的搭乘者在坐在前部座席的状态下，对操作部60进行操作而启动注册模式。当注册模式启动时，注册部112指示图像识别部111提取在帧图像内检测出的搭乘者的脸部区域的特征量，生成用于识别该搭乘者的脸部认证数据。
注册部112在从图像识别部111获取该搭乘者的脸部认证数据后，使通信控制部116开始与该搭乘者所持有的便携终端2的配对处理。车辆用免提控制装置10和便携终端2能够通过近距离无线通信连接。作为近距离无线通信，能够使用Bluetooth(蓝牙，注册商标)或Wi-Fi(注册商标)。以下，在本实施方式中设想使用蓝牙的例子。
注册部112从扬声器40和监视器50中的至少一者引导便携终端2的配对手续。首先，注册部112引导蓝牙功能开启。注册部112指示通信控制部116以从无线通信部13发送用于向周围通知自身的存在的信号(例如通告分组)。当便携终端2扫描该信号时，在便携终端2的画面上显示车辆用免提控制装置10作为可连接设备。当该搭乘者在该画面内选择车辆用免提控制装置10时，在便携终端2和车辆免提控制装置10之间执行配对处理。在配对处理中，进行在两者间通信数据的加密中使用的密钥的交换。
当完成与便携终端2的配对时，注册部112经由通信控制部116获取便携终端2的名称和识别信息。便携终端2的名称优选是对用户来说容易理解的名称。例如，也可以使用该搭乘者在便携终端2内的各种服务中使用的用户账户名。另外，在从便携终端2获取的名称是难以理解的名称的情况下，该搭乘者能够从操作部60编辑便携终端2的名称。
该搭乘者从操作部60输入上述连接状态的设定项目。注册部112将脸部认证数据、便携终端的名称和连接状态的各项目建立关联，注册到用户列表保持部121内的用户列表中。另外，该搭乘者也可以输入上述的车内环境的设定项目。在这种情况下，车内环境的各项目也建立关联地注册。
搭乘者检测部113从相机20输入的影像内识别搭乘在车辆C1上的搭乘者的脸部。具体地说，搭乘者检测部113比对由图像识别部111在帧图像内检测出的搭乘者的脸部的特征数据和注册在用户列表中的多个脸部认证数据来确定搭乘者的脸部。
搭乘者检测部113确定搭乘在车辆C1中的至少一个搭乘者的搭乘位置。具体而言，搭乘者检测部113针对每个搭乘者确定搭乘位置是驾驶席、副驾驶席、右后部座席、左后部座席、后部中央座席中的哪一个。
图4是表示车辆C1内的搭乘者和搭乘位置的检测例的图。在图4所示的帧图像F1内，当在驾驶席搭乘者用的检测区域A1内检测到人脸时，图像识别部111识别为驾驶席上存在搭乘者。同样地，当在副驾驶席搭乘用检测区域A2内检测到人脸时，图像识别部111识别为副驾驶席上存在搭乘者。同样地，当在右后部座席搭乘用的检测区域A3内检测到人脸时，图像识别部111识别为右后部座席上存在搭乘者。同样地，当在左后部座席搭乘用检测区域A4内检测到人脸时，图像识别部111识别为在左后部座席上存在搭乘者。另外，虽然不存在于图4所示的车厢内，但在存在后部中央座席的车辆的情况下，也设定后部中央座席搭乘用的检测区域。
返回到图2。判断部114判断与搭乘者检测部113识别出的搭乘者的脸部建立了关联的便携终端2是否处于能够通过近距离无线通信进行连接的状态。在通信控制部116将该便携终端2识别为可连接设备的情况下，判断部114判断为处于能够连接该便携终端2的状态。在识别出的搭乘者没有携带便携终端2的情况下、便携终端2的电源断开的情况下、或者蓝牙功能断开的情况下，判断部114判断为未处于能够连接该便携终端2的状态。
在判断部114判断为处于能够连接状态的便携终端2存在多个的情况下(即，存在多个搭乘者的情况下)，决定部115基于由与该多个便携终端2建立关联的多个脸部认证数据确定的多个搭乘者的搭乘位置来决定要连接的便携终端2。具体而言，决定部115将与在搭乘者就座的座席中优先顺序最高的座席上坐着的搭乘者的脸部认证数据建立关联的便携终端2决定为要连接的便携终端2。
例如，座席的优先顺序被设定为“驾驶席：1、副驾驶席：2、右后部座席：3、左后部座席：4”。在该例子中，在驾驶员下车的情况下，坐在副驾驶席上的搭乘者的便携终端2与车辆用免提控制装置10连接。另外，座席的优先顺序可以进行设定变更。例如，在职务高的人坐在右后部座席的情况下，也可以将优先顺序设定为右后部座席：1。
无线通信部13包括天线，以近距离无线通信方式与便携终端2收发信号。车内通信部14执行用于与车载网络3连接的通信处理。作为车载网络3，能够使用CAN(ControllerArea Network，控制器区域网络)、LIN(Local Interconnect Network，本地互连网络)、Ethernet(以太网)(注册商标)等。用于控制发动机和辅助设备的各种ECU(ElectronicControl Unit，电子控制单元)4连接到车载网络3。例如，还连接有用于控制座椅位置的ECU。此外，车辆C1中的空调系统的控制部也可以连接到车载网络3。
在图2所示的例子中，在车载网络3上连接有无线钥匙系统的接收机5b。接收机5b是用于从驾驶员持有的无线钥匙(也称为智能钥匙、智慧钥匙、遥控钥匙等)5a接收无线信号的接收机。
通信控制部116控制无线通信部13，进行与便携终端2的配对处理、与已配对的便携终端2的连接/断开处理、已配对的设备的管理等。另外，通信控制部116控制车内通信部14，在与车载网络3连接的各种ECU4或设备之间收发控制信号。
功能控制部117控制车辆用免提控制系统1的各种功能(例如免提通话功能、声音再现功能、影像再现功能等)。功能控制部117还能够控制通过近距离无线通信连接的便携终端2内的功能。
麦克风30收集车辆C1内的声音并输出到功能控制部117。在本实施方式中，能够用于免提通话。麦克风30可以在车辆C1中设置多个。例如，可以在前部座席和后部座席上分别设置一个，也可以在每个座席上设置。另外，至少一个麦克风30也可以转用汽车导航系统、显示器音频、行车记录仪或车厢内监控系统的麦克风。
扬声器40再现并输出从功能控制部117提供的声音数据。在本实施方式中，能够用于免提通话。扬声器40也可以在车辆C1内设置多个。例如，可以在前部座席和后部座席上分别设置一个，也可以在每个座席上设置。另外，至少一个扬声器40也可以转用汽车导航系统、显示器音频、汽车音频系统、行车记录仪或车厢内监控系统的扬声器。
监视器50再现并显示从功能控制部117提供的影像数据。监视器50能够使用液晶显示器、有机EL显示器、小型LED显示器等。监视器50也可以在车辆C1内设置多个。例如，可以在前部座席和后部座席上分别设置一个，也可以在每个座席上设置。另外，至少一个监视器50也可以转用汽车导航系统、显示器音频、行车记录仪或车厢内监视系统的监视器。
(实施例1)
图5是表示实施例1涉及的车辆用免提控制装置10的脸部认证处理的流程的流程图。实施例1是仅驾驶员搭乘在车辆C1内的情况的例子。处理部11获取由相机20拍摄的车厢内的影像(S10)。图像识别部111从所获取的影像的帧图像内检测在驾驶席的位置出现的搭乘者的脸部(S11)。
搭乘者检测部113将检测出的搭乘者的脸部的特征数据与注册在用户列表中的多个脸部认证数据进行比对(S12)。在用户列表内不存在一致的脸部认证数据的情况下(S13：否)，结束脸部认证处理。在用户列表内存在一致的脸部认证数据的情况下(S13：是)，判断部114参照用户列表来确定与一致的脸部认证数据建立关联的便携终端2，并请求通信控制部116与该便携终端2连接。
通信控制部116在接收到该请求后，确认是否有当前连接中的便携终端2(S14)。在有当前连接中的便携终端2的情况下(S14：是)，通信控制部116断开与当前连接中的便携终端2的通信(S15)。在没有当前连接中的便携终端2的情况下(S14：否)，跳过步骤S15的处理。通信控制部116与由判断部114请求的便携终端2连接(S16)。
判断部114参照用户列表根据需要对功能控制部117进行AV源的切换请求。功能控制部117当接收到AV源的切换请求时，根据该请求来切换AV源。功能控制部117从切换后的AV源获取声音数据或影像数据，以使扬声器40输出声音，或者使监视器50显示影像。
在上述图3所示的例子中，注册者No.1的注册信息是“便携终端名称：AAA、免提通话：使用、音乐再现：有、影像再现：无、数据通信：使用、AV源：便携终端2”。搭乘者No.2的注册信息是“携带终端名称：BBB、免提通话：使用、音乐再现：无、影像再现：有、数据通信：不使用、AV源：电视广播”。
当驾驶员从注册者No.1替换为注册者No.2时，搭乘者检测部113确认在图像内出现在驾驶席的位置的搭乘者的脸部的特征数据与脸部认证数据：FR0002一致。判断部114请求通信控制部116与便携终端AAA断开而与便携终端BBB连接。在与便携终端BBB连接之后，功能控制部117将AV源从便携终端2切换到电视广播。功能控制部117将驾驶席的座椅位置切换为注册者No.2用的位置。功能控制部117将空调的设定切换为注册者No.2用的设定。
功能控制部117能够经由通信控制部116控制新建立了连接的便携终端2的功能。例如，功能控制部117可以将便携终端2的声音模式切换到静音模式。
图5的处理开始可以在任意的时刻开始，例如，在通过车辆C1的发动机启动等向车辆用免提控制装置10提供电力时开始。另外，在向车辆用免提控制装置10提供电力的期间，定期执行从步骤S10到步骤S12的处理，检测出现在驾驶席的位置的搭乘者发生了变更的情况。
(实施例2)
图6是表示实施例2涉及的车辆用免提控制装置10的脸部认证处理的流程的流程图。在以下的说明中，假设以下情况：使车辆C1在某店的停车场停车，驾驶员进入该店，所以驾驶员离开车辆C1。
处理部11获取由相机20拍摄的车厢内的影像(S20)。图像识别部111在从所获取的影像的帧图像内检测到驾驶员不在时(S21：是)，判定在图像内是否存在未比对的其他搭乘者的脸部(S23)。在不存在未比对的其他搭乘者的脸部的情况下(S23：否)，结束脸部认证处理。即，维持与运转中的便携终端2能够通信的状态。
在存在未比对的其他搭乘者的脸部的情况下(S23：是)，图像识别部111从图像内确定出现在优先级高的座席的位置的搭乘者的脸部(S24)。搭乘者检测部113将所确定的搭乘者的脸部的特征数据与用户列表中注册的多个脸部认证数据进行比对(S25)。
在用户列表内不存在一致的脸部认证数据的情况下(S26：否)，转移到步骤S23，图像识别部111从图像内确定出现在优先级高的座席的位置的搭乘者的脸部(S24)。例如，在将座席的优先级设定为“驾驶席：1、副驾驶席：2、右后部座席：3、左后部座席：4”的情况下，当驾驶员不在时，按照副驾驶席→右后部座席→左后部座席的顺序比对搭乘者的脸部。
在步骤S26中，在用户列表内存在一致的脸部认证数据的情况下(S26：是)，判断部114参照用户列表确定与一致的脸部认证数据建立关联的便携终端2，并请求通信控制部116与该便携终端2连接。通信控制部116当接收到该请求时，断开与当前连接中的驾驶员的便携终端2的通信(S27)，而与被请求的便携终端2连接(S28)。在驾驶员的便携终端2处于近距离无线通信的可通信范围外而通信被断开的情况下跳过步骤S27的处理。功能控制部117参照用户列表切换为已进行了脸部认证的搭乘者的设定环境。例如，坐在副驾驶席或后部座席上的搭乘者能够以免提方式响应来自位于车辆C1外部的驾驶员的便携终端2的来电。
另外，在车辆C1内设置有多个麦克风30的情况下，功能控制部117在免提通话时，从在与持有新连接的便携终端2的搭乘者所坐的座席最近的位置设置的麦克风30获取车辆C1内的讲话者声音。同样，在车辆C1内设置有多个扬声器40的情况下，功能控制部117在免提通话时，从设置在最靠近该座席的位置的扬声器40输出对方的说话者声音。
功能控制部117能够经由通信控制部116控制新建立了连接的便携终端2的功能。例如，功能控制部117可以将该便携终端2的声音模式切换到静音模式。
(实施例2的变形例)
图7是表示实施例2的变形例涉及的车辆用免提控制装置10的脸部认证处理的流程的流程图。在图6所示的流程图中，说明了驾驶员从车辆C1下来、驾驶员不在的状况的例子。根据该情况，也有下车的驾驶员立即返回驾驶席的情况。例如，可以考虑驾驶员临时下车、从后备箱卸下货物而立即返回的情况等。
在图7所示的变形例涉及的流程图中，对图6所示的流程图追加步骤S22。当图像识别部111检测到驾驶员不在时(S21：是)，判断部114经由车内通信部14获取接收机5b从无线钥匙5a接收到的电波的电波强度。判断部114根据所获取的电波强度来估计接收机5b与无线钥匙5a之间的距离。
判断部114将估计出的到无线钥匙5a的距离与设定值进行比较(S22)。在到无线钥匙5a的距离超过设定值的情况下(S22：是)，转移到步骤S23，与图6同样地进行处理。到无线钥匙5a的距离超过设定值的情况也包括接收机5b无法接收来自无线钥匙5a的电波的情况。在到无线钥匙5a的距离为设定值以下的情况下(S22：否)，不进行所连接的便携终端2的切换，维持与驾驶员的便携终端2的连接。
在图7所示的例子中，作为在检测到驾驶员不在之后启动所连接的便携终端2的切换处理的条件，使用了到无线钥匙5a的距离超过设定值的情况。关于这一点，作为该切换处理的启动条件，也可以使用从检测到驾驶员不在起经过了设定时间的情况。另外，作为该切换处理的启动条件，也可以使用两者的AND(与)条件。另外，作为该切换处理的启动条件，也可以使用从车辆用免提控制装置10到驾驶员持有的便携终端2的距离超过设定值的情况。另外，作为该切换处理的启动条件，也可以使用到驾驶员所持有的便携终端2的距离超过设定值和从检测到驾驶员不在起经过了设定时间的AND条件。
即使在由于驾驶员的便携终端2的电池耗尽、某些不良情况、操作错误等而驾驶员坐在驾驶席上的状态下，该便携终端2与车辆用免提控制装置10之间的通信有时也会中断。在这种情况下，也可以不以图像识别部111检测的驾驶员的不在为条件，而当通信控制部116检测到不能与驾驶员的便携终端2进行通信时，启动步骤S23以下的连接的便携终端2的切换处理。
如以上说明的那样，根据本实施方式，能够提高车辆C1内的、持有便携终端2的搭乘者的便利性。具体而言，无论上次的驾驶员如何，都能够自动连接到本次驾驶员的便携终端2，减少了麻烦。即使在家庭成员之间或同事之间等更换驾驶员时，也能够自动连接到新的驾驶员的便携终端2。另外，即使在驾驶员离开车辆C1的情况下，也能够自动连接到坐在优先级高的座席上的搭乘者的便携终端2，能够有效利用车辆侧的免提功能。另外，在脸部认证数据的注册时，能够自动地输入在便携终端2内使用的用户账户名。
以上，基于实施方式对本发明进行了说明。本领域技术人员应理解，该实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。
在上述实施方式中，说明了功能控制部117经由通信控制部116将新建立了连接的便携终端2的声音模式切换为静音模式的例子。关于这一点，功能控制部117也可以根据搭乘者检测部113检测出的搭乘者的搭乘位置来变更所控制的便携终端2的功能。例如，功能控制部117也可以将坐在驾驶席的搭乘者的便携终端2的声音模式切换为静音模式，维持坐在驾驶席以外的搭乘者的便携终端2的声音模式的设定。
另外，在上述实施方式中，图像识别部111在从相机20输入的影像的帧图像内检测到人脸。关于这一点，为了识别在图像内出现的个人，也可以将脸部以外的生物体信息作为认证对象。例如，也可以使用出现在图像中的虹膜作为生物体信息。另外，也可以通过搭乘者将手掌放在相机20，将出现在图像内的指纹或静脉用作生物体信息。
另外，在上述实施方式中，作为便携终端2设想了具有通话功能的智能手机、功能手机。在这点上，便携终端2还包括不具有通话功能的平板电脑、便携式音乐播放器、便携式游戏机等。即使在不能使用免提功能的情况下，通过近距离无线通信与这些便携终端2连接，也能够将这些便携终端2作为AV源使用。
产业上的可用性
本发明可用于行车记录仪或车厢内监控系统。
符号说明
C1车辆、1车辆用免提控制系统、2便携终端、3车载网络、4ECU、5a无线钥匙、5b接收机、10车辆用免提控制装置、11处理部、111图像识别部、112注册部、113搭乘者检测部、114判断部、115决定部、116通信控制部、117功能控制部、12存储部、121用户列表保持部、13无线通信部、14车内通信部、20相机、30麦克风、40扬声器、50监视器、60操作部。

Claims (4)

1.一种车用装置，包括：
搭乘者检测部，从相机拍摄到的影像中识别搭乘于车辆的搭乘者，并且确定识别出的搭乘者的搭乘位置，所述相机拍摄车辆的车厢内；
判断部，判断与所述搭乘者检测部识别出的搭乘者建立关联的便携终端是否处于能够通过近距离无线通信连接的状态；
决定部，在所述判断部判断为处于能够通过所述近距离无线通信连接的状态的便携终端存在多个的情况下，基于与该多个便携终端建立关联的多个搭乘者的搭乘位置来决定通过所述近距离无线通信连接的便携终端；以及
通信控制部，通过所述近距离无线通信连接所述决定部决定的便携终端和本车用装置，
在通过所述近距离无线通信与搭乘在所述车辆的驾驶席上的搭乘者的便携终端连接的状态下，即使所述搭乘者检测部不能识别所述车辆的驾驶员，如果到所述驾驶员持有的所述车辆的无线钥匙的距离为设定值以下，则所述通信控制部也会持续与所述驾驶员的便携终端的连接。
2.如权利要求1所述的车用装置，其中，
所述决定部将与以下的搭乘者建立关联的便携终端决定为通过所述近距离无线通信连接的便携终端，该搭乘者是坐在所述车辆内的搭乘者就坐的座席中优先级最高的座席上的搭乘者。
3.如权利要求1或2所述的车用装置，还包括：
功能控制部，从所述车用装置侧控制通过所述近距离无线通信连接着的便携终端的功能，
所述功能控制部根据所述搭乘者检测部检测出的搭乘者的搭乘位置来变更要控制的便携终端的功能。
4.一种车用装置执行的方法，包括以下步骤：
从相机拍摄到的影像中识别搭乘于车辆的搭乘者，并且确定识别出的搭乘者的搭乘位置，所述相机拍摄车辆的车厢内；
判断与识别出的搭乘者建立关联的便携终端是否处于能够通过近距离无线通信连接的状态；
在判断为处于能够通过所述近距离无线通信连接的状态的便携终端存在多个的情况下，基于与该多个便携终端建立关联的多个搭乘者的搭乘位置来决定通过所述近距离无线通信连接的便携终端；以及
通过所述近距离无线通信连接所决定的便携终端和本车用装置，
在通过所述近距离无线通信与搭乘在所述车辆的驾驶席上的搭乘者的便携终端连接的状态下，即使在识别所述搭乘者并确定所述搭乘位置时不能识别所述车辆的驾驶员，如果到所述驾驶员持有的所述车辆的无线钥匙的距离为设定值以下，则控制所述车用装置持续与所述驾驶员的便携终端连接。
CN202180019539.XA 2020-12-14 2021-09-22 车用装置以及车用装置执行的方法 Active CN115244915B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020206569A JP7547979B2 (ja) 2020-12-14 2020-12-14 車両用ハンズフリー制御装置、及び車両用ハンズフリー制御装置が実行する方法
JP2020-206569 2020-12-14
PCT/JP2021/034702 WO2022130723A1 (ja) 2020-12-14 2021-09-22 車両用装置、及び車両用装置が実行する方法

Publications (2)

Publication Number Publication Date
CN115244915A CN115244915A (zh) 2022-10-25
CN115244915B true CN115244915B (zh) 2024-04-26

Family

ID=82059002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019539.XA Active CN115244915B (zh) 2020-12-14 2021-09-22 车用装置以及车用装置执行的方法

Country Status (4)

Country Link
US (1) US20230017282A1 (zh)
JP (1) JP7547979B2 (zh)
CN (1) CN115244915B (zh)
WO (1) WO2022130723A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042577A (ja) * 2006-08-07 2008-02-21 Toyota Motor Corp 車載装置
JP2009284442A (ja) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
JP2011114741A (ja) * 2009-11-30 2011-06-09 Equos Research Co Ltd 通信端末接続管理システム
WO2012160668A1 (ja) * 2011-05-25 2012-11-29 トヨタ自動車株式会社 車両通信装置
CN103138789A (zh) * 2011-11-24 2013-06-05 欧姆龙汽车电子株式会社 车辆用便携机以及信息通信系统
JP2013225799A (ja) * 2012-04-23 2013-10-31 Denso Corp 走行規制プログラム、携帯端末、車両用装置、車両用通信システム
CN105050858A (zh) * 2013-03-04 2015-11-11 株式会社电装 通信辅助装置以及通信系统
CN107027089A (zh) * 2016-01-29 2017-08-08 宇龙计算机通信科技(深圳)有限公司 一种车载蓝牙连接方法和装置
WO2019049256A1 (ja) * 2017-09-07 2019-03-14 マクセル株式会社 携帯情報端末および車両設備制御システム
CN110708681A (zh) * 2018-06-22 2020-01-17 丰田自动车株式会社 车载终端、用户终端以及搭伙乘车控制方法
CN111510886A (zh) * 2020-04-20 2020-08-07 肇庆小鹏汽车有限公司 一种车载蓝牙控制方法、控制系统、车辆及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7104066B2 (en) 2003-08-19 2006-09-12 General Electric Company Combuster swirler assembly
JP2011135122A (ja) 2009-12-22 2011-07-07 Alpine Electronics Inc 車載機及び車載機における接続先切り替え方法
JP5835124B2 (ja) 2012-06-21 2015-12-24 トヨタ自動車株式会社 車載端末および通信方法
US9608952B2 (en) 2012-12-14 2017-03-28 Intel Corporation Systems and methods for user device interaction
KR20180130672A (ko) 2017-05-30 2018-12-10 현대자동차주식회사 상황 기반 대화 개시 장치, 시스템, 차량 및 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042577A (ja) * 2006-08-07 2008-02-21 Toyota Motor Corp 車載装置
JP2009284442A (ja) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
JP2011114741A (ja) * 2009-11-30 2011-06-09 Equos Research Co Ltd 通信端末接続管理システム
WO2012160668A1 (ja) * 2011-05-25 2012-11-29 トヨタ自動車株式会社 車両通信装置
CN103138789A (zh) * 2011-11-24 2013-06-05 欧姆龙汽车电子株式会社 车辆用便携机以及信息通信系统
JP2013225799A (ja) * 2012-04-23 2013-10-31 Denso Corp 走行規制プログラム、携帯端末、車両用装置、車両用通信システム
CN104247381A (zh) * 2012-04-23 2014-12-24 株式会社电装 动作限制方法、动作限制程序产品、便携终端、车辆用装置、车辆用通信系统
CN105050858A (zh) * 2013-03-04 2015-11-11 株式会社电装 通信辅助装置以及通信系统
CN107027089A (zh) * 2016-01-29 2017-08-08 宇龙计算机通信科技(深圳)有限公司 一种车载蓝牙连接方法和装置
WO2019049256A1 (ja) * 2017-09-07 2019-03-14 マクセル株式会社 携帯情報端末および車両設備制御システム
CN110708681A (zh) * 2018-06-22 2020-01-17 丰田自动车株式会社 车载终端、用户终端以及搭伙乘车控制方法
CN111510886A (zh) * 2020-04-20 2020-08-07 肇庆小鹏汽车有限公司 一种车载蓝牙控制方法、控制系统、车辆及存储介质

Also Published As

Publication number Publication date
WO2022130723A1 (ja) 2022-06-23
JP7547979B2 (ja) 2024-09-10
JP2022093856A (ja) 2022-06-24
US20230017282A1 (en) 2023-01-19
CN115244915A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US9177429B2 (en) Method and apparatus for assigning profile data to one or more vehicle sub-systems of a vehicle
US20100039224A1 (en) Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method
US10861457B2 (en) Vehicle digital assistant authentication
JP2009284442A (ja) 人物認証装置および人物認証方法
CN111510886B (zh) 一种车载蓝牙控制方法、控制系统、车辆及存储介质
US20140329513A1 (en) Preventing cell phone use while driving
US20150382165A1 (en) Automatic Call Forwarding to In-Vehicle Telematics System
CN112037380A (zh) 车辆控制方法及装置、电子设备、存储介质和车辆
US20060238321A1 (en) Networked vehicle system and vehicle having the same
CN107222230B (zh) 由物理信号屏障辅助的利用信号强度数据的乘客区域检测
CN113423597B (zh) 车载显示装置的控制方法、控制装置、电子设备、车辆
US20200180533A1 (en) Control system, server, in-vehicle control device, vehicle, and control method
JP2011172195A (ja) 車載機、携帯機器、および制御プログラム
US11645731B2 (en) Simplified authentication of mobile device by vehicle for shared or autonomous vehicles
JP2008042577A (ja) 車載装置
JP2018027731A (ja) 車載装置、車載装置の制御方法およびコンテンツ提供システム
CN115244915B (zh) 车用装置以及车用装置执行的方法
CN105430567A (zh) 汽车鸣笛音量调节方法及装置
CN104158566A (zh) 车载通信机构与无线耳机的连接控制方法及装置
WO2020183800A1 (ja) 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
JP2009286342A (ja) 生体情報照合装置、生体情報照合システムおよび生体情報照合方法
JP4076747B2 (ja) Ｔｖ電話システム及びｔｖ電話接続方法
JP2004330965A (ja) 車室内ペット監視システム
JP2004330979A (ja) 車両の駆動制御装置
JP6737548B2 (ja) 電子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant