CN111699523A - 信息生成装置、信息生成方法、计算机程序和车内装置 - Google Patents

信息生成装置、信息生成方法、计算机程序和车内装置 Download PDF

Info

Publication number
CN111699523A
CN111699523A CN201880089011.8A CN201880089011A CN111699523A CN 111699523 A CN111699523 A CN 111699523A CN 201880089011 A CN201880089011 A CN 201880089011A CN 111699523 A CN111699523 A CN 111699523A
Authority
CN
China
Prior art keywords
sensors
information
display information
display
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880089011.8A
Other languages
English (en)
Other versions
CN111699523B (zh
Inventor
林良明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Publication of CN111699523A publication Critical patent/CN111699523A/zh
Application granted granted Critical
Publication of CN111699523B publication Critical patent/CN111699523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/20Arrangements in telecontrol or telemetry systems using a distributed architecture
    • H04Q2209/25Arrangements in telecontrol or telemetry systems using a distributed architecture using a mesh network, e.g. a public urban network such as public lighting, bus stops or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

该信息生成装置包括:传感器信息获取单元,其从具有在检测下的区的多个传感器中的每一个获取指示测量在检测下的区的结果的传感器信息,在检测下的区由多个传感器彼此共有;确定单元,其基于由传感器信息获取单元获取的多条传感器信息确定多个传感器中的每一个是否正在检测到存在于同一规定区域中的对象;以及显示信息生成单元,其在确定单元的确定结果是肯定的并且规定条件未被满足的情况下,生成用于单独地显示由多个传感器中的每一个检测到的对象的第一显示信息,并且在确定结果是肯定的并且规定条件被满足的情况下,生成用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象的第二显示信息,其中,规定条件用于确定由多个传感器检测到的对象是否是同一对象。

Description

信息生成装置、信息生成方法、计算机程序和车内装置
相关申请的交叉引用
要求于2018年2月13日提交的日本专利申请No.2018-022896的优先权,该申请的全部内容以引用方式全文并入本文中。
技术领域
本技术涉及一种信息生成装置、一种信息生成方法、一种计算机程序和一种车内装置。
背景技术
在现有技术中,推荐一种在显示装置上显示从多个传感器接收的传感器信息的显示控制系统(例如,参照专利文献1)。
在显示控制系统中,当在多个显示装置上显示从多个传感器接收的信息时,生成符合显示装置中的每一个的显示信息,并且使得该显示装置显示该显示信息。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开No.2009-206750
发明内容
(1)为了实现上述目的,根据本发明的实施例,提供了一种信息生成装置,该信息生成装置包括:传感器信息获取单元,其从具有检测目标区的多个传感器中的每一个获取指示检测目标区的测量结果的传感器信息,检测目标区由多个传感器共有;确定单元,其基于由传感器信息获取单元获取的多条传感器信息确定多个传感器中的每一个是否检测到存在于同一预定区域中的对象;以及显示信息生成单元,其在确定单元的确定结果是肯定的并且用于确定由多个传感器检测到的多个对象是否是同一对象的预定条件未被满足的情况下,生成用于分离地显示由多个传感器中的每一个检测到的对象的第一显示信息,并且在确定结果是肯定的并且预定条件被满足的情况下,生成用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象的第二显示信息。
(20)根据本发明的另一实施例,提供了一种信息生成方法,该信息生成方法包括:从具有检测目标区的多个传感器中的每一个获取指示检测目标区的测量结果的传感器信息的步骤,其中,检测目标区由多个传感器共有;基于多条所获取的传感器信息确定多个传感器中的每一个是否检测到存在于同一预定区域中的对象的步骤;以及生成第一显示信息和生成第二显示信息的步骤,其中,在确定步骤中的确定结果是肯定的并且用于确定由多个传感器检测到的多个对象是否是同一对象的预定条件未被满足的情况下生成用于分离地显示由多个传感器中的每一个检测到的对象的第一显示信息,在确定结果是肯定的并且预定条件被满足的情况下,生成用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象第二显示信息。
(21)根据本发明的另一实施例,提供了一种计算机程序,该计算机程序使得计算机用作:传感器信息获取单元,其从具有检测目标区的多个传感器中的每一个获取指示检测目标区的测量结果的传感器信息,检测目标区由多个传感器共有;确定单元,其基于由传感器信息获取单元获取的多条传感器信息来确定多个传感器中的每一个是否检测到存在于同一预定区域中的对象;以及显示信息生成单元,其在确定单元的确定结果是肯定的并且用于确定由多个传感器检测到的多个对象是否是同一对象的预定条件未被满足的情况下,生成用于分离地显示由多个传感器中的每一个检测到的对象的第一显示信息,并且在确定结果是肯定的并且预定条件被满足的情况下,生成用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象的第二显示信息。
(22)根据本发明的另一实施例,提供了一种车内装置,该车内装置包括:显示信息获取单元,其从信息生成装置获取第一显示信息与第二显示信息之间的至少一条显示信息,第一显示信息和第二显示信息由信息生成装置生成;以及显示控制单元,其基于由显示信息获取单元获取的显示信息控制屏幕上的显示。
附图说明
图1是根据本发明的实施例的无线电通信系统的整体配置图;
图2是示出服务器的配置的示例的框图;
图3是示出由传感器信息获取单元获取的传感器信息的示例的示图;
图4A是示出第一显示信息的示例的示图;
图4B是示出第二显示信息的示例的示图;
图4C是示出第二显示信息的示例的示图;
图4D是示出第二显示信息的示例的示图;
图4E是示出第二显示信息的示例的示图;
图4F是示出第二显示信息的示例的示图;
图5是用于描述将预定区域中存在的多个对象确定为同一对象的预定条件的示图;
图6是示出车内装置的配置的示例的框图;
图7是示出路侧传感器的配置的示例的框图;
图8是示出与车内装置、车内相机、车内毫米波雷达、路侧相机、路侧毫米波雷达和服务器协作地执行的显示信息的分布处理的示例的顺序图;
图9是示出显示信息生成处理(图8中的步骤S9)的细节的流程图;
图10是示出是否将对象设为确定目标的确定标准的示图。
具体实施方式
[本公开要解决的问题]
期望通过使用多条传感器信息作为信息源来生成对于诸如汽车的车辆的驾驶辅助控制有用的信息。
然而,在现有技术的显示控制系统中,关注于与显示装置相对应的显示方法,并且不考虑如何显示由多个传感器检测到的对象。传感器具有各种程度的精度,即使传感器具有高精度,取决于传感器与对象之间的屏蔽物等的存在,也可能难以通过传感器适当地检测对象。
例如,在其中所述多个传感器彼此重叠的测量目标区中,在传感器检测到对象的情况下,由于传感器之间的检测精度的差异,同一对象可被错误地检测为分离的对象。在这种情况下,生成了其中同一对象被设为分离的对象的显示信息,因此,可能难以执行合适的驾驶辅助控制。
考虑这种情况提出了本公开,并且本公开的目标是提供一种信息生成装置、一种信息生成方法、一种计算机程序和一种车内装置,它们能够从多条传感器信息生成合适的显示信息。
[本公开的有益效果]
根据本公开,能够从多条传感器信息生成合适的显示信息。
[本发明的实施例的总结]
首先,将描述本发明的实施例的总结。
(1)根据本发明的实施例的一种信息生成装置包括:传感器信息获取单元,其从具有检测目标区的多个传感器中的每一个获取指示检测目标区的测量结果的传感器信息,检测目标区由多个传感器共有;确定单元,其基于由传感器信息获取单元获取的多条传感器信息确定多个传感器中的每一个是否检测到存在于同一预定区域中的对象;以及显示信息生成单元,其在确定单元的确定结果是肯定的并且用于确定由多个传感器检测到的多个对象是否是同一对象的预定条件未被满足的情况下,生成用于分离地显示由多个传感器中的每一个检测到的对象的第一显示信息,并且在确定结果是肯定的并且预定条件被满足的情况下,生成用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象的第二显示信息。
根据这种配置,在多个传感器中的每一个检测到存在于预定区域中的对象的情况下,能够在预定条件被满足的情况与预定条件未被满足的情况之间改变对象的显示方式。例如,在多个对象是不同对象的情况下,分离地显示多个对象,并且在多个对象是同一对象的情况下,可以按照与上述显示的显示方式不同的显示方式来显示多个对象。据此,用户可以理解多个对象是被确定为不同对象还是同一对象。据此,能够从多条传感器信息生成合适的显示信息。
(2)优选地,将与基于从多个传感器中的任一个获得的传感器信息的对象位置相距预定距离以内的区域设为预定区域。
根据这种配置,容易设置预定区域,使得预定区域中包括单个对象。
(3)更优选地,第二显示信息包括用于显示由多个传感器中的每一个检测到的对象中的任一个对象的信息。
根据这种配置,例如,在预定区域中存在的多个对象是同一对象的情况下,能够允许仅显示一个对象。据此,能够显示与实际对象数量相同的对象。
(4)另外,显示信息生成单元通过基于多个传感器的类型选择对象中的任一个对象而生成用于显示所选择的对象的第二显示信息。
根据这种配置,能够选择并显示由高检测精度传感器选择的对象。据此,能够高精度地显示对象。
(5)另外,显示信息生成单元可以通过基于多个传感器的安装目标选择对象中的任一个对象而生成用于显示所选择的对象的第二显示信息。
根据这种配置,例如,与车内传感器的检测结果相比,能够优先将安装在路侧等的路侧传感器的检测结果选择为对象。路侧传感器是固定的,因此与移动的车内传感器相比,传感器的位置精度更高,因此对象的检测精度变高。结果,能够高精度地显示对象。
(6)另外,显示信息生成单元通过基于从传感器中的每一个至由传感器中的每一个检测到的对象的距离选择对象中的任一个对象,而生成用于显示所选择的对象的第二显示信息。
根据这种配置,例如,在其中当以靠近对象的传感器优先的状态下,能够选择由该传感器检测的对象。与远处位置相比,在靠近该传感器的位置处能够更高精度地检测对象。据此,能够高精度地显示对象。
(7)另外,第二显示信息可以包括用于显示通过对由多个传感器检测到的多个对象进行整合而获得的对象的信息。
根据这种配置,在预定区域中存在的多个对象是同一对象的情况下,能够通过将对象整合为一个对象来显示多个对象。据此,能够显示与实际对象数量相同的对象。
(8)另外,第二显示信息可以包括用于将由多个传感器中的每一个检测到的对象在对象闪烁时进行显示的信息。
根据这种配置,在预定区域中存在的多个对象是同一对象的情况下,能够显示多个对象,同时多个对象闪烁。据此,可以向用户通知多个对象是同一对象的情况。
(9)另外,第二显示信息可以包括用于在由多个传感器检测的多个对象的平均位置处显示单个对象的信息。
根据这种配置,在预定区域中存在的多个对象是同一对象的情况下,能够允许仅显示一个对象。另外,对象的显示位置是多个对象的平均位置。当对位置进行平均时,能够取更靠近准确位置的对象位置。据此,能够在准确位置处显示与实际对象数量相同的对象。
(10)另外,预定条件可以包括基于由多个传感器中的每一个检测到的对象的位置的条件。
根据这种配置,基于预定区域中存在的多个对象的位置,能够确定多个对象是否是同一对象。
(11)另外,预定条件可以包括在过去的预定时间处由多个传感器检测到的多个对象之间的距离等于或小于预定距离阈值的条件。
在多个对象彼此相同的情况下,多个对象在过去的预定时间处位于相同位置。因此,能够通过对上述预定条件的确定来准确地确定在预定区域中存在的多个对象是否是同一对象。
(12)另外,预定条件可以包括由多个传感器检测到的多个对象之间的方向差等于或小于预定角阈值的条件。
在多个对象彼此相同的情况下,多个对象面向相同的方向。因此,能够通过对上述预定条件的确定来准确地确定在预定区域中存在的多个对象是否是同一对象。
(13)另外,预定条件可以包括由多个传感器检测到的多个对象之间的速度差等于或小于预定速度阈值的条件。
在多个对象彼此相同的情况下,多个对象的速度彼此相同。因此,能够通过对上述预定条件的确定准确地确定在预定区域中存在的多个对象是否是同一对象。
(14)另外,可以基于多个传感器的类型确定阈值中的每一个。
传感器的检测精度根据传感器的类型有所不同。因此,在具有高精度的多个传感器中的每一个检测预定区域中存在的对象的情况下,将阈值设为小值。在具有低精度的多个传感器中的每一个检测预定区域中存在的对象的情况下,将阈值设为大值。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。
(15)另外,可以基于多个传感器的安装目标确定阈值中的每一个。
例如,安装在路侧等的路侧传感器的检测精度高于车内传感器的检测精度。因此,在多个路侧传感器中的每一个检测对象的情况下,将阈值设为小值。在多个车内传感器中的每一个检测对象的情况下,将阈值设为大值。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。
(16)另外,可以基于多个传感器的检测精度确定阈值中的每一个。
根据这种配置,在具有高精度的多个传感器中的每一个检测预定区域中存在的对象的情况下,将阈值设为小值。在具有低精度的多个传感器中的每一个检测预定区域中存在的对象的情况下,将阈值设为大值。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。
(17)另外,可以基于多个传感器的位置精度确定阈值中的每一个。
基于传感器的位置和从传感器至对象的距离确定对象的位置,因此传感器的位置精度对对象的位置精度有影响。因此,在具有高位置精度的多个传感器中的每一个检测预定区域中存在的对象的情况下,将阈值设为小值。在具有低位置精度的多个传感器中的每一个检测预定区域中存在的对象的情况下,将阈值设为大值。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。
(18)另外,预定条件可以包括基于由多个传感器中的每一个检测到的对象的尺寸、颜色和形状中的至少一个的条件。
在同一车道中行驶的车辆或者在相邻车道行驶的车辆可以以相同速度按照相同方向行驶至附近位置。在这种情况下,可能难以确定车辆是否是同一对象。在这种情况下,当执行基于对象的尺寸、颜色和形状中的至少一个的条件的确定处理时,能够准确地确定预定区域中存在的多个对象是否是同一对象。
(19)另外,确定单元可以基于传感器中的每一个与由传感器中的每一个检测到的对象之间的位置关系来确定是否将检测到的对象设为确定目标。
根据这种配置,例如,仅在对象存在于传感器的检测范围内并且与对象相距的距离短的情况下,能够确定预定区域中存在的多个对象是否是同一对象。因此,能够允许仅对对其检测精度高的对象执行确定处理,而不对位于远离传感器的位置处的并且对其检测精度低的对象执行确定处理。据此,能够提高确定处理的可靠性,并且能够准确地确定预定区域中存在的多个对象是否是同一对象。
(20)根据本发明的另一实施例的一种信息生成方法包括由信息生成装置执行的处理。
据此,能够获得与信息生成装置相同的操作和效果。
(21)根据本发明的另一实施例的一种计算机程序使得计算机用作信息生成装置。
据此,能够获得与信息生成装置相同的操作和效果。
(22)根据本发明的另一实施例的一种车内装置包括:显示信息获取单元,其从信息生成装置获取第一显示信息与第二显示信息之间的至少一条显示信息,第一显示信息和第二显示信息由信息生成装置生成;以及显示控制单元,其基于由显示信息获取单元获取的显示信息控制屏幕上的显示。
根据这种配置,能够在屏幕上显示由信息生成装置创建的第一显示信息与第二显示信息之间的至少一条显示信息。据此,能够在屏幕上显示合适的显示信息,该合适的显示信息是从多条传感器信息生成的。
[本发明的实施例的细节]
下文中,将参照附图详细描述本发明的实施例。注意,下面将描述的实施例是本发明的优选特定示例。下面的实施例中的数值、形状、材料、构成元件、构成元件的排列位置和连接方式、步骤、步骤的顺序等仅为示出性的,而不旨在限制本发明。本发明由权利要求指明。因此,在下面的实施例中的构成元件中,关于未在示出本发明最高概念的独立权利要求中描述的构成元件,将基于该构成元件对于实现本发明的目的是非必要的假设来进行描述,但是该构成元件构成更加优选的方式。
另外,相同的构成元件将被赋予相同的附图标记。相同的构成元件的功能和名称相同,因此将适当地省略对其的描述。
[无线电通信系统的整体配置]
图1是根据本发明的实施例的无线电通信系统的整体配置图。
如图1所示,本实施例的无线电通信系统用作车辆控制系统,并且包括:可以执行无线电通信的多个路侧传感器1和车辆2、与路侧传感器1和车辆2执行无线电通信的一个或多个基站4、以及按照有线方式或者无线方式经网络与基站4执行通信的服务器5。
基站4由宏小区基站、微小区基站和微微小区基站中的至少一个构成。
在本实施例的无线电通信系统中,例如,服务器5由能够实现软件定义的网络(SDN)的通用服务器构成。另外,基站4和诸如中继器的中继装置(未示出)由能够实现SDN的传输装置构成。
通过上述SDN表示的网络可视化技术是当前正在进行标准化的“第五代移动通信系统”(下文中,缩写为“第5代(5G)”)的基本概念。因此,例如,本实施例的移动通信系统由5G构成。
路侧传感器1具有无线电通信功能,并且包括各种传感器(诸如,安装在道路上的图像型车辆检测器或LiDAR)以及安装在室外或室内的安全相机。
车辆2包括具有无线电通信功能的车内装置3。车内装置3包括相机和诸如毫米波雷达的各种传感器(下文中,称作“车内传感器”)。
车辆2的示例不仅包括典型的轿车,还包括公共车辆,诸如,固定路线公共汽车和紧急车辆。另外,车辆2不仅可以是四轮车辆,还可以是两轮车辆(摩托车)。
车辆2的驱动类型可以是引擎驱动、电机驱动和混合动力类型中的任一种。车辆2的驾驶类型可以是其中乘坐人执行操作(诸如,加速/减速和操纵转向)的典型驾驶和其中由软件执行操作的自动驾驶中的任一种。
[服务器的配置]
图2是示出服务器5的配置的示例的框图。
如图2所示,服务器5用作信息生成装置,并且包括控制单元51(其包括中央处理单元(CPU)等)、只读存储器(ROM)55、随机存取存储器(RAM)56、存储单元57和通信单元58。
控制单元51通过将预先存储在ROM 55中的一个或多个程序读出至RAM 56来控制每个硬件的操作并且使得计算机装置用作能够与基站4执行通信的服务器5。也就是说,控制单元51作为通过执行程序而实现的处理单元,包括传感器信息获取单元52、确定单元53和显示信息生成单元54。
RAM 56由诸如静态RAM(SRAM)或者动态RAM(DRAM)的易失性存储器元件构成,并且暂时存储由控制单元51执行的程序和执行所需的数据。
存储单元57由诸如闪速存储器或者电可擦除可编程只读存储器(EEPROM)的非易失性存储器元件或者诸如硬盘的磁存储装置构成。
通信单元58由执行与5G相对应的通信处理的通信装置构成,并且通过网络与基站4执行通信。通信单元58将从控制单元51发送的信息通过网络发送至外部装置,并且将通过网络接收的信息提供至控制单元51。
控制单元51的传感器信息获取单元52从车辆2、路侧传感器1等以预定周期获取由服务器5的服务区中的车辆2、路侧传感器1等测量的各条传感器信息。也就是说,传感器信息获取单元52从传感器获取指示传感器的关于检测目标区的测量结果的传感器信息。
图3是示出由传感器信息获取单元52获取的传感器信息的示例的示图。
例如,假设毫米波雷达(下文中,称作“路侧毫米波雷达”)1M和相机(下文中,称作“路侧相机”)1C安装在路侧作为路侧传感器1。假设路侧毫米波雷达1M监视检测目标区7M,并且检测到检测目标区7M中的车辆2I。另一方面,假设路侧相机1C监视检测目标区7C,并且检测到检测目标区7C中的车辆2J。据此,传感器信息获取单元52从路侧毫米波雷达1M获取包括车辆2I的位置信息的传感器信息,并且从路侧相机1C获取包括车辆2J的位置信息的传感器信息。注意,图3中示出了路侧传感器1,但是可以采用车内传感器。另外,可以使用LiDAR、超声传感器等作为路侧传感器1。
控制单元51的确定单元53基于由传感器信息获取单元52获取的传感器信息来确定多个传感器中的每一个是否检测到同一预定区域中存在的对象。
在图3所示的示例中,在将与车辆2I相距预定距离的区域8设为预定区域的情况下,检测到区域8中的车辆2I和2J。据此,确定单元53的确定结果是肯定的。注意,假设考虑车辆大小来确定预定距离,从而预定区域中基本上包括单个车辆,并且确定单元53确定在预定区域中包括的一个或多个车辆是否存在。
在确定单元53的确定结果是肯定的并且预定条件未被满足的情况下,控制单元51的显示信息生成单元54生成用于分离地显示由多个传感器中的每一个检测到的对象的第一显示信息。这里,预定条件是用于确定在预定区域(区域8)中存在的多个对象是同一对象的条件。稍后将描述预定条件的细节。也就是说,在在预定区域中检测到多个对象并且该多个对象是不同的对象的情况下,显示信息生成单元54生成用于分别显示该多个对象的第一显示信息。
图4A是示出第一显示信息的示例的示图。在第一显示信息中,分别显示车辆2I和车辆2J。注意,在第一显示信息和稍后将描述的第二显示信息中,例如,将各个车辆显示为车辆图标。
另一方面,在确定单元53的确定结果是肯定的并且预定条件被满足的情况下,显示信息生成单元54生成第二显示信息,其用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象。也就是说,在在预定区域中检测到多个对象并且该多个对象是同一对象的情况下,显示信息生成单元54生成用于按照与第一显示信息的显示方式不同的显示方式显示该多个对象的第二显示信息。
图4B至图4F是示出第二显示信息的示例的示图。
在图4B所示的第二显示信息中,在由多个传感器检测到的对象中,显示对象中的任一个对象。也就是说,在第二显示信息中,选择并显示在图4A中以第一显示信息示出的车辆2I与车辆2J之间的车辆2J。注意,可以选择并显示车辆2I。可以任意选择作为显示目标的对象,或者可以按照将在下面描述的标准来选择作为显示目标的对象。
例如,显示信息生成单元54可以基于多个传感器的类型来选择对象中的任一个对象。相机或者LiDAR具有高精度,但是毫米波雷达的精度低于相机或者LiDAR的精度。据此,按照高精度的顺序确定传感器的优先级,并且显示信息生成单元54可以选择由优先级最高的传感器检测到的对象。据此,能够高精度地显示对象。这里,服务器5可以参照传感器类型和传感器ID彼此关联的表根据由传感器信息获取单元52获取的传感器信息中包括的传感器ID来确定传感器类型。注意,可以将传感器的检测精度信息应用于传感器信息。据此,在将优先级赋予具有高检测精度的传感器信息的情况下,显示信息生成单元54可以基于检测精度信息选择与传感器信息相对应的对象。
另外,显示信息生成单元54可以基于多个传感器的安装目标选择多个对象中的任一个对象。安装在路侧等的路侧传感器1的检测精度可以高于安装在车辆2中的车内传感器的检测精度。据此,与由车内传感器检测到的对象相比,显示信息生成单元54优先选择由路侧传感器1检测到的对象。据此,能够高精度地显示对象。这里,服务器5可以参照传感器的安装目标与传感器ID彼此关联的表根据由传感器信息获取单元52获取的传感器信息中包括的传感器ID来确定传感器的安装目标。
另外,显示信息生成单元54可以基于从各个传感器至由传感器检测到的对象的距离选择多个对象中的任一个对象。与对象相距的距离越短,传感器的检测精度越高。据此,显示信息生成单元54选择由与对象相距的距离最短的传感器检测到的对象。据此,能够高精度地显示对象。
在图4C所示的第二显示信息中,在由多个传感器检测到的对象的平均位置处显示一个对象。也就是说,在第二显示信息中,在图4A中以第一显示信息示出的车辆2I和车辆2J的平均位置处显示车辆2L。当对位置进行平均时,能够获得对象的更靠近准确位置的位置。据此,可以在准确位置处按照与实际对象的数量相同的数量显示对象。
在图4D所示的第二显示信息中,显示通过整合由多个传感器检测到的对象而获得的对象。也就是说,在第二显示信息中,在图4A中以第一显示信息示出的车辆2I和车辆2J的位置处显示具有覆盖车辆2I和车辆2J的尺寸的车辆2N。
在图4E所示的第二显示信息中,显示并同时闪烁由多个传感器检测到的对象。也就是说,在第二显示信息中,图4A中以第一显示信息示出的车辆2I和车辆2J显示为闪烁。据此,能够向用户通知其中车辆2I和车辆2J是同一车辆2的情况。
在图4F所示的第二显示信息中,按照与以第一显示信息示出的对象的颜色不同的颜色显示由多个传感器检测到的对象。也就是说,在第二显示信息中,按照与图4A中的第一显示信息的颜色不同的颜色显示车辆2I和车辆2J。
例如,显示信息生成单元54以图4B至图4F所示的至少一种显示方式创建第二显示信息。注意,显示信息生成单元54可以创建其中显示方式被组合的第二显示信息。
当从车辆2的车内装置3或者用户的通信终端接收到显示信息请求消息时,显示信息生成单元54将生成的显示信息分发至作为请求消息的发送源的车内装置3或者通信终端。
接着,将描述将预定区域中存在的多个对象确定为同一对象的预定条件。
图5是描述用于将预定区域中存在的多个对象确定为同一对象的预定条件的示图。
预定条件包括基于由多个传感器检测到的对象的位置的条件。例如,在多个对象是同一对象的情况下,认为在当前时间处或者过去的时间处多个对象的位置彼此匹配。另一方面,在多个对象是不同对象的情况下,认为即使多个对象的当前位置彼此匹配,对象在过去的时间处的位置也彼此不同。因此,在在比当前时间早k(k为正值)秒的时间处多个对象的位置彼此匹配的情况下,显示信息生成单元54确定多个对象是同一对象,并且在位置彼此不匹配的情况下,显示信息生成单元54确定多个对象是不同的对象。注意,即使对象的位置彼此不严格匹配,但是在对象之间的距离等于或小于预定距离阈值的情况下,对象的位置也可看作彼此匹配。注意,距离阈值为正值。
如图5所示,假设车辆2I向北行驶,并且车辆2K向东行驶。在这种情况下,在当前时间t处车辆的位置彼此匹配,但是在比当前时间t早k秒的时间(t-k)处车辆的位置彼此不同。因此,显示信息生成单元54确定车辆2K和车辆2J是不同的车辆。
预定条件可以包括其中由多个传感器检测到的对象之间的方向差等于或小于预定角阈值的条件。也就是说,在方向差等于或小于预定角阈值的情况下,显示信息生成单元54确定多个对象彼此相同,并且在方向差大于预定角阈值的情况下,显示信息生成单元54确定多个对象彼此不同。注意,角阈值为正值。在图5所示的示例中,能够从车辆2I的位置变化确定车辆2I向北行驶,并且能够从车辆2K的位置变化确定车辆2K向东行驶。因此,车辆之间的方向差大约为90°。例如,在角阈值设为5°的情况下,显示信息生成单元54确定车辆2K和车辆2J是不同的车辆。
预定条件可以包括其中由多个传感器检测到的对象的速度差等于或小于预定速度阈值的条件。基于对象的两个位置之间的距离和时间计算对象中的每一个的速度。速度阈值为正值。在图5所示的示例中,假设计算车辆2I和车辆2K的速度为v1和v2。在速度v1和v2之间的差的绝对值等于或小于预定速度阈值的情况下,显示信息生成单元54确定车辆2I和车辆2K彼此相同,并且在速度差的绝对值大于预定速度阈值的情况下,显示信息生成单元54确定车辆2I和车辆2K彼此不同。
预定条件可以包括基于由多个传感器检测到的对象的尺寸、颜色和形状中的至少一个的条件。例如,在传感器是相机的情况下,能够检测对象的尺寸、颜色和形状。
据此,预定条件可以包括其中由多个传感器检测到的对象的尺寸差等于或小于预定尺寸阈值的条件。例如,在将对象的尺寸设为对象在图像中所占据的区的像素数量的情况下,当与对象相对应的区的像素数量的差等于或小于预定尺寸阈值时,可以认为满足了预定条件。
另外,预定条件可以包括其中由多个传感器检测到的对象的颜色差等于或小于预定颜色阈值的条件。例如,对象的各颜色R、G和B的亮度的平均值的差等于或小于颜色阈值,可以认为满足了预定条件。
另外,预定条件可以包括其中由多个传感器检测到的对象的形状相似的条件。例如,在图像中的对象的形状大约为矩形的情况下,将对象的形状表示为与对象相对应的矩形的长边与短边之间的比率。在与由多个传感器检测到的对象相对应的多个比率的差等于或小于预定比率阈值时,可以认为满足了预定条件。
当通过使用对象的尺寸、颜色或形状确定预定条件时,能够防止将在同一车道上行驶的多个车辆或者在相邻车道上行驶的多个车辆错误地确定为一个车辆。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。
注意,可以基于多个传感器的类型来确定在确定上述各种预定条件时所使用的诸如速度阈值和角阈值的各种阈值。例如,相机或者LiDAR具有高精度,但是毫米波雷达的精度低于相机或LiDAR的精度。因此,在检测对象的多个传感器全部都是高精度传感器(相机或者LiDAR)的情况下,将阈值设为小值(第一阈值),并且在多个传感器中包括低精度传感器(例如,毫米波雷达)的情况下,可以将阈值设为大值(大于第一阈值的第二阈值)。按照这种方式,当根据传感器的精度设置阈值时,能够准确地确定预定区域中存在的多个对象是否是同一对象。这里,服务器5可以参照传感器类型和传感器ID彼此关联的表根据由传感器信息获取单元52获取的传感器信息中包括的传感器ID来确定传感器类型。
另外,可以基于多个传感器的安装目标确定上述各种阈值。在许多情况下,安装在路侧等的路侧传感器1的检测精度可以高于安装在车辆2中的车内传感器的检测精度。因此,在多个路侧传感器1中的每一个检测对象的情况下,将阈值设为小值(第一阈值),并且在多个车内传感器中的每一个检测对象的情况下,将阈值设为大值(大于第一阈值的第二阈值)。据此,能够精确地确定预定区域中存在的多个对象是否是同一对象。这里,服务器5可以参照传感器的安装目标与传感器ID彼此关联的表根据由传感器信息获取单元52获取的传感器信息中包括的传感器ID来确定传感器的安装目标。
另外,可以基于多个传感器的检测精度确定上述各种阈值。在检测对象的多个传感器全部都是高精度传感器的情况下,可以将阈值设为小值(第一阈值),并且在多个传感器中包括低精度传感器的情况下,可以将阈值设为大值(大于第一阈值的第二阈值)。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。这里,服务器5可以参照传感器的检测精度与传感器ID彼此关联的表根据由传感器信息获取单元52获取的传感器信息中包括的传感器ID来确定传感器的检测精度。
另外,可以基于多个传感器的位置精度确定上述各种阈值。安装在路侧等的路侧传感器1是固定的,因此其位置精度高于安装在车辆2中的车内传感器的传感器位置精度。可以通过传感器的绝对位置和从传感器至对象的相对位置来限定对象的绝对位置。据此,在传感器的绝对位置的检测精度低的情况下,对象的绝对位置的检测精度也降低。也就是说,传感器的位置精度越高,对象的绝对位置的检测精度就变得越高。因此,在检测对象的多个传感器全部都具有高位置精度的情况下,可以将阈值设为小值(第一阈值),并且在多个传感器中包括具有低位置精度的传感器的情况下,可以将阈值设为大值(大于第一阈值的第二阈值)。据此,能够准确地确定预定区域中存在的多个对象是否是同一对象。这里,服务器5可以参照传感器的位置精度与传感器ID彼此关联的表根据由传感器信息获取单元52获取的传感器信息中包括的传感器ID来确定传感器的位置精度。另外,如稍后将描述的,传感器信息中可以包括传感器的位置精度信息。
[车内装置的配置]
图6是示出车内装置3的配置的示例的框图。
如图6所示,车辆2的车内装置3包括电子控制单元(ECU)31、全球定位系统(GPS)接收器32、车速传感器33、陀螺仪传感器34、存储单元35、显示器36、扬声器37、输入装置38、相机39、毫米波雷达40和通信单元41。
例如,通信单元41由能够执行与5G相对应的通信处理的无线电通信装置构成。注意,通信单元41可以是预先安装在车辆2中的无线电通信装置,或者是由乘坐人带入车辆2的便携式终端。
当连接至车辆2的车辆内部局域网(LAN)时,乘坐人的便携式终端暂时变成车内无线电通信装置。
控制单元31由执行车辆2的路线检索、对电子装置32至41的控制等的计算机装置构成。控制单元31通过由GPS接收器32周期性地获取的GPS信号获得主车辆的车辆位置。注意,控制单元31可以通过将由接收从准天顶卫星(未示出)发送的信号的接收器接收的GPS补充信号或者GPS增强信号组合使用,来补充GPS信号或者校正主车辆的车辆位置。
控制单元31基于来自车速传感器33和陀螺仪传感器34的输入信号来补充车辆位置和方向,并且理解车辆2的正确当前位置和方向。
GPS接收器32、车速传感器33和陀螺仪传感器34是测量车辆2的当前位置、速度和方向的传感器。
存储单元35包括地图数据库。地图数据库将道路地图数据提供至控制单元31。道路地图数据包括连接数据或者节点数据,并且被容纳在诸如DVD、CD-ROM、记忆卡和HDD的记录介质中。存储单元35从记录介质中读出必要的道路地图数据,并且将道路地图数据提供至控制单元31。
显示器36和扬声器37是输出装置,其向用户(车辆2的乘坐人)通知由控制单元31生成的各条信息。
具体地说,显示器36显示路线检索中的输入画面、主车辆的附近地图图像、至终点的路线信息等。扬声器37用语音输出用于引导车辆2到达终点的通知等。输出装置可以通知乘坐人提供由通信单元41接收到的信息。
输入装置38是由车辆2的乘坐人使用以执行各种输入操作的装置。输入装置38由安装在手柄中的操作开关、操纵杆、安装在显示器36中的触摸板等的组合构成。
可以将通过对乘坐人的语音识别来接收输入的语音识别装置设为输入装置38。由输入装置38生成的输入信号被发送至控制单元31。
相机39包括接收车辆2前方的图像的图像传感器。相机39可以是单目相机或者多目相机。毫米波雷达40包括用于检测车辆2前方存在的或者车辆2周围存在的对象的传感器。注意,可以使用诸如LiDAR、激光雷达和超声雷达的各种传感器来替代毫米波雷达40或者将它们与毫米波雷达40一起使用。
控制单元31基于由相机39和毫米波雷达40获得的测量数据或者从服务器5获取的传感器信息,可以使显示器36输出对驾驶中的乘坐人的注意提醒,或者可以执行诸如强制制动干预的驾驶辅助控制。
控制单元31由执行存储在存储单元35中的各种控制程序操作处理单元(诸如,微计算机)构成。
控制单元31可以通过执行控制程序来执行各种导航功能,诸如,辅助车辆2安全驾驶的功能、使显示器36显示地图图像的功能、计算从出发区域至终点的路线的功能(在存在中转地(relay)的情况下,路线包括中转地的位置)和引导车辆2沿着计算的路线到达终点的功能。
控制单元31能够基于相机39和毫米波雷达40中的至少一个的测量数据执行识别主车辆前方或者主车辆周围的对象的识别处理以及计算至识别的对象的距离的距离测量处理。
控制单元31可以根据通过距离测量处理计算出的距离和主车辆的传感器位置来计算通过识别处理识别出的对象的位置信息。
控制单元31包括显示信息获取单元31A和显示控制单元31B,并且可以在与服务器5的通信中执行以下处理。
1)请求消息发送处理
2)显示信息接收处理
3)通信分组(communication packet)发送处理
请求消息发送处理是其中显示信息获取单元31A将控制分组(control packet)发送至服务器5的处理,控制分组是为了请求分发由服务器5生成的显示信息而作出的。控制分组中包括主车辆的车辆ID。
当接收包括预定车辆ID的请求消息时,服务器5按照预定分发周期将显示信息分发至具有发送源的车辆ID的车辆2的通信单元41。
显示信息接收处理是其中显示信息获取单元31A接收由服务器5分发至主车辆的显示信息的处理。
显示控制单元31B执行使显示器36显示接收到的显示信息的处理。
例如,显示控制单元31B使显示器36以叠加在地图图像上的状态显示接收到的显示信息。
车辆2中的通信分组发送处理是将通信分组发送至服务器5的处理,其中,通信分组包括指示相机39或毫米波雷达40的对象检测结果的传感器信息。在显示信息分发周期内由服务器5执行通信分组发送处理。
除对象的位置信息(对象的纬度信息和经度信息)之外,传感器信息中还包括从车辆2(相机39或毫米波雷达40)至对象的距离信息、车辆2的位置信息(车辆2的纬度信息和经度信息)、车辆2的速度信息、车辆2的方向信息、传感器的位置精度等。传感器的位置精度信息是指示车辆2的位置精度的信息。例如,通过下面将描述的(a)至(g)等确定传感器的位置精度信息。
(a)存在或不存在DR(自主导航、通过陀螺仪传感器34、车速传感器33等的返回信号或车速脉冲进行位置校正)
(b)存在或不存在通过地图匹配进行校正
(c)存储在存储单元35中的道路地图数据的精度
(d)当获得车辆2的位置时使用的GPS卫星的数量
(e)GPS接收器32的C/N0(载流子噪声功率密度比)
(f)GPS质量
(g)位置精度衰减因子(PDOP)
控制单元31将包括主车辆的车辆ID的通信分组发送至服务器5。
[路侧传感器的配置]
图7是示出路侧传感器1的配置的示例的框图。
如图7所示,路侧传感器1包括控制单元11、存储单元12、相机13、毫米波雷达14和通信单元15。
例如,通信单元15由能够执行符合5G的通信处理的无线电通信装置构成。
因此,路侧传感器1可以与服务器5执行通信。
控制单元11包括CPU、ROM、RAM等。控制单元11读出并执行存储在存储单元12中的程序,并且控制路侧传感器1的整体操作。
存储单元12由硬盘、非易失性存储器等构成,并且存储各种计算机程序或数据。存储单元12存储作为路侧传感器1的标识信息的传感器ID。例如,传感器ID包括路侧传感器1的所有者特有的用户ID、MAC地址等。
相机13包括接收预定成像区域的图像的图像传感器。相机13可以是单目相机或者多目相机。毫米波雷达14包括检测在毫米波雷达14前方或者在毫米波雷达14周围的对象的传感器。注意,可以使用诸如LiDAR、激光雷达和超声雷达的各种传感器来替代毫米波雷达14,或者将它们与毫米波雷达14结合使用。
另外,路侧传感器1可以设有相机13或者毫米波雷达14中的任一个。
控制单元11可以基于相机13和毫米波雷达14中的至少一个的测量数据来执行识别成像区域中的对象的识别处理和计算至识别出的对象的距离的距离测量处理。
控制单元11可以根据距离测量处理计算出的距离和主车辆的传感器位置来计算通过识别处理识别出的对象的位置信息。
控制单元11可以在与服务器5的通信中执行通信分组发送处理。
路侧传感器1的通信分组发送处理是将通信分组发送至服务器5的处理,其中,通信分组包括指示相机13或毫米波雷达14的对象检测结果的传感器信息。由服务器5在显示信息分发周期内执行通信分组发送处理。
传感器信息中包括对象的位置信息(纬度信息和经度信息)、从路侧传感器1至对象的距离信息等。
控制单元11将包括传感器ID的通信分组发送至服务器5。
[显示信息分发处理]
图8是示出通过车内装置3、车内相机2C、车内毫米波雷达2M、路侧相机1C、路侧毫米波雷达1M和服务器5的协作执行的显示信息分发处理的示例的顺序图。当以预定间隔(例如,100msec的间隔)重复图8所示的顺序时,以预定间隔选择和分发安全驾驶辅助功能。
这里,车内装置3表示安装在被提供显示信息的车辆2中的车内装置。车内相机2C表示包括相机39的车内装置3。车内毫米波雷达2M表示包括毫米波雷达40的车内装置3。路侧相机1C表示包括相机13的路侧传感器1。路侧毫米波雷达1M表示包括毫米波雷达14的路侧传感器1。传感器仅是示出性的,并且可以不包括任一个传感器或者可以包括其它传感器。
下文中,在假设由每个传感器检测到的对象是移动对象的基础上提供说明,但检测对象可以是静止对象。
车辆2的车内相机2C基于由相机39捕获的图像数据检测移动对象,诸如,行人6和在包括车内相机2C的车辆2的前方或者在车辆2周围行驶的另一车辆2(S1)。
车辆的车内毫米波雷达2M基于毫米波雷达40的测量数据检测移动对象,诸如,行人6和在包括毫米波雷达40的车辆2的前方或者在车辆2周围行驶的另一车辆2(S2)。
路侧相机1C基于由相机13捕获的图像数据检测移动对象,诸如,行人6和在路侧相机1C的前方或者在路侧相机1C周围行驶的另一车辆2(S3)。
路侧毫米波雷达1M基于毫米波雷达14的测量数据检测移动对象,诸如,行人6和在路侧毫米波雷达1M的前方或者在路侧毫米波雷达1M周围行驶的另一车辆2(S4)。
车内相机2C将包括具有移动对象的检测结果的传感器信息的通信分组发送至服务器5(S5)。服务器5接收从车内相机2C发送的通信分组。
车内毫米波雷达2M将包括具有移动对象的检测结果的传感器信息的通信分组发送至服务器5(S6)。服务器5接收从车内毫米波雷达2M发送的通信分组。
路侧相机1C将包括具有移动对象的检测结果的传感器信息的通信分组发送至服务器5(S7)。服务器5接收从路侧相机1C发送的通信分组。
路侧毫米波雷达1M将包括具有移动对象的检测结果的传感器信息的通信分组发送至服务器5(S8)。服务器5接收从路侧毫米波雷达1M发送的通信分组。
服务器5基于从车内相机2C、车内毫米波雷达2M、路侧相机1C和路侧毫米波雷达1M中的每一个接收的通信分组中包括的传感器信息生成指示由传感器中的每一个检测到的移动对象的显示信息(S9)。稍后将描述显示信息(稍后将描述第一显示信息、第二显示信息或者第三显示信息)的生成处理(步骤S9)。
车内装置3将请求分发显示信息的控制分组发送至服务器5,作为请求消息(S10)。
服务器5从车内装置3接收请求消息,并且将在显示信息生成处理(步骤S9)中生成的显示信息发送至作为请求消息的发送源的车内装置3(S11)。车辆2的车内装置3接收显示信息,并且执行使显示器36显示接收到的显示信息的处理。
[显示信息生成处理(图8中的步骤S9)]
将描述显示信息生成处理(图8中的步骤S9)的细节。
图9是示出显示信息生成处理(图8中的步骤S9)的细节的流程图。
当参照图9时,服务器5的确定单元53基于由传感器信息获取单元52获取的传感器信息确定在距由任意传感器检测到的移动对象(下文中,称作“第一对象”)的预定距离范围内是否存在由另一传感器检测到的移动对象(下文中,称作“第二对象”)(S21)。参照图3,在第一对象被设为车辆2I并且预定距离范围被设为区域8的情况下,在距第一对象的预定距离范围内存在作为第二对象的车辆2J。
在步骤S21中的确定结果为肯定的情况下(S21中的是),显示信息生成单元54确定在比当前时间早k(k为正值)秒的时间处第一对象的位置和第二对象的位置是否彼此匹配(S22)。也就是说,显示信息生成单元54在在比当前时间早k秒处的第一对象与第二对象之间的距离等于或小于预定距离阈值的情况下确定两个对象的位置彼此匹配,并且在该距离大于距离阈值的情况下确定两个对象的位置彼此不匹配。图5示出了车辆2K和车辆2I在k秒之前的位置彼此不匹配。
在k秒之前的第一对象的位置和第二对象的位置彼此匹配的情况下(S22中的是),显示信息生成单元54确定第一对象的前进方向和第二对象的前进方向是否彼此匹配(S23)。也就是说,显示信息生成单元54在第一对象与第二对象之间的方向差等于或小于预定角阈值的情况下确定前进方向彼此匹配,并且在该方向差大于角阈值的情况下确定前进方向彼此不匹配。图5示出了车辆2K和车辆2I的前进方向彼此不匹配。
在第一对象的前进方向和第二对象的前进方向彼此匹配的情况下(S23中的是),显示信息生成单元54确定第一对象的速度和第二对象的速度是否彼此匹配(S24)。也就是说,显示信息生成单元54在第一对象与第二对象之间的速度差的绝对值等于或小于预定速度阈值的情况下确定两个对象的速度彼此匹配,并且在两个对象之间的速度差的绝对值大于速度阈值的情况下确定两个对象的速度彼此不同(S24)。
在第一对象的速度和第二对象的速度彼此匹配的情况下(S24中的是),显示信息生成单元54确定第一对象和第二对象是同一对象,并且生成用于以整合方式显示第一对象和第二对象的第二显示信息(S25)。第二显示信息的示例包括图4B至图4D所示的方式。注意,第二显示信息可以是用于显示第一对象和第二对象而不进行整合的显示信息,如图4E或者图4F所示。
在步骤S22至步骤S24中的任一个的确定结果为否定(S22中的否、S23中的否或者S24中的否)的情况下,显示信息生成单元54确定第一对象和第二对象是不同的移动对象,并且生成用于分别显示第一对象和第二对象的第一显示信息(S26)。第一显示信息的示例包括图4A所示的方式。
在在距第一对象的预定距离范围内不存在第二对象的情况下(S21中的否),显示信息生成单元54生成用于显示第一显示对象的第三显示信息(S27)。
[实施例的效果]
如上所述,根据本发明的实施例,在多个传感器中的每一个检测到预定区域中存在的对象的情况下,能够在满足预定条件的情况和不满足预定条件的情况之间改变对象的显示方式。例如,在多个对象是不同对象的情况下,分离地显示多个对象,并且在多个对象是同一对象的情况下,按照与上述显示不同的显示方式来显示多个对象。据此,用户可以理解多个对象是被确定为不同对象的对象或者是被确定为同一对象的对象。据此,能够从多条传感器信息生成合适的显示信息。
(修改示例)
注意,在上述实施例中,由传感器检测到的对象的位置不受限制,但是对象的位置可以受到限制。
也就是说,基于每个传感器与由该传感器检测到的对象之间的位置关系,服务器5的确定单元53可以确定是否将检测到的对象设为确定目标。
图10是示出是否将对象设为确定目标的确定标准的示图。
如图10所示的车内相机的检测范围、车内毫米波雷达的检测范围和车内LiDAR的检测范围表示其中传感器的对象检测精度高的范围。也就是说,传感器可以检测在检测范围以外的对象,但是在检测范围以外的范围中对象检测精度较低。注意,图10所示的检测范围仅是示出性的,并且根据传感器的检测精度而变化。例如,假设8K的车内相机的检测范围比4K的车内相机的检测范围更宽。
当参照图10时,在在车内毫米波雷达的检测范围(其被设为车内毫米波雷达的前侧)中包括由车内毫米波雷达检测到的对象的情况下,确定单元53将对象设为确定目标,并且在在检测范围中不包括对象的情况下,确定单元53从确定目标中排除对象。
另外,在在车内相机的检测范围(其被设为车内相机的前侧或者车内相机的周围)中包括由车内相机检测到的对象的情况下,确定单元53将对象设为确定目标,并且在在检测范围中不包括对象的情况下,确定单元53从确定目标中排除对象。
另外,在在车内LiDAR的检测范围(其被设为车内LiDAR的前侧或者车内LiDAR的附近)中包括由车内LiDAR检测到的对象的情况下,确定单元53将对象设为确定目标,并且在在检测范围中不包括对象的情况下,确定单元53从确定目标中排除对象。
据此,确定单元53仅设置对其检测精度高的对象作为确定目标,并且在在距被设为确定目标的对象的预定距离内存在另一对象的情况下,确定单元53确定两个对象是否彼此相同。
根据该修改示例,仅在与对象的距离短的情况下,能够确定预定区域中存在的多个对象是否是同一对象。据此,能够允许对对其检测精度高的对象执行确定处理,而不对远离传感器的或者对其检测精度低的对象执行确定处理。据此,能够提高确定处理的可靠性,并且能够准确地确定预定区域中存在的多个对象是否是同一对象。
注意,在图10中,示出了车内传感器的检测范围,但是按照相似的方式设置路侧传感器的检测范围。因此,确定单元53可以确定是否按照与车内传感器的情况相似的处理将由路侧传感器检测到的对象设为确定目标。
以上,提供了对根据本发明的实施例的无线电通信系统的说明,但是本发明不限于实施例。
例如,可以通过在附加陈述1中描述的信息生成装置来实现上述无线电通信系统。
[附加陈述1]
一种信息生成装置,包括:
传感器信息获取单元,其从每个传感器获取指示检测目标区的测量结果的传感器信息;
确定单元,其基于由传感器信息获取单元获取的传感器信息确定多个传感器中的每一个是否检测到存在于同一预定区域中的对象;以及
显示信息生成单元,其在确定单元的确定结果为肯定的并且用于确定由多个传感器检测到的多个对象是否是同一对象的预定条件未被满足的情况下,生成用于分离地显示由多个传感器中的每一个检测到的对象的第一显示信息,并且在确定结果为肯定的并且预定条件被满足的情况下,生成用于按照与第一显示信息的显示方式不同的显示方式显示由多个传感器中的每一个检测到的对象的第二显示信息,
其中,第二显示信息包括用于按照与由第一显示信息表示的对象的颜色不同的颜色显示由多个传感器中的每一个检测到的对象的信息。
另外,在上述实施例中,显示信息生成单元54通过确定预定条件是否被满足来确定预定区域中存在的多个对象是否是同一对象。然而,确定单元53可以替代显示信息生成单元54来确定预定条件是否被满足。
另外,上述各个装置的构成元件的一部分或者全部可以由一个系统LSI构成。所述系统LSI是通过将多个构成单元集成在一个芯片上而制造的超多功能LSI,并且其特定示例包括计算机系统,其包括微处理器、ROM、RAM等。计算机程序被存储在RAM中。当微处理器根据计算机程序进行操作时,系统LSI实现所述功能。
另外,本发明可以设为上述方法。另外,本发明可以设为通过计算机实现所述方法的计算机程序。
另外,本发明可以设为记录计算机程序的计算机可读非暂时性记录介质,诸如HDD、CD-ROM和半导体存储器。
另外,本发明可以设为其中通过电子通信线路、无线或有线通信线路、互联网代表的网络、数据广播等发送计算机程序的构造。
另外,实施例和修改示例的至少一些部分可以按照任意方式组合。
应当理解,这里公开的实施例仅以所有方式进行示例,并且不受限制。此外,应当理解,在所附权利要求中而不是上述含义中描述本发明的范围,并且本发明的范围包括所述含义内的所有修改和与所附权利要求相同的范围。
[标号的说明]
1:路侧传感器
1C:路侧相机
1M:路侧毫米波雷达
2:车辆
2C:车内相机
2I:车辆
2J:车辆
2K:车辆
2L:车辆
2M:车内毫米波雷达
2N:车辆
3:车内装置
4:基站
5:服务器
6:行人
7C:检测目标区
7M:检测目标区
8:区域
11:控制单元
12:存储单元
13:相机
14:毫米波雷达
15:通信单元
31:控制单元
31A:显示信息获取单元
31B:显示控制单元
32:GPS接收器
33:车速传感器
34:陀螺仪传感器
35:存储单元
36:显示器
37:扬声器
38:输入装置
39:相机
40:毫米波雷达
41:通信单元
51:控制单元
52:传感器信息获取单元
53:确定单元
54:显示信息生成单元
55:ROM
56:RAM
57:存储单元
58:通信单元

Claims (22)

1.一种信息生成装置,包括:
传感器信息获取单元,其从具有检测目标区的多个传感器中的每一个传感器获取指示所述检测目标区的测量结果的传感器信息,所述检测目标区由所述多个传感器共有;
确定单元,其基于由所述传感器信息获取单元获取的多条所述传感器信息来确定所述多个传感器中的每一个传感器是否检测到存在于同一预定区域中的对象;以及
显示信息生成单元,其在所述确定单元的确定结果是肯定的并且预定条件未被满足的情况下,生成用于分离地显示由所述多个传感器中的每一个传感器检测到的所述对象的第一显示信息,并且在所述确定结果是肯定的并且所述预定条件被满足的情况下,生成用于按照与所述第一显示信息的显示方式不同的显示方式显示由所述多个传感器中的每一个传感器检测到的所述对象的第二显示信息,其中,所述预定条件用于确定由所述多个传感器检测到的多个对象是否是同一对象。
2.根据权利要求1所述的信息生成装置,其中,
将与基于从所述多个传感器中的任一个传感器获得的传感器信息的对象位置相距预定距离内的区域设为所述预定区域。
3.根据权利要求1或2所述的信息生成装置,其中,
所述第二显示信息包括用于显示由所述多个传感器中的每一个传感器检测到的所述对象中的任一个对象的信息。
4.根据权利要求3所述的信息生成装置,其中,
所述显示信息生成单元通过基于所述多个传感器的类型选择所述对象中的所述任一个对象而生成用于显示所选择的对象的所述第二显示信息。
5.根据权利要求3所述的信息生成装置,其中,
所述显示信息生成单元通过基于所述多个传感器的安装目标选择所述对象中的所述任一个对象而生成用于显示所选择的对象的所述第二显示信息。
6.根据权利要求3所述的信息生成装置,其中,
所述显示信息生成单元通过基于从所述传感器中的每一个传感器至由所述传感器中的每一个传感器检测到的所述对象的距离选择所述对象中的所述任一个对象,而生成用于显示所选择的对象的所述第二显示信息。
7.根据权利要求1或2所述的信息生成装置,其中,
所述第二显示信息包括用于显示通过对由所述多个传感器检测到的所述多个对象进行整合而获得的对象的信息。
8.根据权利要求1或2所述的信息生成装置,其中,
所述第二显示信息包括用于将由所述多个传感器中的每一个传感器检测到的所述对象在所述对象闪烁时进行显示的信息。
9.根据权利要求1或2所述的信息生成装置,其中,
所述第二显示信息包括用于在由所述多个传感器检测到的所述多个对象的平均位置处显示单个对象的信息。
10.根据权利要求1至9中的任一项所述的信息生成装置,其中,
所述预定条件包括基于由所述多个传感器中的每一个传感器检测到的所述对象的位置的条件。
11.根据权利要求10所述的信息生成装置,其中,
所述预定条件包括在过去的预定时间处由所述多个传感器检测到的所述多个对象之间的距离等于或小于预定距离阈值的条件。
12.根据权利要求1至11中的任一项所述的信息生成装置,其中,
所述预定条件包括由所述多个传感器检测到的所述多个对象之间的方向差等于或小于预定角阈值的条件。
13.根据权利要求1至12中的任一项所述的信息生成装置,其中,
所述预定条件包括由所述多个传感器检测到的所述多个对象之间的速度差等于或小于预定速度阈值的条件。
14.根据权利要求11至13中的任一项所述的信息生成装置,其中,
基于所述多个传感器的类型确定所述阈值中的每一个。
15.根据权利要求11至13中的任一项所述的信息生成装置,其中,
基于所述多个传感器的安装目标确定所述阈值中的每一个。
16.根据权利要求11至13中的任一项所述的信息生成装置,其中,
基于所述多个传感器的检测精度确定所述阈值中的每一个。
17.根据权利要求11至13中的任一项所述的信息生成装置,其中,
基于所述多个传感器的位置精度确定所述阈值中的每一个。
18.根据权利要求1至17中的任一项所述的信息生成装置,其中,
所述预定条件包括基于由所述多个传感器中的每一个传感器检测到的所述对象的尺寸、颜色和形状中的至少任一个的条件。
19.根据权利要求1至18中的任一项所述的信息生成装置,其中,
所述确定单元基于所述传感器中的每一个传感器与由所述传感器中的每一个传感器检测到的所述对象之间的位置关系来确定是否将检测到的所述对象设为确定目标。
20.一种信息生成方法,包括:
从具有检测目标区的多个传感器中的每一个传感器获取指示所述检测目标区的测量结果的传感器信息的步骤,其中,所述检测目标区由所述多个传感器共有;
基于多条所获取的传感器信息确定所述多个传感器中的每一个传感器是否检测到存在于同一预定区域中的对象的步骤;以及
生成第一显示信息和生成第二显示信息的步骤,其中,在所述确定步骤中的确定结果是肯定的并且预定条件未被满足的情况下生成用于分离地显示由所述多个传感器中的每一个传感器检测到的所述对象的所述第一显示信息,在所述确定结果是肯定的并且所述预定条件被满足的情况下,生成用于按照与所述第一显示信息的显示方式不同的显示方式显示由所述多个传感器中的每一个传感器检测到的所述对象的所述第二显示信息,所述预定条件用于确定由所述多个传感器检测到的多个对象是否是同一对象。
21.一种计算机程序,所述计算机程序使得计算机用作:
传感器信息获取单元,其从具有检测目标区的多个传感器中的每一个传感器获取指示所述检测目标区的测量结果的传感器信息,所述检测目标区由所述多个传感器共有;
确定单元,其基于由所述传感器信息获取单元获取的多条所述传感器信息来确定所述多个传感器中的每一个传感器是否检测到存在于同一预定区域中的对象;以及
显示信息生成单元,其在所述确定单元的确定结果是肯定的并且预定条件未被满足的情况下,生成用于分离地显示由所述多个传感器中的每一个传感器检测到的所述对象的第一显示信息,并且在所述确定结果是肯定的并且所述预定条件被满足的情况下,生成用于按照与所述第一显示信息的显示方式不同的显示方式显示由所述多个传感器中的每一个传感器检测到的所述对象的第二显示信息,其中,所述预定条件用于确定由所述多个传感器检测到的多个对象是否是同一对象。
22.一种车内装置,包括:
显示信息获取单元,其从根据权利要求1至19中的任一个所述的信息生成装置获取所述第一显示信息与所述第二显示信息之间的至少一条显示信息,所述第一显示信息和所述第二显示信息由所述信息生成装置生成;以及
显示控制单元,其基于由所述显示信息获取单元获取的所述显示信息控制屏幕上的显示。
CN201880089011.8A 2018-02-13 2018-11-30 信息生成装置、信息生成方法、计算机程序和车内装置 Active CN111699523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018022896 2018-02-13
JP2018-022896 2018-02-13
PCT/JP2018/044111 WO2019159494A1 (ja) 2018-02-13 2018-11-30 情報生成装置、情報生成方法、コンピュータプログラムおよび車載装置

Publications (2)

Publication Number Publication Date
CN111699523A true CN111699523A (zh) 2020-09-22
CN111699523B CN111699523B (zh) 2022-07-05

Family

ID=67619888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089011.8A Active CN111699523B (zh) 2018-02-13 2018-11-30 信息生成装置、信息生成方法、计算机程序和车内装置

Country Status (5)

Country Link
US (1) US11010612B2 (zh)
JP (1) JP6687169B2 (zh)
CN (1) CN111699523B (zh)
DE (1) DE112018007073T5 (zh)
WO (1) WO2019159494A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3754372A4 (en) * 2018-03-30 2021-02-24 Mitsubishi Electric Corporation OBJECT IDENTIFICATION DEVICE
JP7044000B2 (ja) * 2018-07-20 2022-03-30 株式会社デンソー 車両制御装置および車両制御方法
US11808843B2 (en) * 2019-08-29 2023-11-07 Qualcomm Incorporated Radar repeaters for non-line-of-sight target detection
US11067638B2 (en) 2019-12-12 2021-07-20 Sma Solar Technology Ag Method of and system for detecting a serial arc fault in a power circuit
US20220417623A1 (en) * 2019-12-27 2022-12-29 Nec Corparation Data management apparatus, sensor apparatus, data management method, and non-transitory computer readable medium
JP7342753B2 (ja) * 2020-03-18 2023-09-12 株式会社デンソー 車両用位置特定装置及び車両用位置特定方法
JP7474689B2 (ja) 2020-12-04 2024-04-25 日産自動車株式会社 物体検出方法及び物体検出装置
CN114338585A (zh) * 2021-11-30 2022-04-12 青岛海尔科技有限公司 消息推送方法、装置、存储介质及电子装置
JP7214024B1 (ja) 2022-03-09 2023-01-27 三菱電機株式会社 物体位置検出装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206750A (ja) * 2008-02-27 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> センサ情報の表示制御装置およびその方法、プログラム、記録媒体
CN102264569A (zh) * 2008-11-14 2011-11-30 丰田自动车工程及制造北美公司 集成可视显示器系统
CN103879406A (zh) * 2012-12-19 2014-06-25 沃尔沃汽车公司 用于辅助驾驶员的方法和系统
US20150339534A1 (en) * 2014-05-20 2015-11-26 Denso Corporation Drive support display device
WO2017017766A1 (ja) * 2015-07-27 2017-02-02 日産自動車株式会社 物体検出方法及び物体検出装置
CN106696701A (zh) * 2015-11-18 2017-05-24 Lg电子株式会社 驾驶员辅助设备以及包括该驾驶员辅助设备的车辆
CN107667047A (zh) * 2015-06-03 2018-02-06 法雷奥开关和传感器有限责任公司 用于将机动车辆侧向周围环境区域中细长静止物体分类的方法、驾驶员辅助系统和机动车辆

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3923200B2 (ja) * 1998-10-23 2007-05-30 本田技研工業株式会社 車両の障害物検知方法
JP4534846B2 (ja) * 2005-04-13 2010-09-01 トヨタ自動車株式会社 物体検出装置
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US8350686B2 (en) * 2007-12-05 2013-01-08 Bosch Corporation Vehicle information display system
JP5669767B2 (ja) * 2011-12-13 2015-02-18 トヨタ自動車株式会社 情報提供装置
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
US10037469B2 (en) * 2013-12-10 2018-07-31 Google Llc Image location through large object detection
JP6330160B2 (ja) 2014-05-09 2018-05-30 本田技研工業株式会社 物体認識装置
JP6493365B2 (ja) * 2016-05-19 2019-04-03 株式会社デンソー 車両制御装置、車両制御方法
JP6625932B2 (ja) * 2016-05-31 2019-12-25 株式会社東芝 監視装置及び監視システム
JP2017083477A (ja) 2017-02-07 2017-05-18 パイオニア株式会社 表示制御方法、プログラムおよび表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206750A (ja) * 2008-02-27 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> センサ情報の表示制御装置およびその方法、プログラム、記録媒体
CN102264569A (zh) * 2008-11-14 2011-11-30 丰田自动车工程及制造北美公司 集成可视显示器系统
CN103879406A (zh) * 2012-12-19 2014-06-25 沃尔沃汽车公司 用于辅助驾驶员的方法和系统
US20150339534A1 (en) * 2014-05-20 2015-11-26 Denso Corporation Drive support display device
CN107667047A (zh) * 2015-06-03 2018-02-06 法雷奥开关和传感器有限责任公司 用于将机动车辆侧向周围环境区域中细长静止物体分类的方法、驾驶员辅助系统和机动车辆
WO2017017766A1 (ja) * 2015-07-27 2017-02-02 日産自動車株式会社 物体検出方法及び物体検出装置
CN106696701A (zh) * 2015-11-18 2017-05-24 Lg电子株式会社 驾驶员辅助设备以及包括该驾驶员辅助设备的车辆

Also Published As

Publication number Publication date
US20200143167A1 (en) 2020-05-07
WO2019159494A1 (ja) 2019-08-22
US11010612B2 (en) 2021-05-18
DE112018007073T5 (de) 2020-11-12
JPWO2019159494A1 (ja) 2020-05-28
JP6687169B2 (ja) 2020-04-22
CN111699523B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111699523B (zh) 信息生成装置、信息生成方法、计算机程序和车内装置
US10753757B2 (en) Information processing apparatus and information processing method
US10730512B2 (en) Method and system for collaborative sensing for updating dynamic map layers
US10096244B2 (en) Roadside detection system, roadside unit and roadside communication method thereof
US12044532B2 (en) Sensor plausibility using GPS road information
US10558872B2 (en) Localization by vision
US11076141B2 (en) Image processing device, image processing method, and vehicle
US20200234580A1 (en) Moving object and driving support system for moving object
CN107851656B (zh) 摄像装置和测距系统
US11738747B2 (en) Server device and vehicle
KR101850254B1 (ko) 커넥티드 카 환경을 지원하기 위한 차량간 통신 시스템
JP2019079454A (ja) 車両制御システム、機能通知装置、機能通知方法およびコンピュータプログラム
US11062603B2 (en) Object detection device for vehicle and object detection system for vehicle
JP2019079453A (ja) 情報生成システム、情報生成装置、情報生成方法およびコンピュータプログラム
JP2016143088A (ja) 位置検出システム及び車載情報処理装置
KR20160112584A (ko) Obd 연결이 가능한 gps 시스템 및 이를 이용한 데이터 동기화 방법
US10877156B2 (en) Localization by light sensors
JP6451352B2 (ja) 位置検出システム及び車載情報処理装置
JP7415849B2 (ja) 車両用システム及び物標識別プログラム
US20240157961A1 (en) Vehicle system and storage medium
JP2020098532A (ja) 動的情報生成装置、車載装置、動的情報生成方法およびコンピュータプログラム
JP2020087015A (ja) 路側機、サーバ装置、通信システム、第1路側機、第2路側機、第1電子機器、第2電子機器及び車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant