CN116895058A - 物体信息取得方法以及用于实现该方法的系统 - Google Patents

Abstract

本公开涉及物体信息取得方法以及用于实现该方法的物体信息取得系统。取得物体信息的方法包括从车辆的乘员处接收请求开始。方法包括从乘员处接收请求。方法包括判别来自乘员的请求的内容。方法还包括检测乘员的视线位置。方法包括基于由安装于车辆的传感器收集到的数据，接收关于车辆周围的环境的信息。方法包括基于检测出的视线位置和关于车辆周围的环境的信息识别车辆外侧的感兴趣区域即ROI。方法包括基于ROI和请求的内容生成日志数据。方法包括向外部装置发送日志数据。方法包括接收与ROI内的物体有关、且满足请求的内容的信息。由此，提供关于车辆的乘员感兴趣的物体的信息。

Description

物体信息取得方法以及用于实现该方法的系统

本申请与于2021年10月8日申请的美国专利申请第17/497846号说明书相关，通过参照将其整体并入本说明书。

技术领域

本公开涉及物体信息取得方法以及用于实现该方法的系统。

背景技术

车辆乘员会看车辆窗外感兴趣的物体。有些情况下，乘员希望识别(辨识)物体或者知晓关于物体的更多信息。有些情况下，乘员会使用智能手机等便携设备捕捉物体的图像，之后在互联网上进行搜索以识别物体或者进一步对物体加以了解。有些情况下，捕捉物体的图像会因车辆的移动而变得更加困难。此外，有些情况下，遮挡捕捉物体图像的障碍物会从车辆与物体之间通过。有些情况下，驾驶员无法安全地将手从方向盘上移开以使用便携设备捕捉图像。

在一部分方法中，乘员尝试看地图来识别物体。而且，乘员能够在互联网上搜索以判别使用地图识别出的物体是否正确，在正确的情况下，能够搜索关于物体的更多信息。使用地图的物体识别利用乘员关于物体相对于其他已知地标或物体的位置的最佳推定来进行。

发明内容

实施方式涉及的取得物体信息的方法包括：从车辆的乘员处接收请求开始；在接收所述请求开始后从所述乘员处接收请求；判别来自所述乘员的所述请求的内容；检测所述乘员的视线位置；基于由安装于所述车辆的传感器收集到的数据，接收关于所述车辆周围的环境的信息；基于检测出的所述视线位置和关于所述车辆周围的环境的所述信息，识别所述车辆外侧的感兴趣区域即ROI(region of interest)；基于所述ROI和所述请求的内容，生成日志数据；将所述日志数据向外部装置发送；和接收与所述ROI内的物体有关且满足所述请求的内容的信息。

附图说明

图1是一部分实施方式涉及的物体识别系统的框图。

图2是一部分实施方式涉及的物体的识别方法的流程图。

图3是一部分实施方式涉及的物体的识别方法的流程图。

图4是一部分实施方式涉及的乘员请求的数据结构的图。

图5是一部分实施方式涉及的关注区域数据的数据结构的图。

图6是一部分实施方式涉及的关注区域数据的数据结构的图。

图7是一部分实施方式涉及的关注区域数据的数据结构的图。

图8是一部分实施方式涉及的用户界面的图。

图9是一部分实施方式涉及的用户界面的图。

图10是一部分实施方式涉及的用户界面的图。

图11是一部分实施方式涉及的用于执行物体识别的系统的框图。

具体实施方式

通过结合附图阅读以下的详细记述，可最好地理解本公开的技术方案。要留意的是，按照本领域的标准惯例，各种特征没有按照固定的比例尺描绘。实际上，为了使说明明确，各种特征的尺寸可能会任意增减。

以下的公开提供许多实现所提供主题的各种特征的不同的实施方式或实施例。为了简化本公开，以下记载构成要素、值、动作、材料、配置或同种对象的具体示例。当然，这些仅为例子，并非旨在进行限定。可考虑其他构成要素、值、动作、材料、配置或同种对象。例如，在以下的说明中，在第2特征的上方或者上面形成第1特征可以包括第1特征和第2特征直接接触而形成的实施方式，另外，有时也包括可在第1特征与第2特征之间形成附加特征以使第1特征和第2特征不直接接触的实施方式。此外，本公开有时会在各种例子中重复参考编号和/或参考文字。该重复以简洁性和明确性为目的，其自身并不决定所论述的各种实施方式和/或结构间的关系。

移动的车辆内的乘员为了识别感兴趣的物体大多要付出辛苦。有些情况下，乘员无法基于地图和捕捉图像中的任一方而准确地识别物体。有些情况下，驾驶员等乘员无法使用地图或者智能手机这样的拍摄装置以尝试识别感兴趣的物体。为了辅助乘员准确地识别感兴趣的物体，本说明书的物体识别方法将请求开始指令与视线数据和车辆传感器数据并用来识别物体。在一部分实施方式中，也提供关于识别出的物体的信息、例如营业时间、历史记录信息等。

通过利用视线数据，方法能够判别乘员正在看的方向。将视线数据与地图数据和/或车辆传感器数据组合，判别在开始请求的时间点乘员正在观察什么物体。利用请求开始有助于削减处理负荷以及在车辆与服务器等外部装置之间传输的数据。在一部分实施方式中，请求开始包括经由语音信号从乘员处接收到的关键字。在一部分实施方式中，请求开始包括检测乘员的预定手势。在一部分实施方式中，请求开始包括接收来自乘员能够访问的用户界面(UI)的输入。

使用存储于车辆传感器和/或车辆内的地图数据有助于捕捉关于车辆周围的环境的信息而无需使用智能手机等其他装置，且驾驶员等乘员也无需将手从方向盘上移开。这有助于减少乘员和/或驾驶员的注意力分散，使乘员不操作外部装置就能够识别物体。另外，使用车辆传感器和地图数据也有助于在其他车辆等物体将感兴趣的物体的景色遮挡的状况下、或者在物体起初可见但是在外部装置变为可使用状态的时间点被遮住的情况下提高物体识别的准确性。

在一部分实施方式中，在车辆的UI上显示物体以帮助确认物体识别。当识别出感兴趣的物体时，乘员能够请求与识别出的物体有关的附加(追加)信息。例如，在一部分实施方式中，乘员能够请求前往识别出的物体的路线、识别出的物体的营业时间、与识别出的物体有关的历史记录信息、或者其他适当的信息。

图1是一部分实施方式涉及的物体识别系统100的框图。在物体识别系统100的说明中，聚焦于由驾驶员控制的汽车。但是，本领域技术人员将认识到，由技术人员操作的火车或者其他移动车辆等其他车辆以及操作者也在本说明书的范围内。物体识别系统100包括车辆系统110，车辆系统110构成为捕捉关于车辆乘员的信息并生成视线数据。车辆系统110也捕捉请求开始信号和乘员请求。物体识别系统100还包括服务器140，服务器140构成为接收所生成的视线数据、和作为日志数据而从车辆的传感器收集到的信息。物体识别系统100还包括便携设备160，与乘员请求相关联的车辆的乘员能够访问便携设备160。在一部分实施方式中，便携设备160的功能的一部分或全部被并入车辆系统110。将便携设备160的功能并入车辆系统110使得即使在乘员无法访问便携设备的情况下、或者便携设备的蓄电池没有充电达到足够使用便携设备的电力的情况下，乘员也能够利用物体识别系统100。

车辆系统110包括构成为从乘员监视(监测)摄像头112接收数据的电子控制装置(ECU)120、前方摄像头114、全球定位系统(GPS)116以及地图118。ECU120包括视线检测装置122，视线检测装置122构成为从乘员监视摄像头112接收数据并基于接收到的数据检测视线方向和/或视线深度。ECU120还包括构成为判别乘员的视线位置的关注区域识别装置124。ECU120还包括位置确定装置126，位置确定装置126构成为从GPS116以及地图118接收数据，并判别车辆相对于检测出的物体和/或已知的物体和/或道路位置的位置以及车辆的姿势和状态。姿势是车辆相对于车道等基准点的朝向。在一部分实施方式中，车辆的位置也意味着车辆的位置矢量(向量)。车辆的姿势和状态意味着车辆的速度和方位。在一部分实施方式中，车辆的姿势和状态也意味着车辆的速度矢量、加速度矢量和加加速度矢量。在一部分实施方式中，位置矢量、速度矢量、加速度矢量和加加速度矢量包含角度矢量。在一部分实施方式中，车辆的状态也意味着车辆的发动机或者马达是否在工作。ECU120还包括日志收集装置128，日志收集装置128构成为从前方摄像头114、位置确定装置126以及数据收集请求装置132接收信息，并使来自乘员的数据收集请求与来自车辆系统110的对应的传感器数据结合，以汇集能够由服务器140用于识别感兴趣的物体的日志数据。ECU120还包括构成为从便携设备160接收数据请求的请求接收装置130。在一部分实施方式中，在便携设备160的功能被并入车辆系统110的情况下，省去请求接收装置130。ECU120还包括数据收集请求装置132，数据收集请求装置132构成为从关注区域识别装置124接收视线数据和感兴趣区域的信息并从请求接收装置130接收乘员请求信息。数据收集请求装置132构成为将接收到的信息相互关联，生成用于日志收集装置128的命令以从车辆的前方摄像头114等传感器收集与乘员请求信息关联的数据。ECU120还包括日志发送装置134，日志发送装置134构成为从日志收集装置128接收日志数据并将日志数据向服务器140发送。

乘员监视摄像头112构成为捕捉观察车辆(viewing vehicle)的驾驶员或者其他乘员的图像。乘员监视摄像头112与车辆连接。在一部分实施方式中，乘员监视摄像头112包括可见光摄像头。在一部分实施方式中，乘员监视摄像头112包括红外线(IR)摄像头或者其他适当的传感器。在一部分实施方式中，乘员监视摄像头112能够相对于车辆移动以捕捉各种大小的乘员的至少一只眼睛的图像。虽然优选捕捉乘员的双眼的图像，但是一部分乘员仅有一只眼，或在乘员的头背对着乘员监视摄像头112的情况下，只能够由乘员监视摄像头112捕捉到乘员的一只眼睛。在一部分实施方式中，乘员监视摄像头112自动调整。在一部分实施方式中，乘员监视摄像头112能够通过手动调整。在一部分实施方式中，捕捉图像包含乘员的至少一只眼睛。在一部分实施方式中，捕捉图像包含关于乘员的附加信息、例如大致身高、大致体重、头发长度、头发颜色、服装或者其他适当的信息等。在一部分实施方式中，乘员监视摄像头112包括捕捉乘员的各种区域的图像的许多拍摄装置。在一部分实施方式中，多个乘员监视摄像头112配置在车辆内的不同的多个地方。例如，在一部分实施方式中，第1乘员监视摄像头112接近位于车辆的中央部的后视镜而配置，第2乘员监视摄像头112接近驾驶员侧的车门而配置。本领域技术人员将认识到，乘员监视摄像头112的不影响车辆操作的其他位置也在本公开的范围内。在一部分实施方式中，来自乘员监视摄像头112的数据包含有助于与其他数据的同步的时间戳或者其他元数据。

本领域技术人员将理解，在一部分实施方式中，车辆系统110包括用于监视许多乘员的附加摄像头。各个附加摄像头与上述的乘员监视摄像头112相似。例如，在一部分实施方式中，一个或多个监视摄像头配置在车辆内以捕捉前部座位的乘客的至少一只眼睛的图像。在一部分实施方式中，一个或多个监视摄像头配置在车辆内以捕捉后部座位的乘客的至少一只眼睛的图像。在一部分实施方式中，附加摄像头仅响应于车辆检测出对应的前部座位的乘客或者后部座位的乘客而起动。在一部分实施方式中，车辆的操作者能够选择性地使附加摄像头停止工作。在包括附加摄像头的实施方式中，捕捉到的图像依然向视线检测装置122发送，视线检测装置122能够生成关于车辆的各个被监视的乘员的视线结果。

前方摄像头114构成为捕捉车辆周围的环境的图像。在一部分实施方式中，前方摄像头114包括可见光摄像头、IR摄像头。在一部分实施方式中，前方摄像头114被替换为激光雷达(LiDAR、光检测和测距)传感器、雷达(RADAR、无线检测和测距)传感器、声波探测(SONAR)传感器或者其他适当的传感器，或者进而与这些传感器一起使用。在一部分实施方式中，前方摄像头114包括配置在车辆的多个其他地方的多个附加摄像头。例如，在一部分实施方式中，附加摄像头配置在车辆的侧面以检测观察车辆左右的环境的更广的范围。车辆的乘员能够从车辆的侧窗向外看，因此，为了检测车辆周围的环境的更广的范围而使用附加摄像头有助于提高判别车辆的乘员看着的物体的精度。例如，在一部分实施方式中，附加摄像头配置在车辆的背面以检测车辆后部的环境的更广的范围。该信息有助于捕捉驾驶员以外的车辆乘员能够从后窗看到的更多物体。另外，前方摄像头114也能够捕捉图像以用于判别在物体的位置与观察车辆的乘员之间是否存在中央隔离带、防护栏等障碍物。在一部分实施方式中，来自前方摄像头114的数据包含时间戳或者其他元数据以帮助使来自前方摄像头114的数据与来自乘员监视摄像头112的数据同步。

GPS116构成为判别车辆的位置。知晓观察车辆的位置有助于将物体和吸引乘员注意的方向与关于地图118上的判别出的位置的物体和区域关联。知晓车辆的行进方向有助于预测车辆的乘员在看哪个方向以辅助生成视线数据。知晓观察车辆的速度有助于判别车辆的乘员有多久的机会看感兴趣的物体。例如，在一部分实施方式中，在乘员开始请求的时间点之前，车辆已从感兴趣的物体之处通过，或者车辆相对于感兴趣的物体的位置发生了变化。作为结果，知晓车辆在各种时间点的位置有助于将乘员请求与感兴趣的物体关联。

地图118包含与车道和沿着车道的已知物体关联的信息。在一部分实施方式中，地图118能够与GPS116一起使用以识别车辆的位置和行进方向。在一部分实施方式中，从服务器140等外部装置接收地图118。在一部分实施方式中，基于来自前方摄像头114和/或GPS116的信息定期更新地图118。在一部分实施方式中，基于从外部装置接收到的信息定期更新地图118。在一部分实施方式中，利用同时定位与地图创建(SLAM)算法，根据传感器数据生成地图118。

在以下说明中，为简便起见，主要聚焦于与驾驶员有关的信息的分析。本领域技术人员将理解，说明也能够同样适用于前部座位的乘客、后部座位的乘客等车辆的其他乘员。

视线检测装置122构成为从乘员监视摄像头112接收数据并生成视线检测结果。视线检测结果包含驾驶员的眼睛所看的方向。在一部分实施方式中，方向包括方位角和仰角。通过包括方位角和仰角，能够判别驾驶员在看的与水平线平行的方向和与水平线垂直的方向双方。在一部分实施方式中，视线检测结果还包含深度信息。深度信息是驾驶员眼睛的视轴收敛的与驾驶员相距的推定距离。通过包含深度信息，能够判别驾驶员与驾驶员所注视的物体之间的距离。通过将深度信息与方位角和仰角组合，视线检测结果的精度提高。在一部分实施方式中，在捕捉到的图像仅包含驾驶员的一只眼睛的情况下，难以判别深度信息，因此仅由视线检测装置122判别方位角和仰角。在一部分实施方式中，视线检测装置122还构成为从前方摄像头114接收数据，并基于方位角和仰角将检测出的视线与来自前方摄像头114的图像的像素位置关联。

在一部分实施方式中，视线检测装置122不安装于车辆。在一部分实施方式中，视线检测装置122装配于观察车辆的乘员。例如，在一部分实施方式中，视线检测装置122包括智能眼镜、其他智能服装或者能够判别穿戴者的视线信息的其他的这种装置。在利用智能眼镜的一部分实施方式中，视线数据能够从行人、骑自行车的人或者不在车辆内的其他人收集。物体识别系统100能够利用该视线数据以帮助识别感兴趣的物体。在包括没有安装于车辆的视线检测装置122的利用者的实施方式中，前方摄像头114以及位置确定装置126依然与视线检测装置122组合来使用。

关注区域识别装置124构成为从视线检测装置122接收视线数据，进而筛选视线数据，识别乘员的焦点所在的乘员可视区域的区域。基于接收到的视线数据，关注区域识别装置124识别引起乘员注意的相对于车辆的位置。在一部分实施方式中，关注区域识别装置124还构成为从前方摄像头114接收信息，从前方摄像头114的捕捉图像中识别引起乘员注意的像素区域。关注区域识别装置124有助于削减由日志收集装置128收集到的日志数据的数据量而削减ECU120中的处理负荷。

位置确定装置126构成为从GPS116以及地图118接收信息，识别车辆在世界坐标系中的位置或者车辆相对于地图118上的物体和已知物体的位置。在一部分实施方式中，位置确定装置126能够用于判别车辆的行进方向和速度。另外，位置确定装置126也构成为判别车辆的状态信息。在一部分实施方式中，状态信息包含车辆的速度。在一部分实施方式中，状态信息包含车辆的速度矢量。在一部分实施方式中，状态信息包含车辆的行进方向。在一部分实施方式中，状态信息包含车辆的加速度矢量。在一部分实施方式中，状态信息包含车辆的加加速度矢量。在一部分实施方式中，状态信息包含车辆的发动机或者马达是否在工作。在一部分实施方式中，状态信息包含前挡风玻璃的雨刷器的动作等与车辆有关的其他状态信息。

日志收集装置128构成为从前方摄像头114接收图像，从位置确定装置126接收状态信息，从数据收集请求装置132接收乘员请求信息。日志收集装置128构成为将接收到的数据相互关联，判别在乘员请求开始的时间点，来自前方摄像头114的图像的哪个部分被乘员观察着。另外，日志收集装置128构成为判别乘员在谋求什么信息，例如物体的识别、前往物体的路线或者其他适当的信息等。日志收集装置128基于由关注区域识别装置124以及数据收集请求装置132分析出的视线数据，判别在由前方摄像头114捕捉到的图像中被观察了的部分。基于分析出的视线数据，日志收集装置128能够裁剪来自前方摄像头114的图像以削减为了分析而向服务器发送的数据量。日志收集装置128使用来自位置确定装置126的状态信息将分析出的视线数据补全以辅助图像裁剪中的精度。

日志收集装置128基于裁剪后的图像和所请求的数据等接收到并相互关联的数据，生成日志数据。另外，日志收集装置128将时间戳信息与日志数据关联以辅助收集到的数据的同步，并且用于服务器140内的队列优先级。在一部分实施方式中，日志收集装置128以还包含与裁剪后的图像相关联的世界坐标的方式生成日志数据。在一部分实施方式中，日志收集装置128以还包含与裁剪后的图像相关联的地图的位置的方式生成日志数据。在一部分实施方式中，日志收集装置128包含用于辅助提高响应乘员请求的精度的附加信息。

上述说明与基于来自前方摄像头114的图像生成日志数据相关，但本领域技术人员将理解，日志收集装置128不仅限定于基于图像生成日志数据。在一部分实施方式中，日志收集装置128构成为基于来自RADAR、LiDAR或者其他适当的传感器等安装于车辆的其他传感器的信息生成日志数据。在一部分实施方式中，日志收集装置128能够基于从LiDAR接收到的点云数据代替图像数据来生成日志数据。本领域技术人员将认识到，点云数据包含可用于基于与检测器相距的各点的距离来表现三维形状或者物体的空间内的数据点的集合。在乘员佩戴着智能眼镜的一部分实施方式中，日志收集装置128还构成为基于从智能眼镜接收到的信息生成日志数据。

请求接收装置130构成为接收来自便携设备160的请求。在一部分实施方式中，在便携设备160的功能被并入车辆系统110的情况下，省去请求接收装置130，直接向数据收集请求装置132传输请求。在一部分实施方式中，请求接收装置130构成为以无线方式接收请求。在一部分实施方式中，请求接收装置130构成为经由有线连接接收请求。在一部分实施方式中，请求接收装置130构成为在接收请求之前接收请求开始。在一部分实施方式中，响应于接收请求开始，请求接收装置130构成为通知数据收集请求装置使其开始进行在日志收集装置128中的数据收集，以帮助为了生成日志数据而切实地存储来自前方摄像头114等车辆传感器的信息。在一部分实施方式中，请求接收装置130还构成为接收包含进行请求的乘员的识别信息和进行了请求的时间戳信息的请求。在一部分实施方式中，请求接收装置130构成为接收与进行请求的乘员的身份关联的信息。

数据收集请求装置132构成为将乘员请求与来自关注区域识别装置124的感兴趣区域(ROI)信息相互关联。数据收集请求装置132构成为将乘员请求和ROI信息变换为日志收集装置128能够用于收集满足乘员请求的信息的命令。在一部分实施方式中，数据收集请求装置132构成为判别能够利用哪个传感器来捕捉与车辆周围的环境的某个区域有关的信息。在一部分实施方式中，数据收集请求装置132构成为识别日志收集装置128应该使用什么种类的传感器以满足乘员请求。数据收集请求装置132还构成为识别乘员请求的时间戳，使日志收集装置128能够准确地从车辆的关联的传感器收集数据。

日志发送装置134构成为从日志收集装置128接收日志数据，并向服务器140发送日志数据。在一部分实施方式中，日志发送装置134构成为以无线方式发送日志数据。在一部分实施方式中，日志发送装置134构成为经由有线连接发送日志数据。在一部分实施方式中，日志发送装置134构成为向便携设备160发送日志数据，便携设备160构成为向服务器140发送日志数据。在一部分实施方式中，日志发送装置134构成为使用蓝牙(注册商标)或者其他适当的无线技术向便携设备160发送日志数据。在一部分实施方式中，ECU120构成为判别从便携设备160向服务器140的数据传输速度是否大于从日志发送装置134向服务器140的传输速度。响应于从便携设备160向服务器140的数据传输速度较大这一判别，日志发送装置134构成为向便携设备160发送要向服务器140发送的日志数据。响应于从便携设备160向服务器140的数据传输速度并非较大这一判别，日志发送装置134构成为将日志数据直接向服务器140发送而不从车辆系统110向便携设备160传输。

在一部分实施方式中，车辆系统110还包括存储器，存储器构成为存储来自安装于车辆的传感器的传感器数据。在一部分实施方式中，存储器还构成为存储与以前的乘员请求相关联的信息。在一部分实施方式中，响应于数据收集请求装置132判别为乘员请求与以前的乘员请求一致，数据收集请求装置132构成为将一致的以前的乘员请求的结果提供给乘员180。在一部分实施方式中，以前的请求被存储为高速缓存数据。本领域技术人员会将高速缓存理解为，使用硬件或者软件存储数据以使得能够更高速地满足将来的对于该数据的请求。

服务器140包括构成为从日志发送装置134接收日志数据的日志数据接收装置142。在一部分实施方式中，日志数据接收装置142构成为从便携设备160接收日志数据。服务器140还包括构成为存储所接收到的日志数据的日志存储装置144。服务器140还包括日志分析装置146，日志分析装置146构成为从日志存储装置144接收日志数据且从数据库148接收信息，识别感兴趣的物体且/或提供与感兴趣的物体有关的信息。服务器140还包括构成为保存关于物体的信息的数据库148。服务器140还包括构成为向便携设备160发送日志分析装置146的结果的分析结果发送装置150。服务器140还包括构成为向便携设备160发送日志识别信息的日志发送装置152。

日志数据接收装置142构成为从日志发送装置134接收日志数据。在一部分实施方式中，日志数据接收装置142构成为从便携设备160接收日志数据。在一部分实施方式中，日志数据接收装置142构成为以无线方式接收日志数据。在一部分实施方式中，日志数据接收装置142构成为经由有线连接接收日志数据。在一部分实施方式中，日志数据接收装置142构成为向日志数据附加接收到日志数据的时刻的时间戳。

日志存储装置144构成为存储为了分析而接收到的日志数据。在一部分实施方式中，日志存储装置144包括固态存储器装置。在一部分实施方式中，日志存储装置144包括动态随机存取存储器(DRAM)。在一部分实施方式中，日志存储装置144包括非易失性存储器装置。在一部分实施方式中，日志存储装置144包括基于云的存储装置或者其他适当的存储结构。在一部分实施方式中，日志存储装置144构成为由基于优先级的队列存储日志数据。在一部分实施方式中，优先级基于服务器140接收到日志数据的时间戳。在一部分实施方式中，优先级基于接收到乘员请求的时间戳。在一部分实施方式中，优先级基于日志数据的大小。在一部分实施方式中，优先级基于乘员180的身份。例如，在一部分实施方式中，乘员具有在服务器140上提供的服务的账户以用于优先履行乘员请求。在一部分实施方式中，使用其他基准判别队列中的日志数据的优先级。在一部分实施方式中，日志数据在由日志分析装置146对日志数据进行分析后从日志存储装置144中除去。在一部分实施方式中，日志数据在由日志分析装置146对日志数据进行分析后不受在日志存储装置144中不被覆写的保护。

日志分析装置146构成为从日志存储装置144接收日志数据，并判别日志数据的乘员请求是否与保存于数据库148的记录一致。在一部分实施方式中，日志分析装置146包括为了将日志数据与数据库148的已知物体比较而学习出的神经网络(NN)。发现日志数据与数据库148的已知物体的一致后，日志分析装置146从日志数据判别物体的识别、物体的营业时间、物体的历史记录信息等被请求的数据。日志分析装置146从数据库148中提取满足被请求的数据的信息，向分析结果发送装置150传输所提取到的信息。在一部分实施方式中，将提取到的信息与日志数据的识别信息一起传输到分析结果发送装置。

数据库148构成为将与物体有关的信息与物体的位置和物体的图像关联地存储。在一部分实施方式中，数据库148包括固态存储器装置。在一部分实施方式中，数据库148包括动态随机存取存储器(DRAM)。在一部分实施方式中，数据库148包括非易失性存储器装置。在一部分实施方式中，数据库148包括关系数据库(RDB)。在一部分实施方式中，数据库148包括键值数据库(KVS)。在一部分实施方式中，数据库148包括NoSQL数据库。在一部分实施方式中，数据库148包括基于云的存储装置或者其他适当的存储结构。在一部分实施方式中，数据库148与日志存储装置144一体化。在一部分实施方式中，数据库148从日志存储装置144分离。在一部分实施方式中，数据库148构成为存储与对于以前的乘员请求的分析结果有关的信息。在一部分实施方式中，日志分析装置146能够响应于日志数据与以前的乘员请求一致这一判别，读取以前的乘员请求的结果。在一部分实施方式中，数据库148存储通过NN生成的特征映射以取代存储图像数据。

分析结果发送装置150构成为从日志分析装置146接收满足乘员请求的信息。分析结果发送装置150构成为向便携设备160发送信息。在一部分实施方式中，分析结果发送装置150构成为向车辆系统110而非便携设备160发送消息、或者除了便携设备160还向车辆系统110发送信息。在一部分实施方式中，服务器140构成为判别从服务器140向便携设备160的数据传输速度是否大于从服务器140向车辆系统110的传输速度。响应于从服务器140向便携设备160的数据传输速度较大这一判别，分析结果发送装置150构成为向便携设备160发送要向车辆系统110发送的信息。响应于从服务器140向车辆系统110的数据传输速度较大这一判别，分析结果发送装置150构成为不通过便携设备160而直接向车辆系统110发送信息。在一部分实施方式中，分析结果发送装置150构成为以无线方式传输信息。在一部分实施方式中，分析结果发送装置150构成为经由有线连接发送信息。在一部分实施方式中，分析结果发送装置150构成为也发送对于与信息相关联的日志数据的识别信息。发送对于日志数据的识别信息有助于便携设备160或车辆系统110向乘员显示数据请求和分析结果双方。

日志发送装置152构成为发送与由服务器140对日志数据的处理有关的信息。在一部分实施方式中，日志发送装置152构成为向便携设备160发送信息。在一部分实施方式中，日志发送装置152构成为向车辆系统110发送信息。在一部分实施方式中，服务器140构成为判别从服务器140向便携设备160的数据传输速度是否大于从服务器140向车辆系统110的传输速度。响应于从服务器140向便携设备160的数据传输速度较大这一判别，日志发送装置152构成为向便携设备160发送要向车辆系统110发送的信息。响应于从服务器140向车辆系统110的数据传输速度较大这一判别，日志发送装置152构成为不通过便携设备160而直接向车辆系统110发送信息。在一部分实施方式中，日志发送装置152构成为向便携设备160和/或车辆系统110发送日志数据以由乘员进行再确认。在一部分实施方式中，日志发送装置152构成为响应于日志分析装置146从日志存储装置144的队列中取出日志数据，向便携设备160和/或车辆系统110发送对于日志数据的识别信息。在一部分实施方式中，日志发送装置152以无线方式发送信息。在一部分实施方式中，日志发送装置152经由有线连接发送信息。

便携设备160包括构成为从日志发送装置152接收信息的日志接收装置162。便携设备还包括构成为从分析结果发送装置150接收信息的分析结果接收装置164。便携设备160还包括构成为基于从日志发送装置152以及分析结果发送装置150接收到的信息而将信息传达给乘员180的UI166。UI166还构成为接收来自乘员180的输入信息。便携设备160还包括构成为从乘员180处接收请求开始信息以及请求数据的麦克风168。便携设备160还包括构成为分析由麦克风168接收到的数据而判别请求开始信息以及请求数据的内容的语音识别装置170。便携设备160还包括构成为将请求数据向请求接收装置130发送的请求发送装置172。

日志接收装置162构成为从日志发送装置152接收信息。在一部分实施方式中，日志接收装置162构成为以无线方式接收信息。在一部分实施方式中，日志接收装置162构成为经由有线连接接收信息。

分析结果接收装置164构成为从分析结果发送装置150接收信息。在一部分实施方式中，分析结果接收装置164构成为以无线方式接收信息。在一部分实施方式中，日志接收装置162构成为经由有线连接接收信息。

UI166构成为从日志接收装置162以及分析结果接收装置164接收信息。UI166构成为将接收到的信息传达给乘员180。在一部分实施方式中，UI166包括触摸面板。在一部分实施方式中，UI166是智能手机的一部分。在一部分实施方式中，UI166并入包括车辆系统110的车辆。在一部分实施方式中，UI166构成为接收来自乘员180的输入。在一部分实施方式中，UI166构成为接收表示乘员180的身份的输入。在一部分实施方式中，UI166构成为接收与来自乘员180的数据请求对应的输入。

麦克风168构成为捕获来自乘员180的语音信号。在一部分实施方式中，麦克风168是智能手机的一部分。在一部分实施方式中，麦克风168与包括车辆系统110的车辆一体化。在一部分实施方式中，麦克风168包括指向性麦克风。在一部分实施方式中，麦克风168构成为捕获乘员180的声音。

语音识别装置170构成为从麦克风168接收语音信号，并判别语音信号的内容。在一部分实施方式中，语音识别装置170构成为判别关键字、关键短语等语音信号是否表示请求开始。在一部分实施方式中，语音识别装置170构成为判别由乘员180请求的数据的种类、例如对物体进行识别、关于物体的信息等。在一部分实施方式中，语音识别装置170还构成为判别乘员180的身份。在一部分实施方式中，语音识别装置170构成为基于语音识别软件判别乘员180的身份。在一部分实施方式中，语音识别装置170构成为基于乘员的姓名、其他识别信息等关键字或者关键短语的识别来判别乘员180的身份。在一部分实施方式中，语音识别装置170构成为基于在UI166中接收到的输入来判别乘员180的身份。在一部分实施方式中，语音识别装置170构成为基于来自车辆系统110的输入、例如来自乘员监视摄像头112的正在说话的乘员的图像等，判别乘员180的身份。

上述说明与基于口头上的输入的请求开始相关。本领域技术人员将认识到，本说明不限定于口头上的请求开始。在一部分实施方式中，请求开始包括在UI166中接收到的输入。在一部分实施方式中，请求开始包括使用乘员监视摄像头112检测出的手势等检测出的手势。在一部分实施方式中，请求开始包括UI166中的输入和/或口头上的输入、或者乘员的面部识别结果、或者由视线检测装置122进行的乘员的眼睛虹膜的识别结果、等不同输入的组合、或者其他适当的组合。包含请求开始作为乘员请求的一部分有助于使不必要的处理和数据发送最小化，这有助于使对于包括车辆系统110的车辆的处理负荷和功耗最小化。随着更多的车辆变为电动车辆(EV)，使功耗最小化成为用于维持蓄电池的充电并且使EV不重新充电而能够行驶的距离最大化的更大的重要事情。

请求发送装置172构成为从语音识别装置170接收请求信息，并向请求接收装置130发送信息。在一部分实施方式中，请求发送装置172构成为响应于语音识别装置170识别出请求开始而发送请求开始信号。在一部分实施方式中，请求发送装置172不对语音识别装置170识别出请求开始做出响应发送信号。响应请求开始而发送信号有助于车辆系统110存储用于提高满足乘员请求的准确性以及精度的传感器数据。然而，响应于请求开始而发送信号会增加发送的数据量以及处理负荷。请求发送装置172构成为基于由语音识别装置170进行的分析，发送乘员请求。在一部分实施方式中，请求发送装置172构成为以无线方式发送乘员请求或者其他信息。在一部分实施方式中，请求发送装置172构成为经由有线连接发送乘员请求或者其他信息。

本领域技术人员将理解，对于物体识别系统100的变更也在本公开的范围内。例如，在一部分实施方式中，省略麦克风168以及语音识别装置170，经由UI166接收包括请求开始的乘员请求。在一部分实施方式中，根据向便携设备160发送的由服务器140得到的分析结果，自动在便携设备160上表示语音警告或者视觉警告等警告。

图2是一部分实施方式涉及的物体的识别方法200的流程图。在一部分实施方式中，使用系统100(图1)执行方法200。在一部分实施方式中，使用系统1100(图11)执行方法200。

在动作210中，乘员180开始请求。开始请求有助于通过避免因不小心所引起的乘员请求的处理来避免在便携设备160、车辆系统110以及服务器140中的不必要的处理负荷。在一部分实施方式中，开始请求包括乘员180说出关键字、关键短语，例如由麦克风168(图1)检测。在一部分实施方式中，开始请求包括乘员例如在UI166(图1)上触摸按钮。在一部分实施方式中，开始请求包括便携设备160或者车辆系统110例如使用乘员监视摄像头112(图1)检测由乘员180做出的预定手势。当请求开始时，便携设备在动作220中起动请求接收装置，乘员180能够在动作212中输入请求。

在动作212中，乘员180输入请求。请求是乘员180关于感兴趣的物体想知道的信息。在一部分实施方式中，请求包含关于物体的识别信息。在一部分实施方式中，请求包含关于物体的其他信息、例如营业时间、前往物体的路线、关于物体的历史记录信息或者其他适当的信息。在一部分实施方式中，乘员180口头输入请求，请求例如由麦克风168(图1)检测。在一部分实施方式中，乘员180使用UI、例如UI166(图1)输入请求。在一部分实施方式中，乘员180使用预定手势输入请求，预定手势例如由乘员监视摄像头112(图1)检测。在一部分实施方式中，开始请求的方法与输入请求的方法相同，例如开始和输入双方都由乘员口头进行。在一部分实施方式中，开始请求的方法和输入请求的方法不同，例如使用UI进行开始，由口头进行输入。请求的开始和输入的其他组合也在本公开的范围内。

在动作220中，便携设备160起动请求接收装置130。响应于开始请求来起动请求接收装置有助于便携设备160通过避免使请求接收装置一直监视来自乘员180的请求从而节约电力。在一部分实施方式中，起动请求接收装置包括在UI、例如UI166(图1)上显示输入画面。在一部分实施方式中，起动请求接收装置包括将麦克风、例如麦克风168(图1)初始化。在一部分实施方式中，起动请求接收装置包括起动处理接收到的请求的便携设备160内的电路。

重复动作220，直到在动作212中便携设备160接收输入请求为止。在一部分实施方式中，在预定期间、例如10秒到30秒之后在动作212中不接收输入请求的情况下，动作220中止，请求接收装置返回到休眠状态或者低功率状态。在预定期间过长的情况下，有些情况下功耗会不必要地增加。在预定期间过短的情况下，有些情况下乘员180在动作212中没有足够的时间输入请求。在一部分实施方式中，响应于接收到例如由关键字和/或关键短语、向UI的输入或者其他适当的输入所引起的取消信号，动作220中止。

在动作222中，便携设备160接收动作212中的请求。在一部分实施方式中，直接从乘员180处接收请求。在一部分实施方式中，经由外部装置、例如键盘或者其他适当的外部装置间接地从乘员180处接收请求。在一部分实施方式中，动作212以及动作222使用便携设备160的相同构成要素、例如麦克风168或者UI166(图1)执行。

在动作224中，分析并发送请求。以判别由乘员180请求的数据的种类的方式分析请求。在一部分实施方式中，使用语音识别装置170(图1)分析请求。为了收集用于满足请求的日志数据，向车辆系统110发送经分析的请求。在一部分实施方式中，使用请求发送装置172(图1)发送经分析的请求。

在动作230中，由车辆系统110接收经分析的请求。在一部分实施方式中，通过无线接收经分析的请求。在一部分实施方式中，经由有线连接接收经分析的请求。在一部分实施方式中，使用请求接收装置130(图1)接收经分析的请求。

在动作232中，捕捉乘员的一个或多个图像。捕捉到的图像与时间戳数据相关联以判别一个或多个图像被捕捉到的时刻。乘员的一个或多个图像捕捉乘员的至少一只眼睛。在一部分实施方式中，按一定间隔捕捉乘员的图像。在一部分实施方式中，响应于接收到表示开始了请求的信号、例如从便携设备160向车辆系统110的信号，捕捉乘员的图像，作为动作220的一部分。在一部分实施方式中，使用乘员监视摄像头112(图1)捕捉乘员的一个或多个图像。在一部分实施方式中，仅捕捉与乘员请求相关联的乘员的图像。在一部分实施方式中，捕捉车辆的两个以上的乘员的图像，仅将与乘员请求相关联的乘员的图像用于在方法200中之后生成请求数据。在一部分实施方式中，响应于在动作220中生成的信号进行动作232。在一部分实施方式中，与请求开始的接收无关地进行动作232。

在动作234中，基于在动作232中捕捉到的一个或多个图像检测乘员的视线。检测乘员的视线包括识别乘员的视线相对于车辆的角度。在一部分实施方式中，角度包括方位角和仰角。在一部分实施方式中，检测视线还包括判别视线相对于车辆位置的深度。在一部分实施方式中，使用视线检测装置122(图1)执行动作234。

在动作236中，基于在动作234中检测出的乘员的视线，识别关注区域。为了判别关于乘员180的ROI而识别关注区域。在一部分实施方式中，基于世界坐标识别关注区域。在一部分实施方式中，例如基于由车辆使用前方摄像头114(图1)捕捉到的图像的像素区域，识别关注区域。在一部分实施方式中，基于相对于车辆的相对坐标识别关注区域。识别关注区域有助于削减为了处理而向服务器140发送的数据量。在一部分实施方式中，使用关注区域识别装置124(图1)执行动作236。

在一部分实施方式中，在车辆的驾驶中持续进行动作232～236。响应于接收到乘员请求，为了分析而将在动作232～236中生成的信息存储于车辆系统110内的存储器。在一部分实施方式中，响应于接收到开始请求信号作为动作220的一部分而进行动作232～236。在一部分实施方式中，响应于接收到表示由于没有成功接收到适时的输入请求或者响应于取消输入而中止了动作220的信号，中止动作232～236。

在动作238中，基于接收到的经分析的请求，生成数据收集请求。数据收集请求识别能够用于满足接收到的经分析的请求的来自动作232～236的信息。数据收集请求识别能够使用车辆的哪个传感器以满足接收到的经分析的请求。另外，数据收集请求也基于在动作222中接收到的请求的时间戳，识别应该收集传感器数据的期间。在一部分实施方式中，使用数据收集请求装置132(图1)执行动作238。

在动作240中，基于数据收集请求，收集传感器数据。在一部分实施方式中，从车辆系统110内的存储器中收集传感器数据。在一部分实施方式中，从单个传感器收集传感器数据。在一部分实施方式中，从许多传感器收集传感器数据。在一部分实施方式中，使用日志收集装置128(图1)收集传感器数据。

在动作242中，在动作240中收集到的传感器数据被裁剪。通过裁剪传感器数据，削减向服务器140发送的数据量。在此，基于传感器数据为图像数据这一情况，使用用语“被裁剪(cropped)”。但是，本领域技术人员将理解，动作242用于基于在动作236中识别出的关注区域来削减多余的数据，与所使用的传感器数据的种类无关。在一部分实施方式中，使用日志收集装置128(图1)执行动作242。在一部分实施方式中，将裁剪后的传感器数据与时间戳信息一起视为日志数据。

在动作244中，向服务器140发送日志数据。在一部分实施方式中，在车辆系统110内的存储器能够将接收到的经分析的请求与以前的乘员请求进行比较的情况下，省略动作244，由车辆系统110直接提供满足接收到的经分析的请求的结果。在一部分实施方式中，通过无线发送日志数据。在一部分实施方式中，经由有线连接接收日志数据。在一部分实施方式中，使用日志发送装置134(图1)执行动作244。

在动作250中，服务器140接收日志数据。在一部分实施方式中，使用日志数据接收装置142(图1)执行动作250。在一部分实施方式中，在车辆系统110能够提供满足乘员请求的结果的情况下，不向服务器140发送日志数据，省略动作250。

在动作252中，将日志数据存储于服务器140。为了之后的处理而由服务器140存储日志数据。在一部分实施方式中，通过基于优先级的队列存储日志数据。在一部分实施方式中，队列中的优先级基于由服务器140接收到日志数据的时刻。在一部分实施方式中，队列中的优先级基于接收到乘员请求的时刻、即动作222中的时刻。在一部分实施方式中，队列中的优先级基于乘员180的身份。

在动作254中，以判别日志数据内的满足乘员请求的结果的方式分析日志数据。通过将来自车辆的传感器的数据与服务器140的数据库内的数据进行比较来分析日志数据。在车辆传感器数据内的物体与数据库内的数据之间发现一致后，对数据库进行查询，读取满足乘员请求的信息。例如，在一部分实施方式中，对数据库进行查询，判别对于物体、关于物体的营业时间、物体的位置等的识别信息。在一部分实施方式中，数据库的信息包含用于乘员180发现关于物体的信息的网址。在一部分实施方式中，在车辆传感器数据和数据库内的数据之间没有发现一致的情况下，动作254返回表示没有发现一致的结果。在一部分实施方式中，使用日志分析装置146(图1)执行动作254。

在动作256中，发送来自动作254的分析结果。在一部分实施方式中，通过无线发送分析结果。在一部分实施方式中，经由有线连接发送分析结果。在方法200中，向便携设备160发送分析结果。在一部分实施方式中，向车辆系统110而非便携设备160发送分析结果、或者除了便携设备160还向车辆系统110发送分析结果。在一部分实施方式中，使用分析结果发送装置150(图1)执行动作256。

在动作260中，便携设备160接收分析结果。在一部分实施方式中，分析结果包含在动作254中从数据库中读取到的信息、和日志数据识别信息双方。与分析结果一起包含日志数据识别信息有助于迅速进行分析，在乘员接收分析结果后对于物体请求更多信息的状况下提供关于物体的附加信息。在一部分实施方式中，使用分析结果接收装置164(图1)执行动作260。

在动作262中，将分析结果通知给乘员180。在一部分实施方式中，通过提供用于访问关于物体的信息的网址来通知乘员180。在一部分实施方式中，通过提供关于物体所请求的信息来通知乘员180。在一部分实施方式中，使用视觉通知来通知乘员180。在一部分实施方式中，使用语音通知来通知乘员180。在一部分实施方式中，使用UI166(图1)通知乘员。在一部分实施方式中，通过响应于从服务器140接收到分析结果而在便携设备160上自动进行的语音警告和视觉警告中的至少一个来通知乘员180。在一部分实施方式中，向乘员180的通知包含为了使乘员180能够确认接收到的信息与既定的感兴趣的物体对应而作为日志数据的一部分包含的、裁剪后的图像等车辆传感器数据。在一部分实施方式中，向乘员180的通知包含关于正确识别出感兴趣的物体的确认的请求，有助于向服务器140提供关于确认的请求的结果而提高动作254中的日志数据分析的成绩。在一部分实施方式中，在动作262之后，乘员关于接收到的结果是否真正与乘员进行的请求相关联、或者乘员是否喜欢该信息，对服务器140、便携设备160和车辆系统110中的至少一个给予反馈。该反馈提供神经网络(NN)的学习以使得能够使日志分析装置146、关注区域识别装置124、数据收集请求装置132以及语音识别装置170调整或者学习为假阳性和假阴性随着时间而削减。

本领域技术人员应认识到，对于方法200的变更也在本公开的范围内。在一部分实施方式中，附加动作包含于方法200。例如，在一部分实施方式中，方法200包括基于继通知分析结果之后乘员确认了的结果，更新服务器140内的数据库。在一部分实施方式中，省略方法200的至少一个动作。例如，在一部分实施方式中，在不担心数据发送量的情况下省略动作242。在一部分实施方式中，方法200的动作的顺序可变更。例如，在一部分实施方式中，在动作230之后进行动作234以削减车辆系统110中的处理负荷。本领域技术人员将认识到，其他变更也在本公开的范围内。

图3是一部分实施方式涉及的物体的识别方法300的流程图。在一部分实施方式中，使用系统100(图1)执行方法300。在一部分实施方式中，使用系统1100(图11)执行方法300。方法300与方法200(图2)相似。与方法200的动作相似的方法300的动作具有相同的参考编号。为简单起见，以下仅对与方法200的动作不同的方法300的动作进行阐述。

在动作305中，分析日志数据并将其与对于感兴趣的物体的物体信息关联。通过将来自车辆的传感器的数据与服务器140的数据库内的数据进行比较来分析日志数据。在车辆传感器数据内的物体与数据库内的数据之间发现一致后，将向数据库内的对于一致的物体的物体信息的链接(link)与日志数据相关联。通过链接，乘员180能够访问服务器140内的数据库以获取关于物体所请求的信息。在一部分实施方式中，链接包含乘员能够使用UI166(网页浏览器等)打开的统一资源定位器(URL)。在一部分实施方式中，链接使乘员180能够获取所请求的信息以外的关于物体的附加信息。在一部分实施方式中，通过将由NN从来自车辆的传感器的数据中提取到的特征映射与由NN从服务器140的数据库内的数据中提取到的特征映射进行比较来分析日志数据。在一部分实施方式中，使用日志分析装置146(图1)执行动作305。

在动作310中，发送用于访问日志数据和来自动作305的相关联的物体信息的链接。在一部分实施方式中，通过无线发送链接。在一部分实施方式中，经由有线连接发送链接。在方法300中，向便携设备160发送链接。在一部分实施方式中，向车辆系统110而非便携设备160发送链接、或者除了便携设备160还向车辆系统110发送链接。在一部分实施方式中，使用分析结果发送装置150(图1)执行动作310。

在动作320中，便携设备160接收链接。在一部分实施方式中，链接包含用于访问数据库的链接和日志数据识别信息双方。与分析结果一起包含日志数据识别信息有助于迅速进行分析，在乘员接收链接后对于物体请求更多信息、并且链接不提供向存储于数据库的关于物体的所有信息的访问的状况下提供关于物体的附加信息。在一部分实施方式中，使用分析结果接收装置164(图1)执行动作320。

在动作322中，将链接通知给乘员180。在一部分实施方式中，通过提供用于访问关于物体的信息的网址来通知乘员180。在一部分实施方式中，通过提供用于访问关于物体的信息的可选择的图标来通知乘员180。在一部分实施方式中，使用视觉通知来通知乘员180。在一部分实施方式中，使用语音通知来通知乘员180。在一部分实施方式中，使用UI166(图1)通知乘员。在一部分实施方式中，通过响应于从服务器140接收到链接而在便携设备160上自动进行的语音警告和视觉警告中的至少一个来通知乘员180。在一部分实施方式中，向乘员180的通知包含为了使乘员180能够确认接收到的信息与既定的感兴趣的物体对应而作为日志数据的一部分包含的、裁剪后的图像等车辆传感器数据。在一部分实施方式中，向乘员180的通知包含关于正确识别出感兴趣的物体的确认的请求，有助于向服务器140提供关于确认的请求的结果而提高动作305中的日志数据分析的成绩。

本领域技术人员将认识到，对于方法300的变更也在本公开的范围内。在一部分实施方式中，附加动作包含于方法300。例如，在一部分实施方式中，方法300包括基于继通知链接之后乘员确认了的结果，更新服务器140内的数据库。在一部分实施方式中，省略方法300的至少一个动作。例如，在一部分实施方式中，在不担心数据发送量的情况下省略动作242。在一部分实施方式中，方法300的动作的顺序可变更。例如，在一部分实施方式中，在动作230之后进行动作234以削减车辆系统110中的处理负荷。本领域技术人员将认识到，其他变更也在本公开的范围内。

图4是一部分实施方式涉及的乘员请求的数据结构400的图。在一部分实施方式中，数据结构400对应于由麦克风168接收并由语音识别装置170(图1)处理了的、来自乘员180的乘员请求的状态。在一部分实施方式中，数据结构400对应于在动作222(图2)中接收到的乘员请求。

数据结构400包含乘员识别信息405。乘员识别信息405表示进行了乘员请求的乘员的身份。在一部分实施方式中，基于由语音识别装置170(图1)进行的分析来判别乘员识别信息405。在一部分实施方式中，基于在UI166(图1)中的输入来判别乘员识别信息405。在一部分实施方式中，基于谁管理便携设备160(图1)来判别乘员识别信息405。在一部分实施方式中，基于由便携设备160的摄像头识别出的乘员的眼睛虹膜的识别结果来判别乘员识别信息405。在一部分实施方式中，基于由便携设备160或者由车辆的方向盘上的传感器识别出的乘员的指纹来判别乘员识别信息405。数据结构400还包含请求数据410。请求数据410包含由乘员请求的信息的内容。在一部分实施方式中，请求数据410包含关于物体的识别的请求。在一部分实施方式中，除了物体的识别之外或者与物体的识别不同，请求数据410包含对于关于物体的信息的请求。数据结构400还包含时间戳信息415。时间戳信息415表示与从乘员请求的信息的接收对应的时刻。

数据结构400不过是示例，本领域技术人员将理解，能够使乘员请求数据包含不同的信息。在一部分实施方式中，从数据结构400中排除构成要素中的至少一个。例如，在一部分实施方式中，从数据结构400中排除乘员识别信息405。在一部分实施方式中，数据结构400包含附加信息。例如，在一部分实施方式中，数据结构400还包含关于车辆内的乘员的位置的信息。

图5是一部分实施方式涉及的关注区域数据的数据结构500的图。在一部分实施方式中，数据结构500对应于由关注区域识别装置124(图1)判别出的关注区域。在一部分实施方式中，数据结构500对应于在动作236(图2)中识别出的关注区域。

数据结构500包含乘员识别信息505。乘员识别信息505表示进行乘员请求的乘员的身份。在一部分实施方式中，基于由语音识别装置170(图1)进行的分析来判别乘员识别信息505。在一部分实施方式中，基于在UI166(图1)中的输入来判别乘员识别信息505。在一部分实施方式中，基于谁管理便携设备160(图1)来判别乘员识别信息505。在一部分实施方式中，基于由视线检测装置122或者便携设备160的摄像头识别出的乘员的眼睛虹膜的识别结果来判别乘员识别信息405。在一部分实施方式中，基于由便携设备160或者由车辆的方向盘上的传感器识别出的乘员的指纹来判别乘员识别信息405。数据结构500还包含时间戳信息510。在一部分实施方式中，时间戳信息510表示与从乘员请求的信息的接收对应的时刻。在一部分实施方式中，时间戳信息510包含与由车辆传感器捕捉到数据的时刻有关的信息。在一部分实施方式中，时间戳信息510包含与判别出关注区域的时刻有关的信息。数据结构500还包含感兴趣区域(ROI)信息515。ROI信息515例如表示判别为关注区域位于的图像内的位置。基于与乘员识别信息505关联的乘员的视线数据和来自车辆的传感器数据之间的相关关系判别ROI信息515。ROI信息515包含第1角部像素位置520。在一部分实施方式中，第1角部像素位置520表示基于乘员的视线数据判别出的关注区域的左上角的图像内的位置。ROI信息515还包含第2角部像素位置525。在一部分实施方式中，第2角部像素位置525表示基于乘员的视线数据判别出的关注区域的右下角的图像内的位置。使用第1角部像素位置520和第2角部像素位置525，能够使用最小限度的位置信息设定判别出的关注区域的边界。在一部分实施方式中，ROI信息515能够用于例如使用日志收集装置128(图1)或者在动作242(图2)中裁剪图像。

数据结构500不过是示例，本领域技术人员将理解，能够使关注区域数据包含不同的信息。在一部分实施方式中，从数据结构500中排除构成要素中的至少一个。例如，在一部分实施方式中，从数据结构500中排除乘员识别信息505。在一部分实施方式中，数据结构500包含附加信息。例如，在一部分实施方式中，关于ROI信息515，数据结构500还包含附加的角部像素位置。

图6是一部分实施方式涉及的关注区域数据的数据结构600的图。在一部分实施方式中，数据结构600对应于由关注区域识别装置124(图1)判别出的关注区域。在一部分实施方式中，数据结构600对应于在动作236(图2)中识别出的关注区域。数据结构600与数据结构500(图5)相似。与数据结构500相似的数据结构600的构成要素具有相同的参考编号。为简单起见，以下仅对与数据结构500不同的数据结构600的构成要素进行阐述。

数据结构600包含ROI信息615，ROI信息615除了第1角部像素位置520和第2角部像素位置525之外还包含深度信息620。深度信息620能够用于判别乘员所注视的与车辆相距的距离。在一部分实施方式中，使用视线检测装置122(图1)或者在动作234(图2)中判别深度信息620。包含深度信息620有助于提高判别乘员请求信息的物体的精度。

数据结构600不过是示例，本领域技术人员将理解，能够使关注区域数据包含不同的信息。在一部分实施方式中，从数据结构600中排除构成要素中的至少一个。例如，在一部分实施方式中，从数据结构600中排除乘员识别信息505。在一部分实施方式中，数据结构600包含附加信息。例如，在一部分实施方式中，关于ROI信息615，数据结构600还包含附加的角部像素位置。

图7是一部分实施方式涉及的关注区域数据的数据结构的图。在一部分实施方式中，数据结构700对应于由关注区域识别装置124(图1)判别出的关注区域。在一部分实施方式中，数据结构700对应于在动作236(图2)中识别出的关注区域。数据结构700与数据结构500(图5)相似。与数据结构500相似的数据结构700的构成要素具有相同的参考编号。为简单起见，以下仅对与数据结构500不同的数据结构700的构成要素进行阐述。

数据结构700包含ROI信息715，ROI信息715包含世界坐标位置信息720以代替第1角部像素位置520和第2角部像素位置525。世界坐标位置信息720能够用于判别在现实世界中的物体的位置。在一部分实施方式中，使用日志收集装置128(图1)或者在动作236(图2)中判别世界坐标位置信息720。包含世界坐标位置信息720有助于提高判别乘员请求信息的物体的精度。

数据结构700不过是示例，本领域技术人员将理解，能够使关注区域数据包含不同的信息。在一部分实施方式中，从数据结构700中排除构成要素中的至少一个。例如，在一部分实施方式中，从数据结构700中排除乘员识别信息505。在一部分实施方式中，数据结构700包含附加信息。例如，在一部分实施方式中，数据结构700还包含物体的至少局部的图像。

图8是一部分实施方式涉及的用户界面800的图。在一部分实施方式中，UI800对应于UI166(图1)。在一部分实施方式中，UI800是便携设备160(图1)的一部分。在一部分实施方式中，UI800是车辆系统110(图1)的一部分。

UI800包括导航UI805和图像UI810。图像UI810包括来自车辆传感器的捕捉图像815和识别出的物体的高亮显示(highlight)820。UI800能够用于使用图像UI810向乘员通知被识别为是乘员请求的原因的物体。UI800还能够用于使用导航UI805向乘员通知物体的移动路径。在一部分实施方式中，UI800构成为接收来自乘员的信息作为乘员请求、请求开始、识别出的物体的确认、或者其他这种输入信息的一部分。在一部分实施方式中，UI800被归入车辆。在一部分实施方式中，可以从车辆分离UI800。

导航UI805构成为例如接收来自GPS116(图1)的GPS信息，并显示车辆的驾驶员可看的地图。导航UI805还构成为沿着地图显示车辆能够穿过以到达所识别的物体的移动路径。在一部分实施方式中，导航UI805包括触摸面板。在一部分实施方式中，导航UI805构成为从服务器140(图1)等外部装置接收地图和/或移动路径的更新。

图像UI810包括来自车辆传感器的捕捉图像815和识别出的物体的高亮显示820。识别出的物体的高亮显示820重叠于来自车辆传感器的图像815以识别来自车辆传感器的图像中的物体。在一部分实施方式中，来自车辆传感器的图像815是来自车辆传感器的裁剪出的图像。在一部分实施方式中，图像UI810能够从乘员处接收用于确认或否定识别出的物体的准确性的输入。在一部分实施方式中，图像UI810包括触摸面板。

图8包含从图像UI810分离的导航UI805。在一部分实施方式中，图像UI810重叠于导航UI805。在一部分实施方式中，在车辆移动期间，隐藏图像UI810。

图9是一部分实施方式涉及的用户界面900的图。在一部分实施方式中，UI900对应于UI166(图1)。在一部分实施方式中，UI900是便携设备160(图1)的一部分。在一部分实施方式中，UI900是车辆系统110(图1)的一部分。UI900与UI800相似。与UI800相似的UI900的构成要素具有相同的参考编号。为简单起见，以下仅对与UI800不同的UI900的构成要素进行阐述。

UI900包括链接UI910，链接UI910构成为显示向物体信息的链接、例如在动作320(图3)中接收到的链接。在一部分实施方式中，链接UI910包含可选择的链接，构成为响应于继由乘员对链接进行选择后读取到信息而显示物体信息。在一部分实施方式中，链接UI910构成为显示与链接关联的图标。在一部分实施方式中，链接UI910包括触摸面板。

图9包含从图像UI810分离的导航UI805和链接UI910。在一部分实施方式中，图像UI810和链接UI910中的至少一方重叠于导航UI805。在一部分实施方式中，在车辆移动期间，隐藏图像UI810和链接UI910中的至少一方。

图10是一部分实施方式涉及的用户界面的图。在一部分实施方式中，UI1000对应于UI166(图1)。在一部分实施方式中，UI1000是便携设备160(图1)的一部分。在一部分实施方式中，UI1000是车辆系统110(图1)的一部分。UI1000与UI800相似。与UI800相似的UI1000的构成要素具有相同的参考编号。为简单起见，以下仅对与UI800不同的UI1000的构成要素进行阐述。

UI1000包括请求历史记录UI1010，请求历史记录UI1010构成为显示与乘员请求、和关于物体的附加信息的以后的请求有关的信息。在一部分实施方式中，请求历史记录UI1010包含具有乘员请求和依次提供的物体信息的对话形式的显示。在一部分实施方式中，请求历史记录UI1010构成为提供以前的乘员请求的可选择的列表，并响应于乘员请求的选择，显示响应于对应的乘员请求所提供的信息。在一部分实施方式中，请求历史记录UI1010包括触摸面板。

图10包含从图像UI810分离的导航UI805和请求历史记录UI1010。在一部分实施方式中，图像UI810和请求历史记录UI1010中的至少一方重叠于导航UI805。在一部分实施方式中，在车辆移动期间，隐藏图像UI810和请求历史记录UI1010中的至少一方。

图11是一部分实施方式涉及的用于执行物体识别的系统的框图。系统1100包括硬件处理器1102以及由计算机程序代码1106、即一组可执行的命令编码得到的非瞬时性计算机可读存储介质1104、即存储有一组可执行的命令的非瞬时性计算机可读存储介质1104。另外，计算机可读存储介质1104由命令1107编码以与外部装置连接。处理器1102经由总线1108与计算机可读存储介质1104电结合。另外，处理器1102也通过总线1108与输入/输出(I/O)接口1110电结合。另外，网络接口1112经由总线1108与处理器1102电连接。网络接口1112连接于网络1114，其结果，处理器1102以及计算机可读存储介质1104能够经由网络1114与外部的要素连接。处理器1102构成为执行在计算机可读存储介质1104中被编码的计算机程序代码1106以使得能够使用系统1100进行在物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部。

在一部分实施方式中，处理器1102是中央处理装置(CPU)、多处理器、分布处理系统、专用集成电路(ASIC)和/或适当的处理单元。

在一部分实施方式中，计算机可读存储介质1104包括电子的、磁的、光学的、电磁的、红外线和/或半导体系统(或者机器或设备)。例如，计算机可读存储介质1104包括半导体存储器、固态存储器、磁带、可移动计算机盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和/或光盘。在使用光盘的一部分实施方式中，计算机可读存储介质1104包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)和/或数字通用光盘(DVD)。

在一部分实施方式中，存储介质1104存储构成为使系统1100进行在物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部的计算机程序代码1106。另外，在一部分实施方式中，存储介质1104存储如用于进行在视线数据参数1116、物体数据参数1118、车辆位置参数1120、请求内容参数1122、和/或物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部的一组可执行的命令那样的、进行在物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部所需的信息、和进行在物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部的期间生成的信息。

在一部分实施方式中，存储介质1104存储用于与外部装置连接的命令1107。命令1107使处理器1102能够生成可由外部设备读取的命令，以有效地执行在物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部。

系统1100包括I/O接口1110。I/O接口1110与外部电路结合。在一部分实施方式中，I/O接口1110包括用于向处理器1102传送信息和指令的键盘、小键盘(keypad)、鼠标、轨迹球和/或光标方向键。

另外，系统1100也包括与处理器1102结合的网络接口1112。网络接口1112使系统1100能够与连接有一个或多个其他计算机系统的网络1114通信。网络接口1112包括蓝牙、WIFI(注册商标)、WIMAX(注册商标)、GPRS或WCDMA(注册商标)等无线网络接口、或者ETHERNET(注册商标)、USB(注册商标)或IEEE-1394等有线网络接口。在一部分实施方式中，在两个以上的系统1100中执行在物体识别系统100(图1)、方法200(图2)或者方法300(图3)中说明的那种动作的一部分或全部，在不同的多个系统1100直接经由网络1114交换视线数据参数1116、物体数据参数1118、车辆位置参数1120或者请求内容参数1122等信息。

本说明书的一个技术方案涉及取得物体信息的方法。方法包括从车辆的乘员处接收请求开始。方法包括在接收到请求开始后从乘员处接收请求。方法还包括判别来自乘员的请求的内容。方法还包括检测乘员的视线位置。方法还包括基于由安装于车辆的传感器收集到的数据，接收关于车辆周围的环境的信息。方法还包括基于检测出的视线位置和关于车辆周围的环境的信息识别车辆外侧的感兴趣区域(ROI)。方法还包括基于ROI和请求的内容生成日志数据。方法还包括向外部装置发送日志数据。方法还包括接收与ROI内的物体有关且满足请求的内容的信息。在一部分实施方式中，接收请求开始包括接收包含关键字、关键短语、预定手势或者向用户界面(UI)的输入的请求开始。在一部分实施方式中，接收关于车辆周围的环境的信息包括接收来自安装于车辆的摄像头的图像。在一部分实施方式中，方法还包括基于ROI裁剪图像，生成日志数据包括使用裁剪后的图像生成日志数据。在一部分实施方式中，接收与物体有关的信息包括对请求的内容是关于物体的识别的请求做出响应而接收与物体有关的识别信息。在一部分实施方式中，方法还包括判别乘员的身份，生成日志数据包括基于乘员的身份生成日志数据。在一部分实施方式中，检测乘员的视线位置包括检测乘员的视线相对于车辆的方位角、和检测乘员的视线相对于车辆的仰角。在一部分实施方式中，检测乘员的视线位置还包括检测乘员的视线相对于车辆的深度。在一部分实施方式中，检测乘员的视线位置包括检测视线位置的世界坐标，生成日志数据包括基于世界坐标生成日志数据。在一部分实施方式中，检测乘员的视线位置包括使用安装于车辆的摄像头捕捉乘员的图像。

本说明书的一个技术方案涉及用于取得物体信息的系统。系统包括乘员监视摄像头、前方摄像头、构成为存储命令的非瞬时性计算机可读介质、和连接于非瞬时性计算机可读介质的处理器。处理器构成为执行用于从车辆的乘员处接收请求开始的命令。处理器还构成为执行用于在接收到请求开始后从乘员处接收请求的命令。处理器还构成为执行用于判别来自乘员的请求的内容的命令。处理器还构成为执行用于基于来自乘员监视摄像头的信息检测乘员的视线位置的命令。处理器还构成为执行用于基于安装于车辆的前方摄像头接收关于车辆周围的环境的信息的命令。处理器还构成为执行用于基于检测出的视线位置和关于车辆周围的环境的信息识别车辆外侧的感兴趣区域(ROI)的命令。处理器还构成为执行用于基于ROI和请求的内容生成日志数据的命令。处理器还构成为执行用于生成用于向外部装置发送日志数据的命令的命令。处理器还构成为执行用于接收与ROI内的物体有关且满足请求的内容的信息的命令。在一部分实施方式中，处理器构成为执行用于基于ROI裁剪来自前方摄像头的图像并使用裁剪后的图像生成日志数据的命令。在一部分实施方式中，处理器构成为执行用于对请求的内容是关于物体的识别的请求做出应答而接收包含与物体有关的识别信息的与物体有关的信息的命令。在一部分实施方式中，处理器构成为执行用于判别乘员的身份并基于乘员的身份生成日志数据的命令。在一部分实施方式中，处理器构成为执行用于检测乘员的视线相对于车辆的方位角并进行乘员的视线相对于车辆的仰角的检测的命令。在一部分实施方式中，处理器构成为执行用于检测乘员的视线相对于车辆的深度的命令。在一部分实施方式中，处理器构成为执行用于检测视线位置的世界坐标并基于世界坐标生成日志数据的命令。

本说明书的一个技术方案涉及取得物体信息的方法。方法包括使用麦克风从车辆的乘员处接收请求开始。方法还包括使用麦克风在接收到请求开始后从乘员处接收请求。方法还包括检测乘员的视线位置。方法还包括使用安装于车辆的摄像头接收关于车辆周围的环境的信息。方法还包括基于关于车辆周围的环境的信息和接收到的请求生成日志数据。方法还包括向外部装置发送日志数据。方法还包括接收与车辆周围的环境内的物体有关的信息。方法还包括对接收到与物体有关的信息做出响应而自动生成乘员可视认的通知。在一部分实施方式中，接收与物体有关的信息包括接收用于访问外部装置的链接。在一部分实施方式中，自动生成通知包括在乘员可视认的用户界面上显示链接。

上述表示了一些实施方式的特征的概要以使本领域技术人员能够更好地理解本公开的技术方案。本领域技术人员将该理解，可以容易地使用本公开作为用于设计或变更其他过程及结构的基础，以实现与本说明书中介绍的实施方式相同的目的和/或获得与本说明书中介绍的实施方式相同的利益。再者，本领域技术人员将该认识到，这种等效的结构不脱离本公开的思想和范围，并且可以不脱离本公开的思想和范围地进行各种变更、替换及修正。

Claims (20)

1.一种物体信息取得方法，是取得物体信息的方法，包括：

从车辆的乘员处接收请求开始；

在接收到所述请求开始后从所述乘员处接收请求；

判别来自所述乘员的所述请求的内容；

检测所述乘员的视线位置；

基于由安装于所述车辆的传感器收集到的数据，接收关于所述车辆周围的环境的信息；

基于检测出的所述视线位置和关于所述车辆周围的环境的所述信息，识别所述车辆外侧的感兴趣区域即ROI；

基于所述ROI和所述请求的内容，生成日志数据；

向外部装置发送所述日志数据；和

接收与所述ROI内的物体有关且满足所述请求的内容的信息。

2.根据权利要求1所述的方法，

接收所述请求开始包括接收包含关键字、关键短语、预定手势或者向用户界面即UI的输入的所述请求开始。

3.根据权利要求1或2所述的方法，

接收关于所述车辆周围的所述环境的信息包括接收来自安装于所述车辆的摄像头的图像。

4.根据权利要求3所述的方法，

还包括基于所述ROI裁剪所述图像，

生成所述日志数据包括使用裁剪后的所述图像生成所述日志数据。

5.根据权利要求1至4中任一项所述的方法，

接收与所述物体有关的信息包括对所述请求的内容是关于所述物体的识别的请求做出响应而接收与所述物体有关的识别信息。

6.根据权利要求1至5中任一项所述的方法，

还包括判别所述乘员的身份，

生成所述日志数据包括基于所述乘员的身份生成所述日志数据。

7.根据权利要求1至6中任一项所述的方法，

检测所述乘员的所述视线位置包括：

检测所述乘员的视线相对于所述车辆的方位角，以及

检测所述乘员的视线相对于所述车辆的仰角。

8.根据权利要求7所述的方法，

检测所述乘员的视线位置还包括检测所述乘员的视线相对于所述车辆的深度。

9.根据权利要求1至8中任一项所述的方法，

检测所述乘员的视线位置包括检测所述视线位置的世界坐标，生成所述日志数据包括基于所述世界坐标生成所述日志数据。

10.根据权利要求1至9中任一项所述的方法，

检测所述乘员的视线位置包括使用安装于所述车辆的摄像头捕捉所述乘员的图像。

11.一种物体信息取得系统，是用于取得物体信息的系统，具备：

乘员监视摄像头；

前方摄像头；

构成为存储命令的非瞬时性计算机可读介质；以及

连接于所述非瞬时性计算机可读介质的处理器，

所述处理器构成为，执行用于进行以下处理的所述命令：

从车辆的乘员处接收请求开始；

在接收到所述请求开始后从所述乘员处接收请求；

判别来自所述乘员的所述请求的内容；

基于来自所述乘员监视摄像头的信息，检测所述乘员的视线位置；

基于安装于所述车辆的所述前方摄像头，接收关于所述车辆周围的环境的信息；

基于检测出的所述视线位置和关于所述车辆周围的环境的所述信息，识别所述车辆外侧的感兴趣区域即ROI；

基于所述ROI和所述请求的内容，生成日志数据；

生成用于向外部装置发送所述日志数据的命令；和

接收与所述ROI内的物体有关且满足所述请求的内容的信息。

12.根据权利要求11所述的系统，

所述处理器构成为，执行用于进行以下处理的所述命令：

基于所述ROI裁剪来自所述前方摄像头的图像；和

使用裁剪后的所述图像生成所述日志数据。

13.根据权利要求11或12所述的系统，

所述处理器构成为，执行用于进行以下处理的所述命令：

对所述请求的内容是关于所述物体的识别的请求做出响应，接收包含与所述物体有关的识别信息的与所述物体有关的信息。

14.根据权利要求11至13中任一项所述的系统，

所述处理器构成为，执行用于进行以下处理的所述命令：

判别所述乘员的身份；和

基于所述乘员的身份生成所述日志数据。

15.根据权利要求11至14中任一项所述的系统，

所述处理器构成为，执行用于进行以下处理的所述命令：

检测所述乘员的视线相对于所述车辆的方位角；和

检测所述乘员的视线相对于所述车辆的仰角。

16.根据权利要求15所述的系统，

所述处理器构成为，执行用于检测所述乘员的视线相对于所述车辆的深度的所述命令。

17.根据权利要求11至16中任一项所述的系统，

所述处理器构成为，执行用于进行以下处理的所述命令：

检测所述视线位置的世界坐标；和

基于所述世界坐标生成所述日志数据。

18.一种物体信息取得方法，是取得物体信息的方法，包括：

使用麦克风接收来自车辆的乘员的请求开始；

使用所述麦克风，在接收到所述请求开始后从所述乘员处接收请求；

检测所述乘员的视线位置；

使用安装于所述车辆的摄像头，接收关于所述车辆周围的环境的信息；

基于关于所述车辆周围的环境的所述信息和所接收到的所述请求，生成日志数据；

向外部装置发送所述日志数据；

接收与所述车辆周围的环境内的物体有关的信息；和

对接收到与所述物体有关的信息做出响应，自动生成所述乘员可视认的通知。

19.根据权利要求18所述的方法，

接收与所述物体有关的信息包括接收用于访问所述外部装置的链接。

20.根据权利要求19所述的方法，

自动生成所述通知包括在所述乘员可视认的用户界面上显示所述链接。