CN110458610B - 一种信息处理方法、装置、交通工具及存储介质 - Google Patents

Abstract

本发明实施例公开了一种信息处理方法，包括：采集交通工具外预定范围得到第一图像；采集所述交通工具内特定对象的眼睛运动信息；基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息。本发明实施例还公开了一种信息处理装置、交通工具及存储介质。

Description

一种信息处理方法、装置、交通工具及存储介质

技术领域

本发明涉及通信领域技术领域，尤其涉及一种信息处理方法、装置、交通工具及存储介质。

背景技术

目前，公交车、出租车作为城市重要交通工具，数量庞大，线路繁多，在城市的繁华路段渗透无以伦比。而广告工具的选择要点正是看重受众率的大小和传播范围。然而在现有技术中，移动的交通工具仅作为广告的载体或者发送者，并未将所述交通工具内乘客作为交通工具外广告等的受众来看；且，乘客在移动的交通工具中，也无法准确统计所述乘客感兴趣的广告。

发明内容

有鉴于此，本发明提供一种信息处理方法、装置、交通工具及存储介质。

本发明的技术方案是这样实现的：

一种信息处理方法，所述方法包括：

采集交通工具外预定范围得到第一图像；

采集所述交通工具内特定对象的眼睛运动信息；

基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；

若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息。

上述方案中，所述确定所述特定对象关注所述目标对象，包括：

确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且所述特定对象关注所述目标对象超过第一时间阈值。

上述方案中，所述确定所述特定对象关注所述目标对象，包括：

确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且接收到所述特定对象基于所述目标对象发出的第一语音信息。

上述方案中，所述根据所述第一图像形成所述特定对象的兴趣信息，包括：

基于所述目标对象在所述第一图像中所对应的目标区域图像，获取所述目标对象的文本信息和/或图像信息；

基于所述文本信息和/或图像信息，形成所述特定对象的兴趣信息。

上述方案中，所述方法还包括：

获取当前时刻的行车信息，其中，所述行车信息包括以下至少之一：时间信息、位置信息、所述特定对象的语音信息；

所述根据所述第一图像形成所述特定对象的兴趣信息，还包括：

基于所述文本信息和/或图像信息、及所述行车信息，形成所述特定对象的备选兴趣向量。

上述方案中，所述根据所述第一图像形成所述特定对象的兴趣信息，还包括：

比对所述备选兴趣向量以及存储的历史兴趣向量；

若确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值，基于所述备选兴趣向量和所述历史兴趣向量，形成所述特定对象的兴趣信息。

上述方案中，所述方法还以下至少之一：

存储所述特定对象，与所述文本信息和图像信息至少之一的对应关系；

存储所述特定对象与所述备选兴趣向量的对应关系；

存储所述交通工具与所述备选兴趣向量的对应关系。

本发明实施例还提供了一种信息处理装置，所述装置包括：

第一采集模块，用于采集交通工具外预定范围得到第一图像；

第二采集模块，用于采集所述交通工具内特定对象的眼睛运动信息；

确定模块，用于基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；

处理模块，用于若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息。

本发明实施例还提供了一种交通工具，所述交通工具包括：处理器和用于存储能够在处理器上运行计算机服务的存储器，其中所述处理器用于运行所述计算机服务时，实现本发明任一实施例所述的信息处理方法。

本发明实施例还提供了一种存储介质，所述存储介质中有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行实现本发明任一实施例所述的信息处理方法。

本发明实施例所提供的信息处理方法，通过采集交通工具外预定范围得到第一图像，可以采集交通工具外的预定范围内的图像；通过采集所述交通工具内特定对象的眼睛运动信息，可以采集交通工具内乘客等的眼睛运动状况；通过基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象，若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息，可以确定交通工具内乘客的注意力是否集中在交通工具外的某个目标对象上，若确定集中在该目标对象上，形成所述乘客的兴趣信息；如此，可以在行车过程中，准确确定出交通工具内乘客感兴趣的内容。

附图说明

图1为本发明实施例提供的一种信息处理方法的流程示意图；

图2为本发明一实施例中汽车的装置结构示意图；

图3为本发明一实施例中汽车的装置结构示意图；

图4为本发明一实施例中眼球追踪技术的示意图；

图5为本发明实施例提供的一种信息处理装置的示意图；

图6为本发明实施例提供的一种信息处理方法的示意图；

图7为本发明实施例提供的另一种信息处理方法的流程示意图；

图8为本发明实施例提供的一种交通工具的硬件结构示意图。

具体实施方式

下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，本发明实施例提供了一种信息处理方法，包括：

步骤101，采集交通工具外预定范围得到第一图像；

步骤103，采集所述交通工具内特定对象的眼睛运动信息；

步骤105，基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；

步骤107，若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息。

其中，所述交通工具包括私家车、货车、租出车、公共汽车、汽船等用于代步或运输的工具。

在一实施例中，如图2所示，所述交通工具为汽车，所述汽车可以安装车内后视镜21、朝向车内的摄像头22以及中控台23。其中，所述朝向车内的摄像头22用于采集车内用户的用户行为信息，所述用户行为信息可以包括眼球运动信息、嘴部运动信息以及手部运动信息等；所述中控台23包括麦克风231、显示屏232、以及键盘233；所述麦克风231用于采集用户的语音信息；所述显示屏232用于将汽车采集的第一图像进行显示；所述键盘233用于输入控制指令。

这里，所述预定范围的第一图像可以为交通工具外的前方、后方、左侧、右侧和/或上方等一定阈值范围内地理区域图像。所述预定范围可以为交通工具外周边360度视线范围内的图像。在一些实施例中，所述第一图像为包括广告的图像。

在另一实施例中，汽车中安装有全景环视系统，其中，所述全景环视系统在所述汽车周围架设置能够覆盖车辆周边所有视场范围的4到8个摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身视图，最后在汽车的中控台的显示器上显示。

如图3所示，所述汽车包括5个摄像头，分别是：车风挡的外部摄像头31、车顶的外部摄像头32、车尾的外部摄像头33、后视镜的外部摄像头34以及车前的外部摄像头35。如此，利用所述31、所述32、所述33、所述34、所述35，可以查看汽车车辆周边360度视角范围内的图像，可以让驾驶员等清楚的知道车辆周边是否存在障碍物、是否存在广告牌、路边门店是否存在广告的信息等，一方面可以帮助驾驶员轻松停车、经过复杂路面，一方面可以将车辆周边的图像采集下来，以便于后续记录驾驶员等车内用户感兴趣的内容。

其中，所述特定对象为交通工具内的乘车人员；所述特定对象包括以下至少之一：主驾人员、副驾人员、后座人员。

所述特定对象还可以包括但不限于以下至少之一：老人、小孩、孕妇。

其中，所述眼睛运动信息，包括但不限于以下至少之一：视线朝向信息、眼球注视点信息、眨眼次数。如此，可以通过视线朝向信息确定交通工具内用户感兴趣的注视方向；可以通过眼球注视点信息确定交通工具内用户注视的目标位置。

其中，所述目标对象包括各种商家和/或各种产品的广告；所述广告包括：文字类型广告、图像类型广告以及综合类型广告；其中，所述文字类型广告为以文字描述为主的广告，例如，保护水资源、爱护小狗等的广告；所述图像类型广告为以图像描述为主的广告，例如，珠宝、品牌包、品牌衣服等的广告；所述综合类型广告为兼顾图像描述和文字描述的广告，例如，某款矿泉水、某手机产品的广告。

这里，所述广告可以位于：路边交通指示牌中、公交站牌的宣传栏中、小区宣传栏中、建筑物的墙面、或其它移动工具的表面等等；所述广告还可以为在LED等显示屏上显示的电子广告。

在一些实际应用中，可以利用眼球追踪技术确定所述眼睛运动信息。例如，在所述交通工具中安装红外设备和/或图像采集设备，用以实现眼球追踪。如图4所示，公开了一种利用图像采集设备实现眼球追踪技术的方式：

其中，以C点为圆心的大圆为外向摄像头的视域45，以E点为圆心的小圆为车内用户的视域46；由于车内用户的眼睛可以转动朝向不同方向，那么假定E圆的圆心E可以在方框41内活动。在活动的过程中，以C点为圆心的大圆和以E点为圆心的小圆可以形成3个区域；其中包括两个不相重合的区域42、44，和一个重叠区域43。当外向摄像头获取的图片被车内乘员注视的时候，车内用户的眼球只可能对某一个方位的内容注视，如图中X、Y两个位置；确定Y处在摄像头视域和人眼视域重叠的范围内、X处不在摄像头视域和人眼视域重叠的范围内，则Y为所述用户的眼球注视的位置区域。

在本发明实施例中，所述视域45可以为上述实施例中的第一图像，所述Y为上述实施例中的目标对象对应的图像，如此，可以确定所述Y是车内用户注视的区域，所述Y中的内容为用户感兴趣的内容，则可以将所述Y中的内容存储下来；确定所述X不是车内用户注视的区域，所述X中的内容不是用户感兴趣的内容，则不需要存储所述X中的内容。

可以理解的是，在一些实施例中，还可以利用红外设备进行红外设投射的方式进行眼球的追踪，其精确度比较高，能实现在30英寸的屏幕上精确到1厘米以内。

本发明实施例所提供的信息处理方法，通过采集交通工具外预定范围得到第一图像，可以采集交通工具外的预定范围内的图像；通过采集所述交通工具内特定对象的眼睛运动信息，可以采集交通工具内乘客等的眼睛运动状况；通过基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象，若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息，可以确定交通工具内乘客的注意力是否集中在交通工具外的某个目标对象上，若确定集中在该目标对象上，形成所述乘客的兴趣信息；如此，可以在行车过程中，准确确定出交通工具内乘客感兴趣的内容。且，还有利于实现当车内乘客不方便记录自己看到的感兴趣的内容时，自动记录自己看到的感兴趣的内容。

在一些实施例中，所述方法还包括：

将所述特定对象的兴趣信息上传至云端服务器。

本发明实施例应用于车联网系统；所述车联网系统包括：交通工具和云端服务器；所述交通工具与所述云端服务器建立连接。

如此，在本发明实施例中，可以将所述特定对象的兴趣信息上传给云端服务器，可以实现信息的共享，便于其它交通工具从云端服务器中下载所述特定对象的兴趣信息；也便于后续对某个目标对象感兴趣的特定对象的统计；后续基于特定用户的兴趣信息，向所述特定对象推送其感兴趣的内容，从而提升用户的体验，减少推送用户不感兴趣的信息导致的信息骚扰等现象。

在一些实施例中，所述确定所述特定对象关注所述目标对象，包括：

确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且所述特定对象关注所述目标对象超过第一时间阈值。

其中，所述第一时间阈值大于或等于0.3s。

在一实施例中，所述第一时间阈值为0.5s。

在本发明实施例中，可以通过确定交通工具内特定对象的视线目标对象超过一定的时间阈值，则确定所述特定对象对所述目标对象感兴趣，可以有利于后续形成所述特定对象的兴趣信息。

在另一些实施例中，所述确定所述特定对象关注所述目标对象，包括：

确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且接收到所述特定对象基于所述目标对象发出的第一语音信息。

其中，所述第一语音信息包括但不限于以下至少之一：对所述目标对象的夸赞的语句、表明想要了解所述目标对象的语句、增强语气的词语。其中，所述对目标对象的夸赞语言可以为：“这个有意思”、“这个内容真棒”，等等；所述表明想要了解所述目标对象的语句可以为：“这个回去上网查一下”、“应该好好了解下该广告”，等等；所述增强语气的词语可以为：“哎呦”、“不错”、“非常好”，等等。

在本发明实施例中，只要确定所述特定对象的视线朝向过目标对象，且接收到所述特定对象基于该目标对象的语音信息，则确定所述特定对象对所述目标对象感兴趣，可以有利于后续形成所述特定对象的兴趣信息。

在一些实施例中，所述步骤105之前，还包括：

基于所述特定对象的属性，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象的判断条件。

所述基于所述特定对象的属性，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象的判断条件，包括：

基于所述特定对象在所述交通工具内的位置属性，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象的判断条件；

和/或，

根据所述特定对象的身份属性，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象的判断条件。

在一些实施例中，所述身份属性包括以下至少之一：

年龄属性；

性别属性；

穿着打扮属性；

消费能力属性。

特定对象的属性不同，所述判断条件可不同；判断条件不同包括以下至少之一：

判断是否关注目标对象时，使用的视线朝向一个对象的持续时长阈值不同；

判断是否关注目标对象时，使用的视线朝向一个对象的次数阈值不同；

判断是否关注目标对象时，延伸朝向一个对象的眼神状态不同。

这里，所述眼神状态可以用眼睛的亮度、瞪眼、眯眼等眼部状态来表示。

其中，所述特定对象基于位置的不同，包括以下至少之一的类型：主驾人员、副驾人员、后座人员。

所述特定对象基于身份属性的不同，包括但不限于以下至少之一的类型：老人、小孩、成人。

若确定所述特定对象为主驾人员，确定所述特定对象满足关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象超过第一子时间阈值；若确定所述特定对象为副驾人员和/或主驾人员，确定所述特定对象关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象超过第二子时间阈值；其中，所述第一子时间阈值小于所述第二子时间阈值。

如此，由于主驾人员在开车，因而需要更多的精力放在开车上；因而确定其关注目标对象的时间小于后座人员或者副驾人员，可以在确定出主驾人员关注的兴趣内容的同时，还能进一步保证行车过程的安全性。

若确定所述特定对象为主驾人员，确定所述特定对象满足关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象的次数大于第一次数；若确定所述特定对象为副驾人员和/或主驾人员，确定所述特定对象关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象的次数大于第二次数；其中，所述第一次数大于所述第二次数。

如此，可以基于主驾人员关注目标对象的次数大于所述副驾人员或后座人员关注目标对象的次数，从而可以弥补主驾人员在开车过程中无法一次关注目标对象较长时间而误认为其对所述目标对象不感兴趣，从而能够进一步准确确定主驾人员感兴趣的信息。

若确定所述特定对象为小孩和/或老人，确定所述特定对象满足关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象超过第三子时间阈值；若确定所述特定对象为成人，确定所述特定对象满足关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象超过第四子时间阈值；其中，所述第三子时间阈值小于所述第四子时间阈值。

如此，由于小孩的注意力相对不集中，老人的用眼容易疲劳，从而确定出小孩或老人关注所述目标对象的时间相对于成人关注目标对象的时间较短，避免了实际上老人或小孩是对所述目标对象感兴趣，而由于用了较短时间关注目标对象而误认为老人或小孩不对目标对象感兴趣的情况出现，从而进一步提高了确定所述特定对象的感兴趣的内容的准确性。

在一些实施例中，所述根据所述第一图像形成所述特定对象的兴趣信息，包括：

基于所述目标对象在所述第一图像中所对应的目标区域图像，获取所述目标对象的文本信息和/或图像信息；

基于所述文本信息和/或图像信息，形成所述特定对象的兴趣信息。

在一些实施例中，所述形成所述特定对象的兴趣信息包括但不限于以下至少之一：

提取所述文本信息的关键词语，将所述关键词语作为所述特定对象的兴趣信息；

提取所述图像信息中的关键区域图像，将所述关键区域图像作为特定对象的兴趣信息。

在一实施例中，若所述目标对象为文字类型的广告，则可以获取目标对象中所对应的目标区域图像中的文字信息，从所述文字信息中提取关键词语，以作为所述特定对象的兴趣信息。例如，所述文字类型的广告为爱护环境的广告，则获取所述广告中的广告词；基于所述广告词提取广告的关键词语，将所述关键词语作为所述特定对象的兴趣信息。

在另一实施例中，若所述目标对象为图像类型的广告，则可以获取目标对象中所对应的目标区域图像中图像信息，将所述图像信息作为所述特定对象的兴趣信息。例如，所述图像类型的广告可以珠宝A的广告，可以将所述珠宝A的图像作为所述特定对象的兴趣信息。

在又一实施例中，若所述目标对象为综合类型的广告，则可以获取目标对象中所对应的目标区域图形中文本信息和图像信息，基于所述文本信息提取关键词语；并将所述文本信息和图像信息作为所述特定对象的兴趣信息。例如，所述综合类型的广告可以为装修公司B的广告，可以将所述装修公司B的名称、特色以及所述装修公司B设计的装修图片作为所述特定对象的兴趣信息。

在又一实施例中，若所述目标对象为视频类型的广告，则可以该视频类型的关键帧，基于所述关键帧获取所述目标对象的文本信息和/或图像信息，基于所述文本信息和/或图像信息，形成所述特定对象的兴趣信息。

在本发明实施例中，可以基于目标对象在所述第一图像中所对应的目标区域图像，获取与所述目标对象相关的文本信息和/或图像信息，从而获得特定对象感兴趣的内容。

在另一些实施例中，所述方法还包括：存储所述特定对象与所述兴趣信息的对应关系。

例如，若特定对象为孕妇A，兴趣信息为爱他美奶粉，则存储所述孕妇A与爱他美奶粉的对应关系；若特定对象为男士B，兴趣信息为阿迪达斯运动装C和阿迪达斯运动装C图片，则存储所述男士B与阿迪达斯运动装C图片的对应关系。如此，可以存储所述特定对象感兴趣的信息。

在一些实施例中，所述方法还包括：确定所述目标对象对应的目标区域图像；其中，所述确定所述目标对象对应的目标区域图像，包括：

基于所述第一图像确定第一中心点；

基于所述眼睛运动信息，确定眼球注视的第二中心点；

若确定所述第一中心点与所述第二中心点小于第一距离阈值，确定基于所述第二中心点所形成的图像与第一图像的重叠部分为所述目标对象对应的所述目标区域图像。

在本发明实施例中，可以确定出目标对象所对应的目标区域图像，以便后续提取所述区域图像中的文字、图像等信息作为特定对象感兴趣的信息。

在一些实施例中，所述方法还包括：根据用户画像，确定所述文本信息和/或图像信息是否为所述特定对象感兴趣的内容；若确定是，则基于所述文本信息和/或图像信息，形成所述特定对象的兴趣信息。

在本发明实施例中，预先设置用户画像，所述用户画像包括：特定对象与所述特定对象感兴趣内容的对应关系；例如，确定乘客与所述乘客感兴趣的广告类型的对应关系。如此，当获取到文本信息和/或图像信息时，还能进一步确定所述文本信息和/或图像信息是否为特定对象感兴趣的内容，只有当其为所述特定对象感兴趣的内容时，才基于所述文本信息和/或图像信息形成所述特定对象的兴趣信息；从而可以避免由于特定对象实际上不对所述目标对象感兴趣而误认为对所述目标对象感兴趣而形成了错误的兴趣信息；从而可以降低冗余信息的产生。

在另一些实施例中，所述方法还包括：

若确定所述文本信息和/或图像信息不为所述特定对象感兴趣的内容，则确定所述特定对象关注所述目标对象的次数是否大于第三次数；

若确定是，则基于所述文本信息和/或所述图像信息，形成所述特定对象的兴趣信息。

如此，在本发明实施例中，通过确定所述特定对象关注所述目标对象的次数超过一定阈值，确定所述特定对象对实际对所述目标对象感兴趣；从而可以避免由于之前特定对象对该目标对象不感兴趣，而现在对所述目标对象感兴趣而未将所述目标对象确定为所述特定对象感兴趣的内容的情况出现，能够进一步准确确定当前时刻特定对象感兴趣的内容。

在一些实施例中，所述方法还包括：

步骤106，获取当前时刻的行车信息，其中，所述行车信息包括以下至少之一：时间信息、位置信息、所述特定对象的语音信息；

所述根据所述第一图像形成所述特定对象的兴趣信息，还包括：

步骤1071，基于所述文本信息和/或图像信息、及所述行车信息，形成所述特定对象的备选兴趣向量。

在本发明实施例中，可以基于文本信息和/或图像信息确定所述备选兴趣向量中的内容类别。

在一些实施例中，所述步骤1071中备选兴趣向量包括以下至少之一：

内容类别、内容信息、位置信息、时间信息、特定对象标识信息、语音信息。

在一实施例中，所述备选兴趣向量可以为一个集合，例如可以是：{内容类别、内容信息、位置信息、时间信息、特定对象标识信息、语音信息}。

这里，所述内容类别为所述目标对象的类型；例如，所述目标对象为保护水资源的广告，则所述内容类别可以为环境保护类别。

所述内容信息为所述目标对象的文本信息和/或图像信息；例如，所述目标对象为保护水资源的广告，则所述内容信息为：水以及水资源保护的广告词等。

所述位置信息为当前所述交通工具的行车所在的位置信息；所述位置信息包括经度信息和纬度信息。

所述时间信息为当前时刻的时间。

所述特定对象标识信息为唯一标识所述特定对象的信息；所述特定对象标识信息包括但不限于以下至少之一：人名、身份证号。

其中，所述特定对象的语音信息可以为描述所述目标对象的语音信息。例如，描述所述目标对象的名称、类型、和/或功能，等等。

所述特定对象的语音信息可以为对所述目标对象评价的语音信息。例如目标对象程度夸赞词语，和/或意图了解所述目标对象的语句，等等。

在本发明实施例中，可以还获取所述目标对象的文本信息和/或图像信息的基础上，还获取当前时刻的位置信息、时间信息、语音信息等，形成一条备选兴趣向量，从而能够更加准确确定所述特定对象的兴趣信息，

在一些实施例中，所述根据所述第一图像形成所述特定对象的兴趣信息，还包括：

比对所述备选兴趣向量以及存储的历史兴趣向量；

若确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值，基于所述备选兴趣向量和所述历史兴趣向量，形成所述特定对象的兴趣信息。

这里，所述备选兴趣向量对应当前时刻的特定对象；所述历史兴趣向量对应除当前时刻的特定对象外的其它特定对象。

其中，所述历史兴趣向量为一个或者多个历史兴趣向量。

其中，所述历史兴趣向量包括以下至少之一：

内容类别、内容信息、位置信息、时间信息、特定对象标识信息、语音信息。

其中，比对所述备选兴趣向量以及存储的历史兴趣向量的一种实现方式是：分别比对所述备选兴趣向量及所述历史兴趣向量中的内容类别、内容信息、时间信息、特定对象标识信息、语音信息。

其中，所述确定所述备选兴趣向量与所述历史兴趣向量的相似度大于第一相似阈值，包括以下至少之一：

确定所述备选兴趣向量及所述历史兴趣向量中的内容类别的相似度大于第一阈值；

确定所述备选兴趣向量及所述历史兴趣向量中的内容信息的相似度大于第二阈值；

确定所述备选兴趣向量及所述历史兴趣向量中的内容信息的相似度大于第三阈值；

确定所述对所述备选兴趣向量及所述历史兴趣向量中的内容类别、内容信息、时间信息、特定对象标识信息、语音信息，分别基于各自相似度阈值与各自权重系数乘积的之和大于第四阈值；

在一实施实施例中，所述第三阈值大于第一阈值，所述第一阈值大于所述第二阈值。如此，可以确定出所述内容信息、内容类别为确定所述备选兴趣向量与所述历史兴趣向量是否为相似向量的主要因素。

例如，所述历史兴趣向量为：{内容类别A、内容信息A、位置信息A、时间信息A、特定对象标识信息A、语音信息A}；所述备选兴趣向量为：{内容类别B、内容信息B、位置信息B、时间信息B、特定对象标识信息B、语音信息B}。

若确定所述内容类别A与内容类别B的相似度大于第一阈值，则确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值。

若确定所述内容信息A和所述内容信息B的相似度大于第二阈值，则确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值。

若确定所述语音信息A与语音信息B的相似度大于第三阈值，则确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值。

确定所述内容类别A与所述内容类别B的相似度大于第一子数值，确定所述内容类别的权重系数为第一权重系数；确定所述内容信息A与所述内容信息B的相似度大于第二子数值，确定所述内容信息的权重系数为第二权重系数；确定所述位置信息A和所述位置信息B的相似度大于第三子数值，确定所述位置信息的权重系数为第三权重系数；确定所述时间信息A和所述时间信息B的相似度大于第四子数值，确定所述时间信息的权重系数为第四权重系数；确定所述特定对象标识信息A和所述特定对象标识信息B的相似度大于第五子数值，确定所述特定对象标识信息的权重系数为第五权重系数；确定所述语音信息A和所述语音信息B的相似度大于第六子数值，确定所述语音信息的权重系数为第六权重系数；基于所述第一子数值与所述第一权重系数乘积、获得第一数值，基于所述第二子数值与所述第二权重系数乘积、获得第二数值，基于所述第三数值与所述第三权重系数乘积、获得第三数值，基于所述第四子数值与所述第四权重系数乘积、获得第四数值，基于所述第五子数值与所述第五权重系数乘积、获得第五数值，所述第六子数值与所述第六权重系数乘积、获得第六数值；若确定所述第一数值、所述第二数值、所述第三数值、所述第四数值、所述第五数值以及所述第六数值之和大于第四阈值，则确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值。

其中，所述基于所述备选兴趣向量和所述历史兴趣向量，形成所述特定对象的兴趣信息，包括：

将所述备选兴趣向量和所述历史兴趣向量进行整合和/或归类，形成所述特定对象的兴趣信息。

例如，所述备选兴趣向量和所述历史兴趣向量的内容类别相同、可以用内容类别A表示、所述备选兴趣向量和所述历史兴趣向量的内容信息基本一致、可以用内容信息A表示；所述备选兴趣向量与历史兴趣向量的特定对象标识不相同，所述备选兴趣向量的特定对象标识用特定对象标识A表示，所述历史兴趣向量的特定对象标识用特定对象标识B表示；则确定所述历史兴趣向量对应的目标对象与所述历史兴趣向量对应目标对象为相同类型的目标对象，且可以对所述备选兴趣向量和所述历史兴趣向量进行整合，确定的兴趣向量为{内容类别A、内容信息A、特定对象标识A、特定对象标识B}。

在本发明实施例中，可以通过将备选兴趣向量与至少一个历史兴趣向量进行对比，得到更准确的关于特定对象的兴趣信息。且，可以基于当前时刻的所述特定对象的兴趣向量(备选兴趣向量)以及存储在本地的历史时刻的特定对象的兴趣向量(历史兴趣向量)进行对比，找出相似的兴趣向量进行分析和归类，进一步确定在所述交通工具中乘客(即特定对象)的兴趣信息。

在一些实施例中，所述方法还以下至少之一：

存储所述特定对象，与所述文本信息和图像信息至少之一的对应关系；

存储所述特定对象与所述备选兴趣向量的对应关系；

存储所述交通工具与所述备选兴趣向量的对应关系。

这里，存储的特定对象为存储的特定对象的标识信息，例如，存储的特定对象的人名或身份证号等。存储的交通工具为存储的交通工具的标识，例如，所述交通工具的车牌号、预设的编号等。

在本发明实施例中，可以将所述特定对象与所述目标对象对应的文本信息和/或图像信息，和/或备选兴趣向量存储起来，可以记录特定对象的感兴趣的信息；并建立对应关系，将特定对象(乘客)与目标对象(车外内容)联系起来，还方便后续统计所述有多少乘客对目标对象感兴趣等。并且，还可以将交通工具与所述备选兴趣向量的对应关系存储起来，从而可以将交通工具与感兴趣的内容联系起来。

在一些实施例中，所述方法还包括以下至少之一：

将所述特定对象，与所述文本信息和图像信息至少之一的对应关系发送给所述云端服务器；

将所述特定对象与所述备选兴趣向量的对应关系发送给所述云端服务器；

将所述交通工具与所述备选兴趣向量的对应关系发送给所述云端服务器。

如此，在本发明实施例中，可以实现信息的共享，可以使得车联网系统中的一交通工具可以共享到其它交通工具感兴趣的内容、或者其它交通工具中特定对象感兴趣的内容，也有利于后续统计对于所述某一目标对象有多少特定对象感兴趣。

这里需要指出的是：以下信息处理装置项的描述，与上述信息处理方法项描述是类似的，同方法的有益效果描述，不做赘述。对于本发明信息处理装置实施例中未披露的技术细节，请参照本发明信息处理方法实施例的描述。

如图5所示，本发明实施例还提供了一种信息处理装置，所述装置包括：

第一采集模块51，用于采集交通工具外预定范围得到第一图像；

第二采集模块52，用于采集所述交通工具内特定对象的眼睛运动信息；

确定模块53，用于基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；

处理模块54，用于若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息。

在一些实施例中，所述确定模块53，用于确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且所述特定对象关注所述目标对象超过第一时间阈值。

在一些实施例中，所述确定模块53，用于确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且接收到所述特定对象基于所述目标对象发出的第一语音信息。

在一些实施例中，所述处理模块54，用于基于所述目标对象在所述第一图像中所对应的目标区域图像，获取所述目标对象的文本信息和/或图像信息；基于所述文本信息和/或图像信息，形成所述特定对象的兴趣信息。

在一些实施例中，所述第一采集模块51，还用于获取当前时刻的行车信息，其中，所述行车信息包括以下至少之一：时间信息、位置信息、所述特定对象的语音信息；

所述处理模块54，用于基于所述文本信息和/或图像信息、及所述行车信息，形成所述特定对象的备选兴趣向量。

在一些实施例中，所述处理模块54，用于比对所述备选兴趣向量以及存储的历史兴趣向量；若确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值，基于所述备选兴趣向量和所述历史兴趣向量，形成所述特定对象的兴趣信息。

在一些实施例中，所述装置还包括存储模块55；其中，

所述存储模块55，用于存储以下至少之一：

存储所述特定对象，与所述文本信息和图像信息至少之一的对应关系；

存储所述特定对象与所述备选兴趣向量的对应关系；

存储所述交通工具与所述备选兴趣向量的对应关系。

如图6所示，本发明实施例还提供了一种信息处理方法的示意图，其中，应用所述信息处理方法的装置包括：声音采集系统61、内向摄像头62、外向摄像63以及位置服务系统64；其中，所述声音采集系统61用于采集声音；所述内向摄像头62用于采集交通工具内的特定对象的眼睛运动信息以及人脸检测；所述外向摄像头63用于采集交通工具外预定范围内的第一图像；所述位置服务系统64用于采集当前的位置信息。

其中，所述信息处理方法包括以下步骤：

步骤S601：识别语音；

具体地，利用所述交通工具中的声音采集系统采集所述交通工具内特定对象的语音，对所述语音的语音信息进行识别。

步骤S602：检测注意力；

具体地，利用所述内向摄像头采集所述特定对象的眼睛运动信息的图像；基于所述眼睛运动信息的图像对所述特定对象的视线朝向进行检测。

在一可选实施例中，还包括：利用所述内向摄像头采集所述特定对象的人脸的图像；基于所述人脸的图像对所述特定对象的身份进行识别。

步骤S603：识别图像；

具体地，利用所述外向摄像头对交通工具外预定范围内的第一图像；对所述第一图像进行识别。

步骤S604：生成兴趣向量；

具体地，所述交通工具基于识别的所述语音信息、检测的所述特定对象的视线朝向以及识别的所述第一图像，进行信息融合，以生成所述特定对象的兴趣向量。

步骤S605：生成兴趣向量列表；

具体地，所述交通工具记录所述多个特定对象的多个兴趣向量，生成兴趣向量列表。

步骤S606：比对兴趣向量；

具体地，所述交通工具比对所述兴趣向量列表中的多个兴趣向量，对同一类型的兴趣向量进行归类；并对所述同一类型的兴趣向量中信息进行融合，以生成新的兴趣向量列表。

步骤S607：生成兴趣信息；

具体地，所述交通工具基于所述新的兴趣向量列表，生成所述特定对象的兴趣信息。

步骤S608：存储兴趣信息。

具体地，所述交通工具存储所述特定对象与所述特定对象对应的兴趣信息。

在本发明实施例中，可以基于在行车过程中，采集特定对象的语音、视线朝向以及车外内容的图像等，确定所述特定对象(乘客)自己感兴趣的内容，并记录感兴趣的内容的兴趣信息，一方面能够得到比较准确的兴趣信息，一方面能够避免车内乘客没有时间记录自己看到的感兴趣的内容时，实现对所述兴趣内容的自动记录。

如图7所示，还提供了一种信息处理方法，所述方法包括以下步骤:：

步骤S701：抓取预定范围内的第一图像；

可选地，车辆利用所述车辆外部摄像头抓取预定范围内的第一图像。

步骤S702：采集眼球运动信息，以确定出车内乘员关注的所述第一图像中的目标区域；

可选地，所述车辆利用车辆内部摄像头采集眼球运动信息；基于所述眼球运动信息，确定出车内乘员关注的所述第一图像中的目标区域。

这里，所述乘员为上述实施例中的特定对象。

步骤S703：检测所述乘员的语音信息；

可选地，所述车辆检测所述乘员的语音信息。

步骤S704：若确定所述乘员的目光停留在所述目标区域超0.5s，或者检测出所述乘员的语音信息为第一类语音信息；

可选地，所述车辆若确定所乘员的目光停留在所述目标区域超0.5s，或者检检测到乘员的语音信息为第一类语音信息；其中，所述第一类语音信息包括但不限于赞美的语音信息或表明想要了解的意图信息。

步骤S705：获取当前时刻的时间信息，所述目标区域的文字信息和/或图片以及所述第一类语音信息，以形成一条兴趣向量；

可选地，所述车辆获取当前时刻的时间信息，从所述第一图像中提取到所述目标区域的文字信息和/或图片，获取所述第一语音信息；基于所述时间信息、所述文字信息和/或图片以及所述第一类语音信息，生成一条兴趣向量。

步骤S706：比对当前确定的所述兴趣向量和历史存储的兴趣向量，以对同一类乘员的兴趣信息进行归类和整合；并存储所述乘员的兴趣信息。

可选地，车辆比对当前确定的所述兴趣向量和历史存储的兴趣向量，确定出相似的兴趣向量；基于所述相似的兴趣向量，对同一类乘员的兴趣信息进行归类和整合，获得所述同一类乘员的兴趣信息；并存储所述兴趣信息。

在本发明实施例中，当所述车内乘员关注所述目标区域时，可以通过所述乘员发出的语音信息或者所述乘员关注所述目标区域的时间是否超过一定时间阈值，来确定所述车内乘员是否对目标区域中的内容感兴趣，能够准确确定出乘员感兴趣的内容。进一步地，还基于当前获取关于所述目标区域的兴趣向量，以及历史存储的兴趣向量进行比对，从而确定出同一类型乘员的兴趣向量，从而能够进一步确定出同一类型的乘员感兴趣的内容。

如图8所示，本发明实施例还公开了一种交通工具，所述交通工具包括：处理器81和用于存储能够在处理器81上运行计算机服务的存储器82，其中所述处理器81用于运行所述计算机服务时，实现应用于所述交通工具的所述的信息处理方法。

在一些实施例中，本发明实施例中的存储器82可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器81可能种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明又一实施例提供了一种计算机存储介质，该计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，可实现应用于所述终端设备或所述交通工具的所述信息处理方法的步骤。例如，如图1、图6、图7等所示的方法中的一个或多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各3种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法，其特征在于，所述方法包括：

采集交通工具外预定范围得到第一图像；

采集所述交通工具内特定对象的眼睛运动信息；

基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；其中，所述特定对象包括：主驾人员和副驾人员；

若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息；其中，若确定所述特定对象为主驾人员，确定所述特定对象满足关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象的次数大于第一次数；若确定所述特定对象为副驾人员，确定所述特定对象关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象的次数大于第二次数；其中，所述第一次数大于所述第二次数；

预先设置用户画像，所述用户画像包括：特定对象与所述特定对象感兴趣内容的对应关系；若确定所述目标对象的文本信息和/或图像信息不为所述特定对象感兴趣的内容，则确定所述特定对象关注所述目标对象的次数是否大于第三次数；若确定所述特定对象关注所述目标对象的次数是大于第三次数，则基于所述文本信息和/或所述图像信息，形成所述特定对象的兴趣信息。

2.根据权利要求1所述的方法，其特征在于，所述确定所述特定对象关注所述目标对象，包括：

确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且所述特定对象关注所述目标对象超过第一时间阈值。

3.根据权利要求1所述的方法，其特征在于，所述确定所述特定对象关注所述目标对象，包括：

确定所述特定对象的视线朝向所述第一图像所采集区域内的目标对象，且接收到所述特定对象基于所述目标对象发出的第一语音信息；其中，所述第一语音信息包括以下至少之一：对所述目标对象的夸赞的语句、表明想要了解所述目标对象的语句、增强语气的词语。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述第一图像形成所述特定对象的兴趣信息，包括：

基于所述目标对象在所述第一图像中所对应的目标区域图像，获取所述目标对象的文本信息和/或图像信息；

基于所述文本信息和/或图像信息，形成所述特定对象的兴趣信息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取当前时刻的行车信息，其中，所述行车信息包括以下至少之一：时间信息、位置信息、所述特定对象的语音信息；

所述根据所述第一图像形成所述特定对象的兴趣信息，还包括：

基于所述文本信息和/或图像信息、及所述行车信息，形成所述特定对象的备选兴趣向量。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像形成所述特定对象的兴趣信息，还包括：

比对所述备选兴趣向量以及存储的历史兴趣向量；

若确定所述备选兴趣向量和所述历史兴趣向量的相似度大于第一相似阈值，基于所述备选兴趣向量和所述历史兴趣向量，形成所述特定对象的兴趣信息。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括以下至少之一：

存储所述特定对象，与所述文本信息和图像信息至少之一的对应关系；

存储所述特定对象与所述备选兴趣向量的对应关系；

存储所述交通工具与所述备选兴趣向量的对应关系。

8.一种信息处理装置，其特征在于，所述装置包括：

第一采集模块，用于采集交通工具外预定范围得到第一图像；

第二采集模块，用于采集所述交通工具内特定对象的眼睛运动信息；

确定模块，用于基于所述眼睛运动信息，确定所述特定对象是否关注所述第一图像所采集区域内的目标对象；其中，所述特定对象包括：主驾人员和副驾人员；

处理模块，用于若确定所述特定对象关注所述目标对象，根据所述第一图像形成所述特定对象的兴趣信息；其中，若确定所述特定对象为主驾人员，确定所述特定对象满足关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象的次数大于第一次数；若确定所述特定对象为副驾人员，确定所述特定对象关注所述目标对象的条件包括：确定所述特定对象关注所述目标对象的次数大于第二次数；其中，所述第一次数大于所述第二次数；

预先设置用户画像，所述用户画像包括：特定对象与所述特定对象感兴趣内容的对应关系；若确定所述目标对象的文本信息和/或图像信息不为所述特定对象感兴趣的内容，则确定所述特定对象关注所述目标对象的次数是否大于第三次数；若确定所述特定对象关注所述目标对象的次数是大于第三次数，则基于所述文本信息和/或所述图像信息，形成所述特定对象的兴趣信息。

9.一种交通工具，其特征在于，所述交通工具包括：处理器和用于存储能够在处理器上运行计算机服务的存储器，其中所述处理器用于运行所述计算机服务时，实现权利要求1-7任一项所述的信息处理方法。

10.一种计算机存储介质，所述计算机存储介质中有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行实现权利要求1-7任一项所述的信息处理方法。

Images