CN105518666B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN105518666B
CN105518666B CN201480046374.5A CN201480046374A CN105518666B CN 105518666 B CN105518666 B CN 105518666B CN 201480046374 A CN201480046374 A CN 201480046374A CN 105518666 B CN105518666 B CN 105518666B
Authority
CN
China
Prior art keywords
user
information processing
processing apparatus
scene
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480046374.5A
Other languages
English (en)
Other versions
CN105518666A (zh
Inventor
川名孝一
村林昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105518666A publication Critical patent/CN105518666A/zh
Application granted granted Critical
Publication of CN105518666B publication Critical patent/CN105518666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Abstract

一种信息处理装置包括：视线位置检测部分，其检测用户相对于显示屏的视线位置；位置信息获取部分，其获取用户的位置信息；以及控制部分，其基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景和场景中的对象，并且根据判断的对象和获取的位置信息产生搜索信息。

Description

信息处理装置和信息处理方法
技术领域
本技术涉及一种由用户携带并用于查看内容的信息处理装置，以及一种信息处理方法。
背景技术
目前，有一种涉及信息处理装置的技术，其使用信息处理装置检测用户的视线方向并且最佳地执行操作。
例如，在专利文献1中所公开的技术被应用到图像显示系统，其从用于存储转换成图像数据的多个图像的存储器读出一定数量的图像，并且将图像输出到屏幕。在图像显示系统中，检测用户的视线方向以判断用户的聚焦部分，并且选择和显示包括与聚焦部分的特征类似的特征的图像。
此外，在专利文献2中所公开的技术被应用到信息呈现系统，其包括判断显示设备上的视线位置并且将信息呈现给用户的视线跟踪设备。在信息呈现系统中，通过监视相对于多条显示信息的视线位置，基于与用户的兴趣水平的相关性来选择和呈现新的信息。
此外，专利文献3公开检测用户存在于多媒体信息空间中的状态的技术，其中用户能够根据检测结果观看视频或收听音乐并输出下一个媒体信息。
专利文献1：日本专利申请特开号Hei 09-114846
专利文献2：日本专利申请特开号Hei 10-133810
专利文献3：日本专利申请特开号2001-216527
发明内容
本发明要解决的问题
本技术的目的在于提供在功能方面更具有优势的信息处理装置，作为将与内容相关的信息提供给查看内容的用户的信息处理装置。
解决问题的手段
根据本技术的第一实施方案，提供一种信息处理装置，包括：视线位置检测部分，其检测用户相对于显示屏的视线位置；位置信息获取部分，其获取用户的位置信息；以及控制部分，其基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景和场景中的对象，并且根据判断的对象和获取的位置信息产生搜索信息。
控制部分可以在场景单元中使用搜索信息在存储要被搜索的内容的存储设备中搜索推荐内容。
存储设备可以是能够经由网络与记录器的存储设备执行同步处理的设备。
控制部分可以控制经由网络与之连接的记录器以使用搜索信息设置计时器记录。
控制部分可以：基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景；基于特征量将判断的场景的图像分割成一个或多个区域；基于检测的视线位置判断具有最高视线频率的区域；以及基于该区域的特征量判断对象。
控制部分可以在考虑基于用户的查看地点和查看时间的类型之间的优先级的同时判断对象。
控制部分可以：基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景；以及基于统计信息相对于判断的场景判断对象，所述统计信息指示在多个其他用户的移动终端中哪个对象收集场景中的大多数视线。
控制部分可以：基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景；以及基于区域的特征谱相对于判断的场景判断对象，所述区域通过多个其他用户收集场景中的大多数视线。
控制部分可以在考虑与判断的场景相关的被分配给场景的元数据的同时判断对象。
根据本技术的另一实施方案，提供一种信息处理装置，其包括控制部分，所述控制部分：从用户的信息处理装置获取检测用户相对于用户的信息处理装置的显示屏的视线位置的结果、用户的信息处理装置的位置信息，以及在显示屏上查看的内容的识别信息；以及基于获取的视线位置判断用户聚焦于基于内容的获取的识别信息所指定的内容的场景和场景中的对象，根据判断的对象和获取的位置信息产生搜索信息，以及将产生的搜索信息传输到用户的信息处理装置。
本发明的效果
如上所述，根据本技术，在功能方面更具有优势的信息处理装置可以被提供为将与内容相关的信息提供给查看内容的用户的信息处理装置。
附图说明
图1是示出根据本技术的第一实施方案的系统100的整体结构的概要的图解。
图2是示出系统100的结构的概要的图解。
图3是示出记录器200的整体结构的方框图。
图4是示出移动终端300的整体结构的方框图。
图5是示出便携式存储器400的结构的方框图。
图6是示出与本技术相关的移动终端300的操作的流程图。
图7是用于说明聚焦对象判断处理1的图解。
图8是示出基于用户的查看地点和查看时间的类型之间的优先级的实例的图解。
图9是用于说明聚焦对象判断处理2的图解。
图10是用于说明聚焦对象判断处理3的图解。
图11是用于说明聚焦对象判断处理4的图解。
图12是用于说明在考虑聚焦对象判断处理5的后元数据的同时判断聚焦对象的操作的图解。
图13是示出聚焦对象判断处理3的操作的流程图。
图14是示出与关于移动终端300和记录器200的技术相关的操作的修改实例的流程图。
图15是示出与关于移动终端300和记录器200的技术相关的操作的修改实例的流程图。
具体实施方式
实施本发明的模式
在下文中，将参照附图描述本技术的实施方案。
<第一实施方案>
(系统的整体结构的概要)
将描述使用本技术的整体系统的结构的概要。
图1和图2各自是示出使用本技术的系统100的整体结构的概要的图解。系统100包括多个记录器200、多个移动终端300和多个便携式存储器400。在图中，假定存在三个用户，即，用户U1、U2和U3。每个用户具有记录器200、移动终端300和便携式存储器400，并且使那些装置经由网络500相互连接。
图1和图2之间的差异在于用户U3将便携式存储器400连接到的地方。图1示出三个用户查看便携式存储器400中的内容的状态。相比之下，图2示出用户U3将他/她的便携式存储器400连接到他/她的记录器200，并且将内容从记录器200复制到便携式存储器400的状态。
记录器200接收并记录电视广播无线电波和有线电视广播信号，或从网络500获取并存储视频内容等。具体来说，记录器200是蓝光(注册商标)记录器等。
便携式存储器400连接到要被使用的记录器200或移动终端300。连接可以是有线连接，或可以使用基于无线标准(诸如Wi-Fi(无线保真))的无线通信。
当用户U3的便携式存储器400连接到如图2中所示的记录器200时，记录器200中的内容被复制到便携式存储器400，并且执行内容的同步。
移动终端300是智能手机、平板电脑、移动PC等。当移动终端300连接到如图1中所示的便携式存储器400时，用户可以使用移动终端300中的应用软件(应用程序)来再现并查看便携式存储器400中的内容。
移动终端300的应用程序搜索内容数据，其预测用户将对在便携式存储器400中累积的内容数据感兴趣，并且向用户推荐查看。
(记录器200的概要)
接着，将描述记录器200的整体结构。图3是示出记录器200的整体结构的方框图。
记录器200包括网络I/F(接口)1、天线2、调谐器3、记录处理部分4、信息处理部分5、I/F部分6、存储器7、磁盘驱动器8、第一存储区(数据库)9、再现处理部分10、显示处理部分11和特征提取部分13。记录器200也包括系统控制器14、数据总线15和控制总线16。
网络I/F 1经由网络500与移动终端300、便携式存储器400等交换信息。调谐器3经由天线2接收广播无线电波。记录处理部分4执行将由调谐器3和网络I/F 1获取的内容数据记录在第一存储区9中的处理。
信息处理部分5基于从移动终端300接收并且在第一存储区9中累积的信息，搜索网络500(诸如互联网)上的网络内容。
I/F部分6从操作部分17(其为远程控制器)接收信号。存储器7为记录器200的工作区。磁盘驱动器8读出被记录到盘型记录介质8a上的内容，或将存储在第一存储区9中的内容写入到盘型记录介质8a上。
第一存储区9记录由记录器200获取的内容数据和与计时器记录相关的从移动终端300获取的信息。再现处理部分10执行再现被记录在第一存储区9中的内容数据的处理。显示处理部分11将图像输出到连接到记录器200的显示器12，诸如电视接收机和监视器。
特征提取部分13从内容的图像、音频和文本信息提取特征。提取的特征用于计时器记录等。系统控制器14控制记录器200的各自的部分。数据总线15为用于记录器200的各自的部分来交换数据(诸如内容)的总线。控制总线16为用于记录器200和系统控制器的各自的部分来交换数据进行控制的总线。
(移动终端300的概要)
接着，将描述移动终端300(在权利要求范围中根据权利要求1所述的信息处理装置)的整体结构。图4是示出移动终端300的整体结构的方框图。
移动终端300包括天线30、GPS(全球定位系统)接收部分21、相机22、测距传感器23、加速度传感器24、处理器25(诸如CPU(中央处理单元))、通信部分26、存储装置27、操作部分28和显示部分29。
GPS接收部分21经由天线30从GPS卫星接收信号并且检测移动终端300的当前位置。相机22拍摄风景等，但在本文中用于检测使用移动终端300查看内容的用户的视线方向。测距传感器23检测相对于使用移动终端300的用户(例如，脸)的距离。
加速度传感器24检测移动终端300的运动来检测移动终端300被保持的状态。例如，当用户使用移动终端300查看内容时，认为移动终端300被置于大体上静止。
处理器25执行移动终端300的整体控制，或执行存储在存储装置27中的应用软件(应用程序)。
通信部分26经由网络500执行通信，或基于蜂窝电话通信标准(诸如3G(第三代)和LTE(长期演进))或无线通信标准(诸如Wi-Fi)与便携式存储器400通信。操作部分28接受用户的输入来操作移动终端300。
显示部分29显示移动终端300的操作屏幕、用于再现便携式存储器400中的内容的再现屏幕等。
(便携式存储器的概要)
接着，将描述便携式存储器400的结构。图5是示出便携式存储器400的结构的方框图。
便携式存储器400包括天线40、无线部分41、控制部分42、第二存储区43和操作部分44。
无线部分41经由天线40执行与记录器200和移动终端300的通信。控制部分42执行便携式存储器400的整体控制、内容数据与记录器200的第一存储区9的同步，以及内容数据到移动终端300的传输。控制部分42也可以执行内容数据的加密处理和解密处理。
第二存储区43通过与记录器200同步存储从第一存储区9复制的内容数据。应注意，第二存储区43存储记录的内容和用于唯一地识别内容的唯一识别符。
操作部分44接受用户指令，便携式存储器400将连接到在其上的记录器200和移动终端300。根据接受的指令，控制部分42经由无线部分41与记录器200或移动终端300交换数据。
本实施方案涉及搜索与移动终端300的用户查看的内容相关的信息，以及将信息提供给包括如上所述的结构的系统100中的用户的技术。
(本实施方案的移动终端300的操作)
图6是示出与本技术相关的移动终端300的操作的流程图。
首先，移动终端300的用户操作操作部分28来指示任意内容(例如，从网络500下载的内容或从便携式存储器400获取并存储在存储装置27中的内容)的再现(步骤S101)。因此，处理器25根据指令再现内容并且将其显示在显示部分29的屏幕上(步骤S102)。
在内容再现期间，处理器25检测用户的内容查看状态(步骤S103)。
当处理器25检测用户在检测查看状态时聚焦于特定场景的对象(再现时间)的状态(步骤S104中的Y)时，处理器25判断场景和场景中的聚焦对象(步骤S105)。稍后将详细描述对象判断。
随后，处理器25使用GPS接收部分21获取用户(移动终端300)的位置信息(步骤S106)。
当成功地获取用户的位置信息时，处理器25从位置信息和关于在步骤S105中判断的对象的信息产生内容搜索信息。这里，内容搜索信息为例如用于搜索存储在便携式存储器400中的内容的信息。处理器25使用产生的内容搜索信息来执行对存储在便携式存储器400中的内容组的搜索(步骤S108)。搜索将与存储在便携式存储器400中的内容相关的元数据作为目标。
内容元数据包括作为每个场景的元数据的开始/结束时间和场景内容(例如，数据(诸如商店、产品和CM))。使用搜索查询相对于每个场景的元数据执行搜索。
当成功地搜索相关内容的场景(步骤S108中的Y)时，处理器25使用内容场景的元数据来将与相关内容场景有关的信息列表呈现在显示部分29的屏幕上作为推荐内容的场景的列表(步骤S109)。当失败地搜索相关内容(步骤S108中的N)时，处理器25不做任何事。
当用户在推荐内容的场景的列表上选择任意场景时，处理器25从便携式存储器400读出相关场景的数据并且再现数据。
此外，当在步骤S104中未检测到用户的聚焦状态(步骤S104中的N)时，处理器25不做任何事。
当内容再现结束时，处理结束(步骤S110中的Y)。
(判断用户聚焦的场景和对象的方法)
接着，将在步骤S104和S105中描述判断用户聚焦的场景和对象的方法。
例如，相机22捕获用户的视线状态来测量用户的眼睛的轮廓中的瞳孔的位置、静止时间(连续静止时间、平均静止时间等)等，并且测距传感器23检测移动终端300与用户的脸之间的距离。因此，可能检测用户从瞳孔的位置看的位置(视线位置)以及移动终端300与用户的脸之间的距离，并且判断用户看的状态是否对应于从静止时间聚焦。基于那些信息，获得每个场景的视线位置的时间序列数据，其指示什么位置以及用户已观看图像多久。
通过学习提前获得用户的场景聚焦特性，有利于抑制由于在聚焦于场景时用户之间的个体差异而导致的精度的降低。基于学习数据，可以准确地辨别用户聚焦的状态。
首先，处理器25检测由用户聚焦的场景(在下文中被称为“聚焦场景”)。这里，例如，聚焦场景为相对于其中存在用户的小的视线运动的场景。处理器25从视线位置的时间序列数据检测视线运动等于或小于预定阈值的场景作为聚焦场景。
接着，处理器25从聚焦场景的图像判断用户从图像中的一个或多个对象中聚焦的一个或多个对象。这种处理在本文中被称为“聚焦对象判断处理”。
接着，将描述聚焦对象判断处理。
(聚焦对象判断处理1)
图7是用于说明聚焦对象判断处理1的图解。
1.首先，关于检测的聚焦场景的图像，通过分析图像特征(诸如亮度、颜色和纹理)，执行将图像分割成具有统一特征的一个或多个区域的处理(图像分割处理)。
2.接着，处理器25基于视线位置的时间序列数据，相对于通过图像分割处理分割的一个或多个区域判断具有最高视线频率的区域。
3.然后，处理器25基于具有最高视线频率的区域的图像的特征量，判断指示该区域的图像是什么样的对象的信息。
(聚焦对象判断处理2)
基于用户的查看地点和查看时间的类型之间的优先级可以用于对象判断。
图8是示出基于用户的查看地点和查看时间的类型之间的优先级的实例的图解。例如，当查看地点是“银座”并且查看时间是“16:00”时，类型之间的优先级从顶部是“糖果”、“时尚”和“娱乐”。
图9是用于说明聚焦对象判断处理2的图解。
当基于视线位置的时间序列数据判断具有最高视线频率的多个区域时，处理器25基于类型之间的优先度确定那些区域的图像中的哪些对象将是最终判断结果。
例如，假定在图9中通过聚焦对象判断处理1获得两个对象“蛋糕”和“图片”，当查看地点是“银座”并且查看时间是“16:00”时，基于图8中所示的基于用户的查看地点和查看时间的类型之间的优先度，作为“蛋糕”属于的类型的“糖果”的优先度是最高的。因此，“蛋糕”被获得作为对对象的最终判断结果。
应注意，可以根据性别、年龄、职业、地址和用户的其他类型来准备基于用户的查看地点和查看时间的类型之间的优先度。此外，可以相继更新关于类型之间的优先度的信息。
(聚焦对象判断处理3)
图10是用于说明聚焦对象判断处理3的图解。
1.处理器25获取和累积统计信息，其指示什么对象已相对于多个其他用户的移动终端300中的聚焦场景收集大多数视线。
2.处理器25相对于由装置本身的用户聚焦的聚焦场景的图像判断关于从累积的统计信息收集大多数视线的对象的信息。
应注意，在这种方法的情况下，需要通过聚焦对象判断处理1等获得关于在多个其他用户的移动终端300中获得的对象的信息。
当通过聚焦对象判断处理3判断多个对象的属性时，如在聚焦对象判断处理2中，基于以查看地点和查看时间为基础的类型之间的优先度，属性可以最终被缩小到一个对象的属性。
(聚焦对象判断处理4)
图11是用于说明聚焦对象判断处理4的图解。
1.处理器25获取和累积相对于聚焦场景从多个其他用户收集大多数视线的区域的特征向量。
2.关于检测的聚焦场景的图像，处理器25通过分析图像特征(诸如亮度、颜色和纹理)执行将图像分割成具有统一特征的一个或多个区域的处理(图像分割处理)。
3.处理器25判断在分割区域中具有最接近累积的特征量的特征量的区域，并且判断指示该区域的图像的什么对象是基于特征量的属性。
(聚焦对象判断处理5)
接着，将描述引用赋予聚焦对象判断中的程序的后元数据(post-metadata)的方法。
例如，后元数据为通过人工确认每个场景的程序的场景的内容而产生的元数据。后元数据包括例如关于程序名称、广播时间等的信息，如与程序和场景时间、场景内容等相关的元数据，如与场景相关的元数据。
这样的后元数据被存储在网络上的后元数据服务器上。后元数据服务器管理每个程序的后元数据，并且提供经由网络递送后元数据的服务。
接着，将描述在考虑后元数据的同时判断聚焦对象的操作。
图12是用于说明在考虑聚焦对象判断处理5的后元数据的同时判断聚焦对象的操作的图解。
图13是示出聚焦对象判断处理3的操作的流程图。
1.首先，关于检测的聚焦场景的图像，通过分析图像特征(诸如亮度、颜色和纹理)，执行将图像分割成具有统一特征的一个或多个区域的处理(图像分割处理)(步骤S301)。
2.接着，处理器25基于视线位置的时间序列数据，判断从通过图像分割处理分割的一个或多个区域中具有最高视线频率的区域(步骤S302)。
3.接着，处理器25检测具有高视线频率和其附近图像的特征量的n个高阶区域(步骤S303)。这里，检测其附近图像的特征量是用于在基于图像特征量判断“蛋糕”的情况下，例如，假定蛋糕很有可能放在盘子里，也通过检测“盘子”的图像特征量来综合判断对象是否是“蛋糕”。当判断如上所述的某个对象时，也通过判断与该对象相关的对象，可以提高判断的准确率。应注意，这种处理也可以用于其他聚焦对象判断处理。
4.接着，处理器25访问后元数据服务器来获取聚焦场景的后元数据、引用在对应于获取的后元数据的场景时间的场景内容，以及基于通过形态分析等的字对其分类(步骤S304)。
5.随后，处理器25判断指示每个图像的什么对象是基于n个高阶区域的图像特征量的信息、比较从后元数据获得的字与n个高阶区域中的对象的信息，以及确定匹配字的对象的信息作为最终对象判断结果(步骤S305)。
应注意，当基于特征量在对象判断中获得正确答案识别率的值时，提取具有等于或小于n个高阶区域的对象判断结果中的阈值的正确答案识别率的差的多个对象，并且从提取的对象中匹配从后元数据获得的字的对象被确定为最终判断结果。
因此，可以比基于特征量的对象判断的精度限制获得精度更高的对象判断结果。
应注意，在考虑后元数据的同时判断聚焦对象的操作可以涉及通过处理器25判断是否可以获取后元数据，并且进行切换使得在可以获取后元数据时执行操作，并且在不能获取后元数据时执行聚焦对象判断处理1。
此外，已击中处理的聚焦场景的后元数据可以被添加到在便携式存储器400和记录器200中累积的元数据。因此，存储在便携式存储器400中的内容的搜索精度可以提高。
如上所述，根据本实施方案，基于移动终端300的用户聚焦的场景的对象和用户的位置信息，可以获取用于搜索与之相关的内容的信息。通过使用此信息，例如，可以在场景单元中根据存储在便携式存储器400中的内容组搜索相关内容。因此，相对于存储在便携式存储器400中的内容的搜索能力提高。
<修改实例1>
图14和图15各自为示出与关于移动终端300和记录器200的技术相关的操作的修改实例的流程图。
修改实例1使用在第一实施方案中的移动终端300中产生的内容搜索信息，以用于由记录器200进行计时器记录。应注意，从步骤S201到步骤S209的操作与第一实施方案的从步骤S101到步骤S109的那些操作相同。因此，其描述将被省略。
在步骤S210中，处理器25判断是否设置记录模式(步骤S210)。这里，记录模式为由移动终端300的用户任意设置的模式。当设置记录模式(步骤S210中的Y)时，处理器25经由网络将在步骤S207中产生的内容搜索信息转移到记录器200(步骤S212)。
在接收内容搜索信息后，记录器200的系统控制器14判断基于此信息指定的程序的计时器记录是否完成。当计时器记录完成(步骤S213中的Y)时，记录器200的系统控制器14作为响应向移动终端300通知该事实。应注意，基于内容搜索信息指定的程序的计时器记录完成的情况为内容搜索信息包括用于指定程序的数据(诸如程序名称、广播开始/结束时间和广播电台信息等)的情况。
在接收响应后，移动终端300的处理器25转移到对内容的结束再现的判断(步骤S211)，并且当没有结束再现(步骤S211中的N)时，返回到步骤S202的内容再现状态。
另一方面，当无法基于内容搜索信息指定程序(步骤S215中的N)时，记录器200的系统控制器14累积所接收的内容搜索信息(步骤S214)，并等待，直到累积足够量的信息。然后，处理转移到步骤S208。
当累积足够量的内容搜索信息(步骤S215中的Y)时，记录器200的系统控制器14使用累积信息来搜索相关内容(步骤S216)。例如，相对于提供电子节目指南或网络内容发布服务的服务器执行此搜索。
当发现相关内容(步骤S217中的Y)时，记录器200的系统控制器14设置该内容的计时器记录(步骤S218)。当没有发现相关内容(步骤S217中的N)时，记录器200的系统控制器14执行预定警告处理(步骤S219)。然后，处理转移到步骤S211。
这里，警告处理的实例包括在移动终端300中显示内容搜索失败的处理，以及显示列表的处理，所述列表包括每次从记录器200中的移动终端300转移元数据时的内容搜索结果和记录状态。
如上所述，根据本实施方案，使用用于搜索基于移动终端300的用户聚焦的场景的对象和用户的位置信息而产生的相关内容的信息，可以在记录器200中设置相关内容的计时器记录。
在此之前所描述的实施方案和修改实例中，可以在被布置于网络500上的一个或多个服务器(对应于根据权利要求11所述的信息处理装置)中执行移动终端300的至少一部分或全部处理。
在这种情况下，每个服务器从移动终端300的用户获取检测用户的视线位置的结果、用户的位置信息，以及在显示屏上查看的内容的识别信息。基于获取的视线位置，服务器判断用户聚焦于由获取的内容识别信息指定的内容的场景和场景中的对象，从判断的对象和获取的位置信息产生搜索信息，以及将信息传输到用户的移动终端300。
因此，移动终端300的处理负载可以减少。
<修改实例2>
仅当判断出移动终端300处于如下状态时，可以执行上面所描述的聚焦对象判断处理。具体来说，在移动终端300中提供检测移动终端300的运动的加速度传感器24和使用移动终端300等检测与用户(例如，脸)的距离的测距传感器23。
当基于测距传感器23的输出，使用移动终端300的用户被检测为存在于附近，并且基于加速度传感器24的输出，移动终端300的运动被检测为等于或小于预定值时，处理器25执行上面所描述的聚焦对象判断处理。这里，预定值是这样的值，用该值可以判断用户持有移动终端300并且聚焦于在显示部分29上显示的内容时的小运动状态，或用该值可以判断移动终端300被放置在稳定的地方的状态。用户可以视情况切换在那些情况下的阈值。
通过根据如上所述的用户的查看状态自动打开/关闭聚焦对象判断处理的执行，聚焦对象判断的准确性可以提高。具体来说，这是因为，当用户在手中持有移动终端300时，在用户聚焦于正在显示的内容时移动终端300的运动自然变小，并且也因为在被放置在稳定的地方的移动终端300附近有用户的状态是用户聚焦于正在显示的内容的一种情况。
应注意，尽管使用加速度传感器24来检测移动终端300的运动，但是也可以使用其他类型的传感器，只要可以检测到移动终端300的运动。此外，尽管使用测距传感器23来检测有使用移动终端300的用户，但是也可以使用其他类型的传感器，只要可以检测到使用移动终端300的用户的存在。
应注意，本技术也可以采取以下结构。
(1)一种信息处理装置，包括：
视线位置检测部分，其检测用户相对于显示屏的视线位置；
位置信息获取部分，其获取所述用户的位置信息；以及
控制部分，其基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的内容的场景和所述场景中的对象，并且根据所述判断的对象和所述获取的位置信息产生搜索信息。
(2)根据上述(1)所述的信息处理装置，
其中所述控制部分在场景单元中使用所述搜索信息在存储要被搜索的内容的存储设备中搜索推荐内容。
(3)根据上述(1)或(2)所述的信息处理装置，
其中所述存储设备是能够经由网络与记录器的存储设备执行同步处理的设备。
(4)根据上述(1)至(3)中任一项所述的信息处理装置，
其中所述控制部分控制经由网络与之连接的记录器以使用所述搜索信息设置计时器记录。
(5)根据上述(1)至(4)中任一项所述的信息处理装置，其中所述控制部分：
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景；
基于特征量将所述判断的场景的图像分割成一个或多个区域；
基于所述检测的视线位置判断具有最高视线频率的区域；以及
基于该区域的所述特征量判断所述对象。
(6)根据上述(1)至(5)中任一项所述的信息处理装置，
其中所述控制部分在考虑基于所述用户的查看地点和查看时间的类型之间的优先级的同时判断所述对象。
(7)根据上述(1)至(6)中任一项所述的信息处理装置，其中所述控制部分：
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景；以及
基于统计信息判断所述判断的场景中的所述对象，所述统计信息指示在多个其他用户的移动终端中哪个对象收集所述场景中的大多数视线。
(8)根据上述(1)至(7)中任一项所述的信息处理装置，其中所述控制部分：
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景；以及
基于区域的特征谱判断所述判断的场景中的所述对象，所述区域通过多个其他用户收集所述场景中的大多数视线。
(9)根据上述(1)至(8)中任一项所述的信息处理装置，
其中所述控制部分在考虑与所述判断的场景相关的被分配给所述场景的元数据的同时判断所述对象。
(10)根据上述(1)至(9)中任一项所述的信息处理装置，进一步包括：
第一传感器，其检测是否有使用所述信息处理装置的用户；以及
第二传感器，其检测所述信息处理装置的运动，
其中当基于所述第一传感器的输出检测到有使用所述信息处理装置的用户，并且基于所述第二传感器的输出检测到所述信息处理装置的所述运动取等于或小于预定值的值时，所述控制部分判断所述对象。
符号/参考数字的描述
9 第一存储区
14 系统控制器
21 GPS接收部分
22 相机
23 测距传感器
25 处理器
26 通信部分
27 存储装置
29 显示部分
42 控制部分
43 第二存储区
100 系统
200 记录器
300 移动终端
400 便携式存储器
500 网络

Claims (12)

1.一种信息处理装置，包含：
视线位置检测部分，其检测用户相对于显示屏的视线位置；
位置信息获取部分，其获取所述用户的位置信息；以及
控制部分，其基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的内容的场景和所述场景中的对象，并且根据所述判断的对象和所述获取的位置信息产生搜索信息，
第一传感器，其检测是否有使用所述信息处理装置的用户；以及
第二传感器，其检测所述信息处理装置的运动，
其中当基于所述第一传感器的输出检测到有使用所述信息处理装置的用户，并且基于所述第二传感器的输出检测到所述信息处理装置的所述运动取等于或小于预定值的值时，所述控制部分判断所述对象，其中所述预定值能够被用户视情况而切换。
2.根据权利要求1所述的信息处理装置，
其中所述控制部分在场景单元中使用所述搜索信息在存储要被搜索的内容的存储设备中搜索推荐内容。
3.根据权利要求2所述的信息处理装置，
其中所述存储设备是能够经由网络与记录器的存储设备执行同步处理的设备。
4.根据权利要求1所述的信息处理装置，
其中所述控制部分控制经由网络与之连接的记录器以使用所述搜索信息设置计时器记录。
5.根据权利要求1所述的信息处理装置，其中所述控制部分：
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景；
基于特征量将所述判断的场景的图像分割成一个或多个区域；
基于所述检测的视线位置判断具有最高视线频率的区域；以及
基于该区域的所述特征量判断所述对象。
6.根据权利要求5所述的信息处理装置，
其中所述控制部分在考虑基于所述用户的查看地点和查看时间的类型之间的优先级的同时判断所述对象。
7.根据权利要求1所述的信息处理装置，其中所述控制部分：
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景；以及
基于统计信息判断所述判断的场景中的所述对象，所述统计信息指示在多个其他用户的移动终端中哪个对象收集所述场景中的大多数视线。
8.根据权利要求1所述的信息处理装置，其中所述控制部分：
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景；以及
基于区域的特征谱判断所述判断的场景中的所述对象，所述区域通过多个其他用户收集所述场景中的大多数视线。
9.根据权利要求5所述的信息处理装置，
其中所述控制部分在考虑与所述判断的场景相关的被分配给所述场景的元数据的同时判断所述对象。
10.一种信息处理装置，包含：
控制部分，其：
从用户的信息处理装置获取检测所述用户相对于所述用户的所述信息处理装置的显示屏的视线位置的结果、所述用户的所述信息处理装置的位置信息，以及在所述显示屏上查看的内容的识别信息；以及
基于所述获取的视线位置判断所述用户聚焦于基于所述获取的内容的识别信息所指定的内容的场景和所述场景中的对象，根据所述判断的对象和所述获取的位置信息产生搜索信息，以及将所述产生的搜索信息传输到所述用户的所述信息处理装置，
第一传感器，其检测是否有使用所述信息处理装置的用户；以及
第二传感器，其检测所述信息处理装置的运动，
其中当基于所述第一传感器的输出检测到有使用所述信息处理装置的用户，并且基于所述第二传感器的输出检测到所述信息处理装置的所述运动取等于或小于预定值的值时，所述控制部分判断所述对象，其中所述预定值能够被用户视情况而切换。
11.一种信息处理方法，包含：
通过视线位置检测部分检测用户相对于显示屏的视线位置；
通过位置信息获取部分获取所述用户的位置信息；以及
通过控制部分，基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的内容的场景和所述场景中的对象，并且根据所述判断的对象和所述获取的位置信息产生搜索信息，
其中当基于第一传感器的输出检测到有使用所述信息处理装置的用户，并且基于第二传感器的输出检测到所述信息处理装置的运动取等于或小于预定值的值时，所述控制部分判断所述对象，其中所述预定值能够被用户视情况而切换。
12.一种信息处理方法，包含：
通过控制部分，从用户的信息处理装置获取检测所述用户相对于所述用户的所述信息处理装置的显示屏的视线位置的结果、所述用户的所述信息处理装置的位置信息，以及在所述显示屏上查看的内容的识别信息；以及
通过所述控制部分，基于所述获取的视线位置判断所述用户聚焦于基于所述获取的内容的识别信息所指定的内容的场景和所述场景中的对象，根据所述判断的对象和所述获取的位置信息产生搜索信息，以及将所述产生的搜索信息传输到所述用户的所述信息处理装置，
其中当基于第一传感器的输出检测到有使用所述信息处理装置的用户，并且基于第二传感器的输出检测到所述信息处理装置的运动取等于或小于预定值的值时，所述控制部分判断所述对象，其中所述预定值能够被用户视情况而切换。
CN201480046374.5A 2013-08-29 2014-08-21 信息处理装置和信息处理方法 Active CN105518666B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-177745 2013-08-29
JP2013177745A JP2015046089A (ja) 2013-08-29 2013-08-29 情報処理装置および情報処理方法
PCT/JP2014/004298 WO2015029393A1 (ja) 2013-08-29 2014-08-21 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
CN105518666A CN105518666A (zh) 2016-04-20
CN105518666B true CN105518666B (zh) 2020-01-17

Family

ID=52585983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480046374.5A Active CN105518666B (zh) 2013-08-29 2014-08-21 信息处理装置和信息处理方法

Country Status (6)

Country Link
US (1) US10019058B2 (zh)
EP (1) EP3040878B1 (zh)
JP (1) JP2015046089A (zh)
KR (1) KR20160049530A (zh)
CN (1) CN105518666B (zh)
WO (1) WO2015029393A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503687B2 (en) * 2015-03-24 2016-11-22 Fuji Xerox Co., Ltd. Personalized meeting event capture using egocentric tracking in smart spaces
US10168771B2 (en) * 2015-07-30 2019-01-01 International Business Machines Corporation User eye-gaze based derivation of activity stream processing augmentations
CN107544660B (zh) * 2016-06-24 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN106354777B (zh) * 2016-08-22 2019-09-17 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
EP3509309A4 (en) 2016-08-30 2019-07-10 Sony Corporation SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
JP7283384B2 (ja) 2017-11-15 2023-05-30 ソニーグループ株式会社 情報処理端末、情報処理装置、および情報処理方法
US10943115B2 (en) * 2018-07-24 2021-03-09 Apical Ltd. Processing image data to perform object detection
CN109110646B (zh) * 2018-08-06 2020-10-09 机汇网(深圳)科技有限公司 一种对塔吊安全检查管理的实现方法、系统及存储介质
EP3889737A4 (en) * 2018-11-27 2022-01-19 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2021114731A (ja) * 2020-01-21 2021-08-05 キヤノン株式会社 撮像制御装置及びその制御方法
WO2023228342A1 (ja) * 2022-05-26 2023-11-30 株式会社ジオクリエイツ 情報処理システム、情報処理装置、情報処理方法及びプログラム
CN115407867B (zh) * 2022-07-20 2023-10-24 夏前明 一种基于多传感器的智能交互系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114846A (ja) * 1995-10-16 1997-05-02 Fujitsu Ltd ブラウジング表示方法および画像表示システム
JPH10133810A (ja) * 1996-06-25 1998-05-22 Sun Microsyst Inc 視標追跡駆動情報検索方法および装置
US5844530A (en) * 1994-12-09 1998-12-01 Kabushiki Kaisha Sega Enterprises Head mounted display, and head mounted video display system
US6037914A (en) * 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
JP2001216527A (ja) * 2000-02-04 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体
US6304234B1 (en) * 1997-02-26 2001-10-16 Olympus Optical Co., Ltd. Information processing apparatus
JP2007172378A (ja) * 2005-12-22 2007-07-05 Toyota Motor Corp 注視対象物体特定装置
CN101495945A (zh) * 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 用于被凝视物品的信息显示的凝视交互
CN101754715A (zh) * 2008-05-20 2010-06-23 松下电器产业株式会社 视线检测装置、摄像装置、视线检测方法、程序以及集成电路
CN101770506A (zh) * 2008-12-26 2010-07-07 索尼株式会社 信息处理装置、信息处理方法和程序
CN101916264A (zh) * 2010-07-30 2010-12-15 浙江大学 基于用户面部表情与目光分布检测的个性化网页推荐方法
CN102692998A (zh) * 2010-12-21 2012-09-26 索尼公司 信息处理装置、信息处理方法以及程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JPH11265248A (ja) * 1998-03-18 1999-09-28 Sony Corp 眼鏡型画像表示装置
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
JP5323413B2 (ja) 2008-07-25 2013-10-23 シャープ株式会社 付加データ生成システム
AU2009298438B2 (en) 2008-10-03 2013-10-24 3M Innovative Properties Company Systems and methods for multi-perspective scene analysis
JP2011239158A (ja) 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム
JP2012186621A (ja) 2011-03-04 2012-09-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5789735B2 (ja) 2011-05-18 2015-10-07 パナソニックＩｐマネジメント株式会社 コンテンツ評価装置、方法、及びそのプログラム
US8996510B2 (en) * 2011-08-23 2015-03-31 Buckyball Mobile, Inc. Identifying digital content using bioresponse data
JP5863423B2 (ja) 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
JP5908002B2 (ja) 2013-03-20 2016-04-26 卉菱 曽 ベニクスノキタケに含まれる化合物及びその用途

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844530A (en) * 1994-12-09 1998-12-01 Kabushiki Kaisha Sega Enterprises Head mounted display, and head mounted video display system
JPH09114846A (ja) * 1995-10-16 1997-05-02 Fujitsu Ltd ブラウジング表示方法および画像表示システム
JPH10133810A (ja) * 1996-06-25 1998-05-22 Sun Microsyst Inc 視標追跡駆動情報検索方法および装置
US6304234B1 (en) * 1997-02-26 2001-10-16 Olympus Optical Co., Ltd. Information processing apparatus
US6037914A (en) * 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
JP2001216527A (ja) * 2000-02-04 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体
JP2007172378A (ja) * 2005-12-22 2007-07-05 Toyota Motor Corp 注視対象物体特定装置
CN101495945A (zh) * 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 用于被凝视物品的信息显示的凝视交互
CN101754715A (zh) * 2008-05-20 2010-06-23 松下电器产业株式会社 视线检测装置、摄像装置、视线检测方法、程序以及集成电路
CN101770506A (zh) * 2008-12-26 2010-07-07 索尼株式会社 信息处理装置、信息处理方法和程序
CN101916264A (zh) * 2010-07-30 2010-12-15 浙江大学 基于用户面部表情与目光分布检测的个性化网页推荐方法
CN102692998A (zh) * 2010-12-21 2012-09-26 索尼公司 信息处理装置、信息处理方法以及程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ubiquitous contextual information access with proactive retrieval and augmentation;Ajanki A 等;《Aiaa Aerospace Sciences Meeting and Exhibit》;20090228;3-24 *
视线追踪系统中特征参数提取方法研究;张闯 等;《中国图象图形学报》;20090930;第15卷(第9期);1299-1308 *

Also Published As

Publication number Publication date
EP3040878A1 (en) 2016-07-06
EP3040878A4 (en) 2017-01-25
KR20160049530A (ko) 2016-05-09
CN105518666A (zh) 2016-04-20
WO2015029393A1 (ja) 2015-03-05
US10019058B2 (en) 2018-07-10
JP2015046089A (ja) 2015-03-12
US20160209919A1 (en) 2016-07-21
EP3040878B1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
CN105518666B (zh) 信息处理装置和信息处理方法
US10924792B2 (en) System and method for surveying broadcasting ratings
US11630861B2 (en) Method and apparatus for video searching, terminal and storage medium
US8510156B2 (en) Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method
US20140026156A1 (en) Determining User Interest Through Detected Physical Indicia
US10043079B2 (en) Method and apparatus for providing multi-video summary
US20120042041A1 (en) Information processing apparatus, information processing system, information processing method, and program
US9191607B2 (en) Information display device, information display method, and information display system
CN100508594C (zh) 商用消息搜索方法和设备及伴随信息提供方法和设备
KR20200024541A (ko) 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치
CN113784156A (zh) 一种直播方法、装置、电子设备和存储介质
KR20120036494A (ko) 실시간 방송 정보 제공 방법 및 시스템
EP1696379A1 (en) CM searching method and apparatus, and CM-appendant information supplying method and apparatus
CN110764676B (zh) 一种信息资源显示方法、装置、电子设备以及存储介质
KR20200023094A (ko) 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치
AU2012353108A2 (en) Advertisement providing apparatus and method for providing advertisements
CN112954028A (zh) 一种客流信息展示方法、装置、系统及可读存储介质
CN116821462A (zh) 一种信息搜索方法及相关装置
CN114359706A (zh) 信息传播方法与设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant