CN105518666A - 信息处理装置和信息处理方法 - Google Patents
信息处理装置和信息处理方法 Download PDFInfo
- Publication number
- CN105518666A CN105518666A CN201480046374.5A CN201480046374A CN105518666A CN 105518666 A CN105518666 A CN 105518666A CN 201480046374 A CN201480046374 A CN 201480046374A CN 105518666 A CN105518666 A CN 105518666A
- Authority
- CN
- China
- Prior art keywords
- scene
- user
- signal conditioning
- conditioning package
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 58
- 230000003750 conditioning effect Effects 0.000 claims description 53
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 52
- 230000015654 memory Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 21
- 238000009825 accumulation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000005055 memory storage Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种信息处理装置包括:视线位置检测部分,其检测用户相对于显示屏的视线位置;位置信息获取部分,其获取用户的位置信息;以及控制部分,其基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景和场景中的对象,并且根据判断的对象和获取的位置信息产生搜索信息。
Description
技术领域
本技术涉及一种由用户携带并用于查看内容的信息处理装置,以及一种信息处理方法。
背景技术
目前,有一种涉及信息处理装置的技术,其使用信息处理装置检测用户的视线方向并且最佳地执行操作。
例如,在专利文献1中所公开的技术被应用到图像显示系统,其从用于存储转换成图像数据的多个图像的存储器读出一定数量的图像,并且将图像输出到屏幕。在图像显示系统中,检测用户的视线方向以判断用户的聚焦部分,并且选择和显示包括与聚焦部分的特征类似的特征的图像。
此外,在专利文献2中所公开的技术被应用到信息呈现系统,其包括判断显示设备上的视线位置并且将信息呈现给用户的视线跟踪设备。在信息呈现系统中,通过监视相对于多条显示信息的视线位置,基于与用户的兴趣水平的相关性来选择和呈现新的信息。
此外,专利文献3公开检测用户存在于多媒体信息空间中的状态的技术,其中用户能够根据检测结果观看视频或收听音乐并输出下一个媒体信息。
专利文献1:日本专利申请特开号Hei09-114846
专利文献2:日本专利申请特开号Hei10-133810
专利文献3:日本专利申请特开号2001-216527
发明内容
本发明要解决的问题
本技术的目的在于提供在功能方面更具有优势的信息处理装置,作为将与内容相关的信息提供给查看内容的用户的信息处理装置。
解决问题的手段
根据本技术的第一实施方案,提供一种信息处理装置,包括:视线位置检测部分,其检测用户相对于显示屏的视线位置;位置信息获取部分,其获取用户的位置信息;以及控制部分,其基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景和场景中的对象,并且根据判断的对象和获取的位置信息产生搜索信息。
控制部分可以在场景单元中使用搜索信息在存储要被搜索的内容的存储设备中搜索推荐内容。
存储设备可以是能够经由网络与记录器的存储设备执行同步处理的设备。
控制部分可以控制经由网络与之连接的记录器以使用搜索信息设置计时器记录。
控制部分可以:基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景;基于特征量将判断的场景的图像分割成一个或多个区域;基于检测的视线位置判断具有最高视线频率的区域;以及基于该区域的特征量判断对象。
控制部分可以在考虑基于用户的查看地点和查看时间的类型之间的优先级的同时判断对象。
控制部分可以:基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景;以及基于统计信息相对于判断的场景判断对象,所述统计信息指示在多个其他用户的移动终端中哪个对象收集场景中的大多数视线。
控制部分可以:基于检测的视线位置判断用户聚焦于显示屏上显示的内容的场景;以及基于区域的特征谱相对于判断的场景判断对象,所述区域通过多个其他用户收集场景中的大多数视线。
控制部分可以在考虑与判断的场景相关的被分配给场景的元数据的同时判断对象。
根据本技术的另一实施方案,提供一种信息处理装置,其包括控制部分,所述控制部分:从用户的信息处理装置获取检测用户相对于用户的信息处理装置的显示屏的视线位置的结果、用户的信息处理装置的位置信息,以及在显示屏上查看的内容的识别信息;以及基于获取的视线位置判断用户聚焦于基于内容的获取的识别信息所指定的内容的场景和场景中的对象,根据判断的对象和获取的位置信息产生搜索信息,以及将产生的搜索信息传输到用户的信息处理装置。
本发明的效果
如上所述,根据本技术,在功能方面更具有优势的信息处理装置可以被提供为将与内容相关的信息提供给查看内容的用户的信息处理装置。
附图说明
图1是示出根据本技术的第一实施方案的系统100的整体结构的概要的图解。
图2是示出系统100的结构的概要的图解。
图3是示出记录器200的整体结构的方框图。
图4是示出移动终端300的整体结构的方框图。
图5是示出便携式存储器400的结构的方框图。
图6是示出与本技术相关的移动终端300的操作的流程图。
图7是用于说明聚焦对象判断处理1的图解。
图8是示出基于用户的查看地点和查看时间的类型之间的优先级的实例的图解。
图9是用于说明聚焦对象判断处理2的图解。
图10是用于说明聚焦对象判断处理3的图解。
图11是用于说明聚焦对象判断处理4的图解。
图12是用于说明在考虑聚焦对象判断处理5的后元数据的同时判断聚焦对象的操作的图解。
图13是示出聚焦对象判断处理3的操作的流程图。
图14是示出与关于移动终端300和记录器200的技术相关的操作的修改实例的流程图。
图15是示出与关于移动终端300和记录器200的技术相关的操作的修改实例的流程图。
具体实施方式
实施本发明的模式
在下文中,将参照附图描述本技术的实施方案。
<第一实施方案>
(系统的整体结构的概要)
将描述使用本技术的整体系统的结构的概要。
图1和图2各自是示出使用本技术的系统100的整体结构的概要的图解。系统100包括多个记录器200、多个移动终端300和多个便携式存储器400。在图中,假定存在三个用户,即,用户U1、U2和U3。每个用户具有记录器200、移动终端300和便携式存储器400,并且使那些装置经由网络500相互连接。
图1和图2之间的差异在于用户U3将便携式存储器400连接到的地方。图1示出三个用户查看便携式存储器400中的内容的状态。相比之下,图2示出用户U3将他/她的便携式存储器400连接到他/她的记录器200,并且将内容从记录器200复制到便携式存储器400的状态。
记录器200接收并记录电视广播无线电波和有线电视广播信号,或从网络500获取并存储视频内容等。具体来说,记录器200是蓝光(注册商标)记录器等。
便携式存储器400连接到要被使用的记录器200或移动终端300。连接可以是有线连接,或可以使用基于无线标准(诸如Wi-Fi(无线保真))的无线通信。
当用户U3的便携式存储器400连接到如图2中所示的记录器200时,记录器200中的内容被复制到便携式存储器400,并且执行内容的同步。
移动终端300是智能手机、平板电脑、移动PC等。当移动终端300连接到如图1中所示的便携式存储器400时,用户可以使用移动终端300中的应用软件(应用程序)来再现并查看便携式存储器400中的内容。
移动终端300的应用程序搜索内容数据,其预测用户将对在便携式存储器400中累积的内容数据感兴趣,并且向用户推荐查看。
(记录器200的概要)
接着,将描述记录器200的整体结构。图3是示出记录器200的整体结构的方框图。
记录器200包括网络I/F(接口)1、天线2、调谐器3、记录处理部分4、信息处理部分5、I/F部分6、存储器7、磁盘驱动器8、第一存储区(数据库)9、再现处理部分10、显示处理部分11和特征提取部分13。记录器200也包括系统控制器14、数据总线15和控制总线16。
网络I/F1经由网络500与移动终端300、便携式存储器400等交换信息。调谐器3经由天线2接收广播无线电波。记录处理部分4执行将由调谐器3和网络I/F1获取的内容数据记录在第一存储区9中的处理。
信息处理部分5基于从移动终端300接收并且在第一存储区9中累积的信息,搜索网络500(诸如互联网)上的网络内容。
I/F部分6从操作部分17(其为远程控制器)接收信号。存储器7为记录器200的工作区。磁盘驱动器8读出被记录到盘型记录介质8a上的内容,或将存储在第一存储区9中的内容写入到盘型记录介质8a上。
第一存储区9记录由记录器200获取的内容数据和与计时器记录相关的从移动终端300获取的信息。再现处理部分10执行再现被记录在第一存储区9中的内容数据的处理。显示处理部分11将图像输出到连接到记录器200的显示器12,诸如电视接收机和监视器。
特征提取部分13从内容的图像、音频和文本信息提取特征。提取的特征用于计时器记录等。系统控制器14控制记录器200的各自的部分。数据总线15为用于记录器200的各自的部分来交换数据(诸如内容)的总线。控制总线16为用于记录器200和系统控制器的各自的部分来交换数据进行控制的总线。
(移动终端300的概要)
接着,将描述移动终端300(在权利要求范围中根据权利要求1所述的信息处理装置)的整体结构。图4是示出移动终端300的整体结构的方框图。
移动终端300包括天线30、GPS(全球定位系统)接收部分21、相机22、测距传感器23、加速度传感器24、处理器25(诸如CPU(中央处理单元))、通信部分26、存储装置27、操作部分28和显示部分29。
GPS接收部分21经由天线30从GPS卫星接收信号并且检测移动终端300的当前位置。相机22拍摄风景等,但在本文中用于检测使用移动终端300查看内容的用户的视线方向。测距传感器23检测相对于使用移动终端300的用户(例如,脸)的距离。
加速度传感器24检测移动终端300的运动来检测移动终端300被保持的状态。例如,当用户使用移动终端300查看内容时,认为移动终端300被置于大体上静止。
处理器25执行移动终端300的整体控制,或执行存储在存储装置27中的应用软件(应用程序)。
通信部分26经由网络500执行通信,或基于蜂窝电话通信标准(诸如3G(第三代)和LTE(长期演进))或无线通信标准(诸如Wi-Fi)与便携式存储器400通信。操作部分28接受用户的输入来操作移动终端300。
显示部分29显示移动终端300的操作屏幕、用于再现便携式存储器400中的内容的再现屏幕等。
(便携式存储器的概要)
接着,将描述便携式存储器400的结构。图5是示出便携式存储器400的结构的方框图。
便携式存储器400包括天线40、无线部分41、控制部分42、第二存储区43和操作部分44。
无线部分41经由天线40执行与记录器200和移动终端300的通信。控制部分42执行便携式存储器400的整体控制、内容数据与记录器200的第一存储区9的同步,以及内容数据到移动终端300的传输。控制部分42也可以执行内容数据的加密处理和解密处理。
第二存储区43通过与记录器200同步存储从第一存储区9复制的内容数据。应注意,第二存储区43存储记录的内容和用于唯一地识别内容的唯一识别符。
操作部分44接受用户指令,便携式存储器400将连接到在其上的记录器200和移动终端300。根据接受的指令,控制部分42经由无线部分41与记录器200或移动终端300交换数据。
本实施方案涉及搜索与移动终端300的用户查看的内容相关的信息,以及将信息提供给包括如上所述的结构的系统100中的用户的技术。
(本实施方案的移动终端300的操作)
图6是示出与本技术相关的移动终端300的操作的流程图。
首先,移动终端300的用户操作操作部分28来指示任意内容(例如,从网络500下载的内容或从便携式存储器400获取并存储在存储装置27中的内容)的再现(步骤S101)。因此,处理器25根据指令再现内容并且将其显示在显示部分29的屏幕上(步骤S102)。
在内容再现期间,处理器25检测用户的内容查看状态(步骤S103)。
当处理器25检测用户在检测查看状态时聚焦于特定场景的对象(再现时间)的状态(步骤S104中的Y)时,处理器25判断场景和场景中的聚焦对象(步骤S105)。稍后将详细描述对象判断。
随后,处理器25使用GPS接收部分21获取用户(移动终端300)的位置信息(步骤S106)。
当成功地获取用户的位置信息时,处理器25从位置信息和关于在步骤S105中判断的对象的信息产生内容搜索信息。这里,内容搜索信息为例如用于搜索存储在便携式存储器400中的内容的信息。处理器25使用产生的内容搜索信息来执行对存储在便携式存储器400中的内容组的搜索(步骤S108)。搜索将与存储在便携式存储器400中的内容相关的元数据作为目标。
内容元数据包括作为每个场景的元数据的开始/结束时间和场景内容(例如,数据(诸如商店、产品和CM))。使用搜索查询相对于每个场景的元数据执行搜索。
当成功地搜索相关内容的场景(步骤S108中的Y)时,处理器25使用内容场景的元数据来将与相关内容场景有关的信息列表呈现在显示部分29的屏幕上作为推荐内容的场景的列表(步骤S109)。当失败地搜索相关内容(步骤S108中的N)时,处理器25不做任何事。
当用户在推荐内容的场景的列表上选择任意场景时,处理器25从便携式存储器400读出相关场景的数据并且再现数据。
此外,当在步骤S104中未检测到用户的聚焦状态(步骤S104中的N)时,处理器25不做任何事。
当内容再现结束时,处理结束(步骤S110中的Y)。
(判断用户聚焦的场景和对象的方法)
接着,将在步骤S104和S105中描述判断用户聚焦的场景和对象的方法。
例如,相机22捕获用户的视线状态来测量用户的眼睛的轮廓中的瞳孔的位置、静止时间(连续静止时间、平均静止时间等)等,并且测距传感器23检测移动终端300与用户的脸之间的距离。因此,可能检测用户从瞳孔的位置看的位置(视线位置)以及移动终端300与用户的脸之间的距离,并且判断用户看的状态是否对应于从静止时间聚焦。基于那些信息,获得每个场景的视线位置的时间序列数据,其指示什么位置以及用户已观看图像多久。
通过学习提前获得用户的场景聚焦特性,有利于抑制由于在聚焦于场景时用户之间的个体差异而导致的精度的降低。基于学习数据,可以准确地辨别用户聚焦的状态。
首先,处理器25检测由用户聚焦的场景(在下文中被称为“聚焦场景”)。这里,例如,聚焦场景为相对于其中存在用户的小的视线运动的场景。处理器25从视线位置的时间序列数据检测视线运动等于或小于预定阈值的场景作为聚焦场景。
接着,处理器25从聚焦场景的图像判断用户从图像中的一个或多个对象中聚焦的一个或多个对象。这种处理在本文中被称为“聚焦对象判断处理”。
接着,将描述聚焦对象判断处理。
(聚焦对象判断处理1)
图7是用于说明聚焦对象判断处理1的图解。
1.首先,关于检测的聚焦场景的图像,通过分析图像特征(诸如亮度、颜色和纹理),执行将图像分割成具有统一特征的一个或多个区域的处理(图像分割处理)。
2.接着,处理器25基于视线位置的时间序列数据,相对于通过图像分割处理分割的一个或多个区域判断具有最高视线频率的区域。
3.然后,处理器25基于具有最高视线频率的区域的图像的特征量,判断指示该区域的图像是什么样的对象的信息。
(聚焦对象判断处理2)
基于用户的查看地点和查看时间的类型之间的优先级可以用于对象判断。
图8是示出基于用户的查看地点和查看时间的类型之间的优先级的实例的图解。例如,当查看地点是“银座”并且查看时间是“16:00”时,类型之间的优先级从顶部是“糖果”、“时尚”和“娱乐”。
图9是用于说明聚焦对象判断处理2的图解。
当基于视线位置的时间序列数据判断具有最高视线频率的多个区域时,处理器25基于类型之间的优先度确定那些区域的图像中的哪些对象将是最终判断结果。
例如,假定在图9中通过聚焦对象判断处理1获得两个对象“蛋糕”和“图片”,当查看地点是“银座”并且查看时间是“16:00”时,基于图8中所示的基于用户的查看地点和查看时间的类型之间的优先度,作为“蛋糕”属于的类型的“糖果”的优先度是最高的。因此,“蛋糕”被获得作为对对象的最终判断结果。
应注意,可以根据性别、年龄、职业、地址和用户的其他类型来准备基于用户的查看地点和查看时间的类型之间的优先度。此外,可以相继更新关于类型之间的优先度的信息。
(聚焦对象判断处理3)
图10是用于说明聚焦对象判断处理3的图解。
1.处理器25获取和累积统计信息,其指示什么对象已相对于多个其他用户的移动终端300中的聚焦场景收集大多数视线。
2.处理器25相对于由装置本身的用户聚焦的聚焦场景的图像判断关于从累积的统计信息收集大多数视线的对象的信息。
应注意,在这种方法的情况下,需要通过聚焦对象判断处理1等获得关于在多个其他用户的移动终端300中获得的对象的信息。
当通过聚焦对象判断处理3判断多个对象的属性时,如在聚焦对象判断处理2中,基于以查看地点和查看时间为基础的类型之间的优先度,属性可以最终被缩小到一个对象的属性。
(聚焦对象判断处理4)
图11是用于说明聚焦对象判断处理4的图解。
1.处理器25获取和累积相对于聚焦场景从多个其他用户收集大多数视线的区域的特征向量。
2.关于检测的聚焦场景的图像,处理器25通过分析图像特征(诸如亮度、颜色和纹理)执行将图像分割成具有统一特征的一个或多个区域的处理(图像分割处理)。
3.处理器25判断在分割区域中具有最接近累积的特征量的特征量的区域,并且判断指示该区域的图像的什么对象是基于特征量的属性。
(聚焦对象判断处理5)
接着,将描述引用赋予聚焦对象判断中的程序的后元数据(post-metadata)的方法。
例如,后元数据为通过人工确认每个场景的程序的场景的内容而产生的元数据。后元数据包括例如关于程序名称、广播时间等的信息,如与程序和场景时间、场景内容等相关的元数据,如与场景相关的元数据。
这样的后元数据被存储在网络上的后元数据服务器上。后元数据服务器管理每个程序的后元数据,并且提供经由网络递送后元数据的服务。
接着,将描述在考虑后元数据的同时判断聚焦对象的操作。
图12是用于说明在考虑聚焦对象判断处理5的后元数据的同时判断聚焦对象的操作的图解。
图13是示出聚焦对象判断处理3的操作的流程图。
1.首先,关于检测的聚焦场景的图像,通过分析图像特征(诸如亮度、颜色和纹理),执行将图像分割成具有统一特征的一个或多个区域的处理(图像分割处理)(步骤S301)。
2.接着,处理器25基于视线位置的时间序列数据,判断从通过图像分割处理分割的一个或多个区域中具有最高视线频率的区域(步骤S302)。
3.接着,处理器25检测具有高视线频率和其附近图像的特征量的n个高阶区域(步骤S303)。这里,检测其附近图像的特征量是用于在基于图像特征量判断“蛋糕”的情况下,例如,假定蛋糕很有可能放在盘子里,也通过检测“盘子”的图像特征量来综合判断对象是否是“蛋糕”。当判断如上所述的某个对象时,也通过判断与该对象相关的对象,可以提高判断的准确率。应注意,这种处理也可以用于其他聚焦对象判断处理。
4.接着,处理器25访问后元数据服务器来获取聚焦场景的后元数据、引用在对应于获取的后元数据的场景时间的场景内容,以及基于通过形态分析等的字对其分类(步骤S304)。
5.随后,处理器25判断指示每个图像的什么对象是基于n个高阶区域的图像特征量的信息、比较从后元数据获得的字与n个高阶区域中的对象的信息,以及确定匹配字的对象的信息作为最终对象判断结果(步骤S305)。
应注意,当基于特征量在对象判断中获得正确答案识别率的值时,提取具有等于或小于n个高阶区域的对象判断结果中的阈值的正确答案识别率的差的多个对象,并且从提取的对象中匹配从后元数据获得的字的对象被确定为最终判断结果。
因此,可以比基于特征量的对象判断的精度限制获得精度更高的对象判断结果。
应注意,在考虑后元数据的同时判断聚焦对象的操作可以涉及通过处理器25判断是否可以获取后元数据,并且进行切换使得在可以获取后元数据时执行操作,并且在不能获取后元数据时执行聚焦对象判断处理1。
此外,已击中处理的聚焦场景的后元数据可以被添加到在便携式存储器400和记录器200中累积的元数据。因此,存储在便携式存储器400中的内容的搜索精度可以提高。
如上所述,根据本实施方案,基于移动终端300的用户聚焦的场景的对象和用户的位置信息,可以获取用于搜索与之相关的内容的信息。通过使用此信息,例如,可以在场景单元中根据存储在便携式存储器400中的内容组搜索相关内容。因此,相对于存储在便携式存储器400中的内容的搜索能力提高。
<修改实例1>
图14和图15各自为示出与关于移动终端300和记录器200的技术相关的操作的修改实例的流程图。
修改实例1使用在第一实施方案中的移动终端300中产生的内容搜索信息,以用于由记录器200进行计时器记录。应注意,从步骤S201到步骤S209的操作与第一实施方案的从步骤S101到步骤S109的那些操作相同。因此,其描述将被省略。
在步骤S210中,处理器25判断是否设置记录模式(步骤S210)。这里,记录模式为由移动终端300的用户任意设置的模式。当设置记录模式(步骤S210中的Y)时,处理器25经由网络将在步骤S207中产生的内容搜索信息转移到记录器200(步骤S212)。
在接收内容搜索信息后,记录器200的系统控制器14判断基于此信息指定的程序的计时器记录是否完成。当计时器记录完成(步骤S213中的Y)时,记录器200的系统控制器14作为响应向移动终端300通知该事实。应注意,基于内容搜索信息指定的程序的计时器记录完成的情况为内容搜索信息包括用于指定程序的数据(诸如程序名称、广播开始/结束时间和广播电台信息等)的情况。
在接收响应后,移动终端300的处理器25转移到对内容的结束再现的判断(步骤S211),并且当没有结束再现(步骤S211中的N)时,返回到步骤S202的内容再现状态。
另一方面,当无法基于内容搜索信息指定程序(步骤S215中的N)时,记录器200的系统控制器14累积所接收的内容搜索信息(步骤S214),并等待,直到累积足够量的信息。然后,处理转移到步骤S208。
当累积足够量的内容搜索信息(步骤S215中的Y)时,记录器200的系统控制器14使用累积信息来搜索相关内容(步骤S216)。例如,相对于提供电子节目指南或网络内容发布服务的服务器执行此搜索。
当发现相关内容(步骤S217中的Y)时,记录器200的系统控制器14设置该内容的计时器记录(步骤S218)。当没有发现相关内容(步骤S217中的N)时,记录器200的系统控制器14执行预定警告处理(步骤S219)。然后,处理转移到步骤S211。
这里,警告处理的实例包括在移动终端300中显示内容搜索失败的处理,以及显示列表的处理,所述列表包括每次从记录器200中的移动终端300转移元数据时的内容搜索结果和记录状态。
如上所述,根据本实施方案,使用用于搜索基于移动终端300的用户聚焦的场景的对象和用户的位置信息而产生的相关内容的信息,可以在记录器200中设置相关内容的计时器记录。
在此之前所描述的实施方案和修改实例中,可以在被布置于网络500上的一个或多个服务器(对应于根据权利要求11所述的信息处理装置)中执行移动终端300的至少一部分或全部处理。
在这种情况下,每个服务器从移动终端300的用户获取检测用户的视线位置的结果、用户的位置信息,以及在显示屏上查看的内容的识别信息。基于获取的视线位置,服务器判断用户聚焦于由获取的内容识别信息指定的内容的场景和场景中的对象,从判断的对象和获取的位置信息产生搜索信息,以及将信息传输到用户的移动终端300。
因此,移动终端300的处理负载可以减少。
<修改实例2>
仅当判断出移动终端300处于如下状态时,可以执行上面所描述的聚焦对象判断处理。具体来说,在移动终端300中提供检测移动终端300的运动的加速度传感器24和使用移动终端300等检测与用户(例如,脸)的距离的测距传感器23。
当基于测距传感器23的输出,使用移动终端300的用户被检测为存在于附近,并且基于加速度传感器24的输出,移动终端300的运动被检测为等于或小于预定值时,处理器25执行上面所描述的聚焦对象判断处理。这里,预定值是这样的值,用该值可以判断用户持有移动终端300并且聚焦于在显示部分29上显示的内容时的小运动状态,或用该值可以判断移动终端300被放置在稳定的地方的状态。用户可以视情况切换在那些情况下的阈值。
通过根据如上所述的用户的查看状态自动打开/关闭聚焦对象判断处理的执行,聚焦对象判断的准确性可以提高。具体来说,这是因为,当用户在手中持有移动终端300时,在用户聚焦于正在显示的内容时移动终端300的运动自然变小,并且也因为在被放置在稳定的地方的移动终端300附近有用户的状态是用户聚焦于正在显示的内容的一种情况。
应注意,尽管使用加速度传感器24来检测移动终端300的运动,但是也可以使用其他类型的传感器,只要可以检测到移动终端300的运动。此外,尽管使用测距传感器23来检测有使用移动终端300的用户,但是也可以使用其他类型的传感器,只要可以检测到使用移动终端300的用户的存在。
应注意,本技术也可以采取以下结构。
(1)一种信息处理装置,包括:
视线位置检测部分,其检测用户相对于显示屏的视线位置;
位置信息获取部分,其获取所述用户的位置信息;以及
控制部分,其基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的内容的场景和所述场景中的对象,并且根据所述判断的对象和所述获取的位置信息产生搜索信息。
(2)根据上述(1)所述的信息处理装置,
其中所述控制部分在场景单元中使用所述搜索信息在存储要被搜索的内容的存储设备中搜索推荐内容。
(3)根据上述(1)或(2)所述的信息处理装置,
其中所述存储设备是能够经由网络与记录器的存储设备执行同步处理的设备。
(4)根据上述(1)至(3)中任一项所述的信息处理装置,
其中所述控制部分控制经由网络与之连接的记录器以使用所述搜索信息设置计时器记录。
(5)根据上述(1)至(4)中任一项所述的信息处理装置,其中所述控制部分:
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景;
基于特征量将所述判断的场景的图像分割成一个或多个区域;
基于所述检测的视线位置判断具有最高视线频率的区域;以及
基于该区域的所述特征量判断所述对象。
(6)根据上述(1)至(5)中任一项所述的信息处理装置,
其中所述控制部分在考虑基于所述用户的查看地点和查看时间的类型之间的优先级的同时判断所述对象。
(7)根据上述(1)至(6)中任一项所述的信息处理装置,其中所述控制部分:
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景;以及
基于统计信息判断所述判断的场景中的所述对象,所述统计信息指示在多个其他用户的移动终端中哪个对象收集所述场景中的大多数视线。
(8)根据上述(1)至(7)中任一项所述的信息处理装置,其中所述控制部分:
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景;以及
基于区域的特征谱判断所述判断的场景中的所述对象,所述区域通过多个其他用户收集所述场景中的大多数视线。
(9)根据上述(1)至(8)中任一项所述的信息处理装置,
其中所述控制部分在考虑与所述判断的场景相关的被分配给所述场景的元数据的同时判断所述对象。
(10)根据上述(1)至(9)中任一项所述的信息处理装置,进一步包括:
第一传感器,其检测是否有使用所述信息处理装置的用户;以及
第二传感器,其检测所述信息处理装置的运动,
其中当基于所述第一传感器的输出检测到有使用所述信息处理装置的用户,并且基于所述第二传感器的输出检测到所述信息处理装置的所述运动取等于或小于预定值的值时,所述控制部分判断所述对象。
符号/参考数字的描述
9第一存储区
14系统控制器
21GPS接收部分
22相机
23测距传感器
25处理器
26通信部分
27存储装置
29显示部分
42控制部分
43第二存储区
100系统
200记录器
300移动终端
400便携式存储器
500网络
Claims (13)
1.一种信息处理装置,包含:
视线位置检测部分,其检测用户相对于显示屏的视线位置;
位置信息获取部分,其获取所述用户的位置信息;以及
控制部分,其基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的内容的场景和所述场景中的对象,并且根据所述判断的对象和所述获取的位置信息产生搜索信息。
2.根据权利要求1所述的信息处理装置,
其中所述控制部分在场景单元中使用所述搜索信息在存储要被搜索的内容的存储设备中搜索推荐内容。
3.根据权利要求2所述的信息处理装置,
其中所述存储设备是能够经由网络与记录器的存储设备执行同步处理的设备。
4.根据权利要求1所述的信息处理装置,
其中所述控制部分控制经由网络与之连接的记录器以使用所述搜索信息设置计时器记录。
5.根据权利要求1所述的信息处理装置,其中所述控制部分:
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景;
基于特征量将所述判断的场景的图像分割成一个或多个区域;
基于所述检测的视线位置判断具有最高视线频率的区域;以及
基于该区域的所述特征量判断所述对象。
6.根据权利要求5所述的信息处理装置,
其中所述控制部分在考虑基于所述用户的查看地点和查看时间的类型之间的优先级的同时判断所述对象。
7.根据权利要求1所述的信息处理装置,其中所述控制部分:
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景;以及
基于统计信息判断所述判断的场景中的所述对象,所述统计信息指示在多个其他用户的移动终端中哪个对象收集所述场景中的大多数视线。
8.根据权利要求1所述的信息处理装置,其中所述控制部分:
基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的所述内容的场景;以及
基于区域的特征谱判断所述判断的场景中的所述对象,所述区域通过多个其他用户收集所述场景中的大多数视线。
9.根据权利要求5所述的信息处理装置,
其中所述控制部分在考虑与所述判断的场景相关的被分配给所述场景的元数据的同时判断所述对象。
10.根据权利要求1所述的信息处理装置,进一步包含:
第一传感器,其检测是否有使用所述信息处理装置的用户;以及
第二传感器,其检测所述信息处理装置的运动,
其中当基于所述第一传感器的输出检测到有使用所述信息处理装置的用户,并且基于所述第二传感器的输出检测到所述信息处理装置的所述运动取等于或小于预定值的值时,所述控制部分判断所述对象。
11.一种信息处理装置,包含:
控制部分,其:
从用户的信息处理装置获取检测所述用户相对于所述用户的所述信息处理装置的显示屏的视线位置的结果、所述用户的所述信息处理装置的位置信息,以及在所述显示屏上查看的内容的识别信息;以及
基于所述获取的视线位置判断所述用户聚焦于基于所述获取的内容的识别信息所指定的内容的场景和所述场景中的对象,根据所述判断的对象和所述获取的位置信息产生搜索信息,以及将所述产生的搜索信息传输到所述用户的所述信息处理装置。
12.一种信息处理方法,包含:
通过视线位置检测部分检测用户相对于显示屏的视线位置;
通过位置信息获取部分获取所述用户的位置信息;以及
通过控制部分,基于所述检测的视线位置判断所述用户聚焦于所述显示屏上显示的内容的场景和所述场景中的对象,并且根据所述判断的对象和所述获取的位置信息产生搜索信息。
13.一种信息处理方法,包含:
通过控制部分,从用户的信息处理装置获取检测所述用户相对于所述用户的所述信息处理装置的显示屏的视线位置的结果、所述用户的所述信息处理装置的位置信息,以及在所述显示屏上查看的内容的识别信息;以及
通过所述控制部分,基于所述获取的视线位置判断所述用户聚焦于基于所述获取的内容的识别信息所指定的内容的场景和所述场景中的对象,根据所述判断的对象和所述获取的位置信息产生搜索信息,以及将所述产生的搜索信息传输到所述用户的所述信息处理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-177745 | 2013-08-29 | ||
JP2013177745A JP2015046089A (ja) | 2013-08-29 | 2013-08-29 | 情報処理装置および情報処理方法 |
PCT/JP2014/004298 WO2015029393A1 (ja) | 2013-08-29 | 2014-08-21 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105518666A true CN105518666A (zh) | 2016-04-20 |
CN105518666B CN105518666B (zh) | 2020-01-17 |
Family
ID=52585983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480046374.5A Active CN105518666B (zh) | 2013-08-29 | 2014-08-21 | 信息处理装置和信息处理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10019058B2 (zh) |
EP (1) | EP3040878B1 (zh) |
JP (1) | JP2015046089A (zh) |
KR (1) | KR20160049530A (zh) |
CN (1) | CN105518666B (zh) |
WO (1) | WO2015029393A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354777A (zh) * | 2016-08-22 | 2017-01-25 | 广东小天才科技有限公司 | 一种应用于电子终端的搜题方法及装置 |
CN107544660A (zh) * | 2016-06-24 | 2018-01-05 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9503687B2 (en) * | 2015-03-24 | 2016-11-22 | Fuji Xerox Co., Ltd. | Personalized meeting event capture using egocentric tracking in smart spaces |
US10168771B2 (en) | 2015-07-30 | 2019-01-01 | International Business Machines Corporation | User eye-gaze based derivation of activity stream processing augmentations |
JP7040448B2 (ja) | 2016-08-30 | 2022-03-23 | ソニーグループ株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP7283384B2 (ja) | 2017-11-15 | 2023-05-30 | ソニーグループ株式会社 | 情報処理端末、情報処理装置、および情報処理方法 |
US10943115B2 (en) * | 2018-07-24 | 2021-03-09 | Apical Ltd. | Processing image data to perform object detection |
CN109110646B (zh) * | 2018-08-06 | 2020-10-09 | 机汇网(深圳)科技有限公司 | 一种对塔吊安全检查管理的实现方法、系统及存储介质 |
CN113168224A (zh) * | 2018-11-27 | 2021-07-23 | 索尼集团公司 | 信息处理装置、信息处理方法及程序 |
JP7490372B2 (ja) * | 2020-01-21 | 2024-05-27 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
WO2023228342A1 (ja) * | 2022-05-26 | 2023-11-30 | 株式会社ジオクリエイツ | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
CN115407867B (zh) * | 2022-07-20 | 2023-10-24 | 夏前明 | 一种基于多传感器的智能交互系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114846A (ja) * | 1995-10-16 | 1997-05-02 | Fujitsu Ltd | ブラウジング表示方法および画像表示システム |
JPH10133810A (ja) * | 1996-06-25 | 1998-05-22 | Sun Microsyst Inc | 視標追跡駆動情報検索方法および装置 |
US5844530A (en) * | 1994-12-09 | 1998-12-01 | Kabushiki Kaisha Sega Enterprises | Head mounted display, and head mounted video display system |
US6037914A (en) * | 1997-08-25 | 2000-03-14 | Hewlett-Packard Company | Method and apparatus for augmented reality using a see-through head-mounted display |
JP2001216527A (ja) * | 2000-02-04 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
US6304234B1 (en) * | 1997-02-26 | 2001-10-16 | Olympus Optical Co., Ltd. | Information processing apparatus |
US20020067367A1 (en) * | 1998-03-18 | 2002-06-06 | Ichiro Kosugi | Eyeglasses type image display apparatus |
JP2007172378A (ja) * | 2005-12-22 | 2007-07-05 | Toyota Motor Corp | 注視対象物体特定装置 |
CN101495945A (zh) * | 2006-07-28 | 2009-07-29 | 皇家飞利浦电子股份有限公司 | 用于被凝视物品的信息显示的凝视交互 |
CN101754715A (zh) * | 2008-05-20 | 2010-06-23 | 松下电器产业株式会社 | 视线检测装置、摄像装置、视线检测方法、程序以及集成电路 |
CN101770506A (zh) * | 2008-12-26 | 2010-07-07 | 索尼株式会社 | 信息处理装置、信息处理方法和程序 |
CN101916264A (zh) * | 2010-07-30 | 2010-12-15 | 浙江大学 | 基于用户面部表情与目光分布检测的个性化网页推荐方法 |
CN102692998A (zh) * | 2010-12-21 | 2012-09-26 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
US20130054576A1 (en) * | 2011-08-23 | 2013-02-28 | Buckyball Mobile, Inc. | Identifying digital content using bioresponse data |
US20130187835A1 (en) * | 2012-01-25 | 2013-07-25 | Ben Vaught | Recognition of image on external display |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5912721A (en) * | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
US7046924B2 (en) | 2002-11-25 | 2006-05-16 | Eastman Kodak Company | Method and computer program product for determining an area of importance in an image using eye monitoring information |
JP5323413B2 (ja) * | 2008-07-25 | 2013-10-23 | シャープ株式会社 | 付加データ生成システム |
CA2739273A1 (en) * | 2008-10-03 | 2010-04-08 | 3M Innovative Properties Company | Systems and methods for multi-perspective scene analysis |
JP2011239158A (ja) * | 2010-05-10 | 2011-11-24 | Nippon Hoso Kyokai <Nhk> | ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム |
JP2012186621A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP5789735B2 (ja) * | 2011-05-18 | 2015-10-07 | パナソニックIpマネジメント株式会社 | コンテンツ評価装置、方法、及びそのプログラム |
JP5863423B2 (ja) * | 2011-11-30 | 2016-02-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9996150B2 (en) * | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
JP5908002B2 (ja) | 2013-03-20 | 2016-04-26 | 卉菱 曽 | ベニクスノキタケに含まれる化合物及びその用途 |
-
2013
- 2013-08-29 JP JP2013177745A patent/JP2015046089A/ja active Pending
-
2014
- 2014-08-21 CN CN201480046374.5A patent/CN105518666B/zh active Active
- 2014-08-21 US US14/915,209 patent/US10019058B2/en active Active
- 2014-08-21 EP EP14840335.5A patent/EP3040878B1/en active Active
- 2014-08-21 KR KR1020167001800A patent/KR20160049530A/ko not_active Application Discontinuation
- 2014-08-21 WO PCT/JP2014/004298 patent/WO2015029393A1/ja active Application Filing
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5844530A (en) * | 1994-12-09 | 1998-12-01 | Kabushiki Kaisha Sega Enterprises | Head mounted display, and head mounted video display system |
JPH09114846A (ja) * | 1995-10-16 | 1997-05-02 | Fujitsu Ltd | ブラウジング表示方法および画像表示システム |
JPH10133810A (ja) * | 1996-06-25 | 1998-05-22 | Sun Microsyst Inc | 視標追跡駆動情報検索方法および装置 |
US6304234B1 (en) * | 1997-02-26 | 2001-10-16 | Olympus Optical Co., Ltd. | Information processing apparatus |
US6037914A (en) * | 1997-08-25 | 2000-03-14 | Hewlett-Packard Company | Method and apparatus for augmented reality using a see-through head-mounted display |
US20020067367A1 (en) * | 1998-03-18 | 2002-06-06 | Ichiro Kosugi | Eyeglasses type image display apparatus |
JP2001216527A (ja) * | 2000-02-04 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
JP2007172378A (ja) * | 2005-12-22 | 2007-07-05 | Toyota Motor Corp | 注視対象物体特定装置 |
CN101495945A (zh) * | 2006-07-28 | 2009-07-29 | 皇家飞利浦电子股份有限公司 | 用于被凝视物品的信息显示的凝视交互 |
CN101754715A (zh) * | 2008-05-20 | 2010-06-23 | 松下电器产业株式会社 | 视线检测装置、摄像装置、视线检测方法、程序以及集成电路 |
CN101770506A (zh) * | 2008-12-26 | 2010-07-07 | 索尼株式会社 | 信息处理装置、信息处理方法和程序 |
CN101916264A (zh) * | 2010-07-30 | 2010-12-15 | 浙江大学 | 基于用户面部表情与目光分布检测的个性化网页推荐方法 |
CN102692998A (zh) * | 2010-12-21 | 2012-09-26 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
US20130054576A1 (en) * | 2011-08-23 | 2013-02-28 | Buckyball Mobile, Inc. | Identifying digital content using bioresponse data |
US20130187835A1 (en) * | 2012-01-25 | 2013-07-25 | Ben Vaught | Recognition of image on external display |
Non-Patent Citations (2)
Title |
---|
AJANKI A 等: "Ubiquitous contextual information access with proactive retrieval and augmentation", 《AIAA AEROSPACE SCIENCES MEETING AND EXHIBIT》 * |
张闯 等: "视线追踪系统中特征参数提取方法研究", 《中国图象图形学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107544660A (zh) * | 2016-06-24 | 2018-01-05 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107544660B (zh) * | 2016-06-24 | 2020-12-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106354777A (zh) * | 2016-08-22 | 2017-01-25 | 广东小天才科技有限公司 | 一种应用于电子终端的搜题方法及装置 |
CN106354777B (zh) * | 2016-08-22 | 2019-09-17 | 广东小天才科技有限公司 | 一种应用于电子终端的搜题方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2015029393A1 (ja) | 2015-03-05 |
EP3040878B1 (en) | 2019-10-02 |
CN105518666B (zh) | 2020-01-17 |
JP2015046089A (ja) | 2015-03-12 |
KR20160049530A (ko) | 2016-05-09 |
EP3040878A4 (en) | 2017-01-25 |
US10019058B2 (en) | 2018-07-10 |
US20160209919A1 (en) | 2016-07-21 |
EP3040878A1 (en) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105518666A (zh) | 信息处理装置和信息处理方法 | |
US10924792B2 (en) | System and method for surveying broadcasting ratings | |
KR101757878B1 (ko) | 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템 | |
CN102473304B (zh) | 元数据标记系统、图像搜索方法和设备、及其用于标记手势的方法 | |
US10043079B2 (en) | Method and apparatus for providing multi-video summary | |
US20140298365A1 (en) | Receiving terminal, audience information collecting system and audience information collecting method | |
CN102890950B (zh) | 媒体自动剪辑装置、方法、媒体播送方法与其播送系统 | |
CN102413359A (zh) | 提供媒体内容相关信息的方法及执行该方法的设备和服务器 | |
US20160164970A1 (en) | Application Synchronization Method, Application Server and Terminal | |
CN103517093A (zh) | 信息处理设备和信息处理方法以及信息通信系统 | |
CN105072460A (zh) | 一种基于视频内容元素的信息标注和关联方法、系统和设备 | |
CN105657514A (zh) | 一种在移动设备浏览器中视频播放关键信息的方法及装置 | |
KR101954717B1 (ko) | 고속분석 영상처리장치 및 그 장치의 구동방법 | |
CN103946871A (zh) | 图像处理装置、图像识别装置、图像识别方法以及程序 | |
CN102262643A (zh) | 信息处理系统、信息处理装置和信息处理方法 | |
CN100508594C (zh) | 商用消息搜索方法和设备及伴随信息提供方法和设备 | |
KR20200024541A (ko) | 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치 | |
JP5569830B2 (ja) | 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム | |
KR101831663B1 (ko) | 스마트 단말에서 생태관광 컨텐츠 표시 방법 | |
KR20160124365A (ko) | 사물 인터넷 기반의 카메라를 이용한 멀티미디어 데이터 및 메타 데이터 표출 시스템과 그 방법 | |
KR20200024540A (ko) | 이미지 검색을 위한 요약 정보 제공 방법 및 이를 지원하는 서비스 장치 | |
CN113727070B (zh) | 一种设备资源管理方法、装置、电子设备及存储介质 | |
KR20200023094A (ko) | 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치 | |
KR20210117431A (ko) | 반응형 고객 분류에 표적 추출과 이를 이용한 관리 시스템 | |
CN117676206A (zh) | 视频推荐方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |