CN103181180A - 提示控制装置以及提示控制方法 - Google Patents

提示控制装置以及提示控制方法 Download PDF

Info

Publication number
CN103181180A
CN103181180A CN201280001567XA CN201280001567A CN103181180A CN 103181180 A CN103181180 A CN 103181180A CN 201280001567X A CN201280001567X A CN 201280001567XA CN 201280001567 A CN201280001567 A CN 201280001567A CN 103181180 A CN103181180 A CN 103181180A
Authority
CN
China
Prior art keywords
consciousness
stimulus
user
image
prompting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280001567XA
Other languages
English (en)
Other versions
CN103181180B (zh
Inventor
坂田幸太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103181180A publication Critical patent/CN103181180A/zh
Application granted granted Critical
Publication of CN103181180B publication Critical patent/CN103181180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

实现一种在考虑了用户的视听状况的情况下的自然恰当的信息通知。在想要向用户进行信息通知之时，提示第一刺激度的知觉刺激因素，根据由用户反应分析部(104)决定的反应的大小，使知觉刺激因素的刺激度从第一刺激度发生变动，在提示了第一刺激度的知觉刺激之后的规定的时间内针对知觉刺激因素的反应的大小不满规定的阈值的情况下，知觉刺激控制部(102)使知觉刺激因素的刺激度减弱，或者停止知觉刺激因素的提示。

Description

提示控制装置以及提示控制方法
技术领域
本发明涉及将信息提示给用户的信息提示装置。
背景技术
由于显示器的大画面化、薄型化以及广播与通信的融合的不断发展，电视机不仅单纯地具有视听广播内容的功能，还具备同时视听多个内容的功能、以及获得与内容相关的信息的功能等，多功能化在不断地发展。作为电视机的一个新的功能提出了，以适当地时机来通知与生活相关的信息的功能。
近些年，随着电器设备的网络功能的普及，使BD记录器、网络摄像机等与电视机联动，以一个遥控器操作多个设备以及以电视机的画面来确认网络摄像机的影像成为可能。并且，除了这些设备之外，通过使洗衣机、冰箱、微波炉等家电设备与电视机联动，各设备的工作状态等与各设备相关的信息能够在电视机上得以确认。即，通过经由网络使电视机这样的显示装置与其他的多个设备联动，将来自各个设备的信息发送给显示装置，从而用户可以不必亲自到各个设备就能够从显示装置获得各个设备的信息(例如，参照专利文献1)。
(现有技术文献)
(专利文献)
专利文献1日本特开2000-270236号公报
在这样的显示装置中，当用户正在视听影像时，与视听内容无关的信息突然被显示的情况，在用户不希望上述的信息的情况下会影响视听。即所希望的方式是，显示装置或与该显示装置相关的系统能够察觉用户的状态，以恰当地形式自然的不唐突地对信息进行通知。
发明内容
因此，本发明考虑了用户的视听状况，提供一种能够自然的进行信息信息通知的提示控制装置。
为了解决上述的课题，本发明的一个实施例所涉及的提示控制装置包括：显示部，显示影像；知觉刺激控制部，提示知觉刺激因素，该知觉刺激因素用于告知通过所述显示部想要通知给用户的信息的存在；用户状况计测部，计测所述用户的状况；以及用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述知觉刺激因素的反应的大小；所述知觉刺激控制部，提示第一刺激度的所述知觉刺激因素；根据由所述用户反应分析部决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
并且，这些所有的功能部或具体的方式不仅能够作为系统、方法、集成电路、计算机程序或计算机能够读取的CD-ROM等记录介质来实现，而且能够将系统、方法、集成电路、计算机程序以及记录介质进行任意地组合来实现。
通过本发明所涉及的提示控制装置以及提示控制方法，能够实现考虑了用户的视听状况的自然恰当的信息通知。
附图说明
图1是示出本发明的实施例1中的提示控制装置的功能构成的方框图。
图2是示出本发明的实施例1中的提示控制处理的流程的流程图。
图3A是用于说明对在本发明的实施例1中的视线方向检测处理中获得的图像进行拍摄的摄像装置的图。
图3B是用于说明对在本发明的实施例1中的视线方向检测处理中获得的图像进行拍摄的摄像装置的图。
图3C是用于说明对在本发明的实施例1中的视线方向检测处理中获得的图像进行拍摄的摄像装置的图。
图4是示出本发明的实施例1中的视线方向检测处理的流程的流程图。
图5是用于说明在本发明的实施例1中的视线方向检测处理中检测脸部朝向的处理的图。
图6是用于说明本发明的实施例1中的算出视线方向基准面的图。
图7是用于说明本发明的实施例1中的黑眼珠中心的检测的图。
图8是用于说明本发明的实施例1中的检测黑眼珠中心的图。
图9A示出了本发明的实施例1中的知觉刺激因素的例子。
图9B示出了本发明的实施例1中的将知觉刺激因素提示到显示部的例子。
图9C示出了本发明的实施例1中的将知觉刺激因素提示到聚光圈部的例子。
图9D示出了本发明的实施例1中的将知觉刺激因素提示到显示部的外部的例子。
图9E示出了对本发明的实施例1中的显示部所显示的影像进行缩小，以不使影像与知觉刺激因素重叠的方式来提示知觉刺激因素。
图9F示出了本发明的实施例1中的知觉刺激因素数据库的例子。
图9G是说明本发明的实施例1中的知觉刺激因素的变形的例子的图。
图10是说明本发明的实施例1中的信息提示的例子的图。
图11是说明本发明的实施例1中的信息提示的例子的图。
图12是说明本发明的实施例1中的信息提示的例子的图。
图13是表示本发明的实施例2中的提示控制装置的图。
图14是表示本发明的实施例2中的提示控制装置的其他的例子的图。
具体实施方式
(成为发明基础的见解)
如背景技术中说明的那样，提供了一种通过网络使显示装置与其他的设备联动，来从显示装置获得其他的设备的信息的技术。
例如，提供了一种以用户所把持的遥控器中具备的把持传感器来检测遥控器的把持状态，并按照把持传感器的输出，来对光标以及GUI的显示与非显示进行切换的显示装置(例如，参照专利文献1)。这种技术是用户不必按下规定的按键，而以把持遥控器的定时来通知信息的。
但是，在这样的构成中，由于是按照遥控器所具备的把持传感器的输出来对画面显示进行切换的，在没有把持遥控器而对影像进行持续视听的情况下，则不能对信息进行通知。并且，在用户进行某种操作而把持了遥控器的情况下，就会忽略了用户的意思而对信息进行了通知，因而出现的课题是不能在不防止用户的视听的情况下进行信息通知。
为了解决这样的课题，本发明的一个实施例所涉及的提示控制装置包括：显示部，显示影像；知觉刺激控制部，提示知觉刺激因素，该知觉刺激因素用于告知通过所述显示部想要通知给用户的信息的存在；用户状况计测部，计测所述用户的状况；以及用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述知觉刺激因素的反应的大小；所述知觉刺激控制部，提示第一刺激度的所述知觉刺激因素；根据由所述用户反应分析部决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
据此，在用户集中于显示部所显示的影像，而对知觉刺激因素的反应小的情况下，信息不会被显示在显示部。因此，能够防止违背用户的意图的唐突的通知，提供了一种在考虑到用户的视听状况的、具备信息通知功能的信息控制装置。
并且，也可以是，所述知觉刺激控制部，在提示了所述第一刺激度的知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小为规定的阈值以上的情况下，提示想要通知给所述用户的信息。
在这种情况下，在用户没有集中于显示部所显示的影像，针对知觉刺激因素的反应大的情况下，想要通知的信息被显示在显示部。
并且，也可以是，所述知觉刺激控制部，将视觉刺激因素作为所述知觉刺激因素来提示；根据用户对所述视觉刺激因素的注意度的高低，算出所述知觉刺激因素的所述刺激度。
并且，也可以是，所述知觉刺激控制部，将听觉刺激因素作为所述知觉刺激因素来提示；根据所述听觉刺激因素的音量、音程、或音量及音程，算出所述知觉刺激因素的所述刺激度。
并且，也可以是，所述知觉刺激控制部，将触觉刺激因素作为所述知觉刺激因素来提示；根据所述触觉刺激因素的圧迫感、触感、或者圧迫感及触感，算出所述知觉刺激因素的所述刺激度。
并且，也可以是，所述知觉刺激控制部，将嗅觉刺激因素作为所述知觉刺激因素来提示；根据所述嗅觉刺激因素的气味的强弱、好坏、或者强弱及好坏，算出所述知觉刺激因素的所述刺激度。
并且，也可以是，所述知觉刺激控制部，进一步包括知觉刺激因素数据库，该知觉刺激因素数据库用于存放多个所述刺激度的所述知觉刺激因素；参照存放于所述知觉刺激因素数据库的数据，来提示所述知觉刺激因素。
并且，也可以是，所述知觉刺激控制部，将所述知觉刺激因素提示到所述显示部的画面内。
并且，也可以是，所述知觉刺激控制部，通过被设置在所述显示部的聚光圈部的提示装置，来提示所述知觉刺激因素。
而且，也可以是，所述知觉刺激控制部，将所述知觉刺激因素提示到所述显示部的外部。
也可以是，所述知觉刺激控制部，将所述知觉刺激因素重叠于所述显示部所显示的所述影像来进行提示；也可以是，所述知觉刺激控制部，提示与所述显示部所显示的所述影像的亮度、或色彩的对比度相应的所述知觉刺激因素；也可以是，所述知觉刺激控制部，将所述显示部所显示的所述影像缩小，以便以所述知觉刺激因素不重叠于该影像的状态来提示所述知觉刺激因素。
并且，也可以是，所述知觉刺激控制部，提示具有与所述显示部所显示的所述影像的声音相应的声音特性的所述听觉刺激因素。
并且，也可以是，所述知觉刺激控制部，提示基于想要通知给所述用户的信息的重要度的所述刺激度的所述知觉刺激因素。
也可以是，所述用户状况计测部进一步包括视线计测部，该视线计测部计测所述用户的视线运动，以作为所述用户的状况。也可以是，所述用户反应分析部，根据由所述视线计测部作为所述用户的视线运动而计测的、向所述知觉刺激因素的视线滞留时间，来决定所述用户对所述知觉刺激因素的反应的大小；也可以是，所述用户反应分析部，根据由所述视线计测部作为所述用户的视线运动而计测的、所述显示部所显示的所述影像的主区域与所述知觉刺激因素之间的眼急动次数，来决定所述用户对所述知觉刺激因素的反应的大小；也可以是，所述用户反应分析部，根据由所述视线计测部作为所述用户的视线运动而计测的眨眼次数，来决定所述用户对所述知觉刺激因素的反应的大小。
也可以是，所述用户状况计测部，进一步包括表情计测部，该表情计测部计测所述用户的表情，以作为所述用户的状况；所述用户反应分析部，根据所述表情计测部所计测的所述用户的表情的变化，来决定所述用户对所述知觉刺激因素的反应的大小。并且，也可以是，所述用户状况计测部，进一步包括姿势计测部，该姿势计测部计测所述用户的姿势，以作为所述用户的状况；所述用户反应分析部，根据由所述姿势计测部计测的所述用户的姿势的变化，来决定所述用户对所述知觉刺激因素的反应的大小。
并且，也可以是，所述显示部，对第一影像和第二影像同时进行显示，所述第二影像是在所述显示部的画面中比所述第一影像的大小小的影像；所述第二影像是想要通知给所述用户的信息，并且是所述知觉刺激控制部所提示的所述知觉刺激因素；所述用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述第二影像的反应的大小；所述知觉刺激控制部，提示第一刺激度的所述第二影像，根据由所述用户反应分析部决定的反应的大小，使所述第二影像的刺激度从所述第一刺激度发生变动后，提示所述第二影像；在提示了所述第一刺激度的所述第二影像之后的规定的时间内，在所述用户对所述第二影像的反应的大小不足规定的阈值的情况下，使所述第二影像的刺激度减弱，在所述用户对所述第二影像的反应的大小为规定的阈值以上的情况下，以所述第二影像在所述显示部的画面中的大小比所述第一影像大的状态，将所述第二影像显示到所述显示部。
即，在同时显示多个影像的显示装置中，也可以将多个影像中的一个作为知觉刺激因素来使用。
并且，也可以是，所述知觉刺激控制部，通过变更所述第二影像的显示状态，来使所述第二影像的刺激度发生变动。
并且，也可以是，所述知觉刺激控制部，通过变更所述第二影像的显示内容，来使所述第二影像的刺激度发生变动。
并且，也可以是，所述知觉刺激控制部，将静止图像作为所述第二影像来提示；通过将提示的所述静止图像变更为与该静止图像不同的静止图像，来使所述第二影像的刺激度发生变动。
这样，通过变更作为知觉刺激因素的影像的显示状态以及显示内容，从而知觉刺激控制部能够变更刺激度。
并且，本发明的一个实施例所涉及的集成电路进行提示控制，该集成电路包括：知觉刺激控制部，提示知觉刺激因素，该知觉刺激因素用于告知想要通知给用户的信息的存在；用户状况计测部，计测所述用户的状况；以及用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述知觉刺激因素的反应的大小；所述知觉刺激控制部，提示第一刺激度的所述知觉刺激因素；根据由所述用户反应分析部决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，所述知觉刺激控制部使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
根据此构成，能够达到与上述的提示控制装置同样的效果。
并且，本发明的一个实施例所涉及的提示控制方法包括：知觉刺激控制步骤，提示知觉刺激因素，该知觉刺激因素用于告知通过显示部想要通知给用户的信息的存在；用户状况计测步骤，计测所述用户的状况；以及用户反应分析步骤，根据在所述用户状况计测步骤的输出，来决定所述用户对所述知觉刺激因素的反应的大小；在所述知觉刺激控制步骤，提示第一刺激度的所述知觉刺激因素；根据在所述用户反应分析步骤决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，在所述知觉刺激控制步骤使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
据此，能够实现与上述的提示控制装置同样的效果。
并且，本发明也可以作为使计算机执行提示控制方法中所包含的步骤的程序来实现。并且，这样的程序是能够通过CD-ROM(Compact Disc-ReadOnly Memory：光盘)等非暂时性的记录介质或者互联网等传输媒体来分发的。
以下，参照附图对本发明的实施例进行说明。
并且，以下所说明的实施例均为本发明的一个具体的例子。在以下的实施例中所示的数值、形状、材料、构成要素、构成要素的设置位置以及连接形态、步骤、步骤的顺序等均是本发明的一个例子，本发明并非受这些所限。并且，对于以下的实施例中的构成要素之中的、示出最上位概念的独立权利要求所没有记载的构成要素，能够作为任意的构成要素来说明。
(实施例1)
图1是示出本发明的实施例1中的提示控制装置的功能构成的方框图。
如图1所示，提示控制装置100包括：显示部101，对影像进行显示；知觉刺激控制部102，通过显示部101，将知觉刺激因素提示给用户，该知觉刺激因素用于告知想要通知的信息的存在；用户状况计测部103，用于计测用户的状况；以及用户反应分析部104，根据用户状况计测部103的输出，来决定用户针对知觉刺激因素的反应大小。
并且，提示控制装置100与一台或多台电器设备105连接。电器设备105例如是空调、冰箱、微波炉、或BD记录器等。提示控制装置100与电器设备105以LAN、USB电缆等有线网络或无线LAN、Wi-Fi(注册商标)等无线网络相连接。
提示控制装置100通过上述的网络从各电器设备105获得，各个设备的工作状态以及通信状态等信息。上述信息中也包含提示控制装置100从天线等直接接收的视听内容的数据等。
显示部101例如是LCD(Liquid Crystal Display：液晶显示器)，能够显示影像的设备。显示部101不仅限于LCD，也可以是PDP(Plasma DisplayPanel：等离子显示屏)或有机EL显示器(OLED：Organic Light EmittingDisplay：有机发光二极管显示器)。并且，显示部101也可以是通过投影仪将影像投影到墙壁等壁面的构成。
知觉刺激控制部102在想要向用户通知的信息存在的情况下，将用于刺激用户的知觉的知觉刺激因素提示给用户。知觉刺激因素是指，视觉刺激因素、听觉刺激因素、触觉刺激因素、嗅觉刺激因素等。在实施例1中使用视觉刺激因素。
用户状况计测部103具备一个或多个摄像装置(摄像机)110。并且，具备用于计测用户的视线的视线计测部106。并且，用户状况计测部103的构成也可以是至少具备用于计测用户的视线的视线计测部106、用于计测表情的表情计测部、用于计测姿势的姿势计测部之中的一个。用户的视线、表情、姿势是在决定用户对知觉刺激因素的反应的大小时的有意义的信息。
例如，视线计测部106检测用户的视线方向，即检测用户正在看着的方向，据此，计测画面中的作为注视坐标系的用户的注视位置的移动轨迹。具体而言，利用视线方向和用户的位置，将从用户的视线方向延伸的直线与画面的交点作为注视位置，将注视位置的移动轨迹计测为注视坐标系。
用户反应分析部104根据用户状况计测部103的输出，来决定针对知觉刺激因素的反应的大小。例如，用户反应分析部104根据在上述的视线计测部106计测的注视坐标系，计测朝向知觉刺激因素的提示位置的视线滞留时间，该视线滞留时间越长，就越将用户针对知觉刺激因素的反应的大小决定为大。并且，用户的反应的大小也可以根据在显示部101所显示的影像的主区域与知觉刺激因素的提示位置之间的眼急动次数来决定。具体而言，朝向知觉刺激因素的提示位置的眼急动次数越多，针对知觉刺激因素的用户的反应就越大。而且，用户的反应的大小也可以根据视线计测部所计测的眨眼次数来决定。具体而言，眨眼次数越多，用户的反应就越大。
接着，对具有以上这种构成的提示控制装置100中的各种工作进行说明。
图2是示出本发明的实施例1中的提示控制处理的流程的流程图。
提示控制装置100从电器设备105等接收数据，在发生了想要通知给用户的信息的情况下(S10)，知觉刺激控制部102提示视觉刺激因素(S11)。用户状况计测部103计测用户的状况(S12)。用户反应分析部104根据用户状况计测部103的计测结果，来决定用户针对知觉刺激因素的反应的大小(S13)。该针对知觉刺激因素的用户的反应的大小能够掌握针对知觉刺激因素的用户的注目度。在此，在针对知觉刺激因素的用户的反应的大小为第一阈值以上的情况下(S14)，知觉刺激控制部102增强知觉刺激因素的刺激度(S15)。若针对知觉刺激因素的用户的反应的大小不足第一阈值的情况下，知觉刺激控制部102减弱知觉刺激因素的刺激度(S16)。并且，若从开始提示知觉刺激因素经过了规定的时间的情况下(S17)，停止知觉刺激因素的提示(S18)。若从知觉刺激因素的提示开始没有经过规定的时间的情况下，判断针对知觉刺激因素的用户的反应的大小是否为第二阈值以上(S19)，若用户的反应的大小在第二阈值以上，则显示通知信息(S20)。
并且，步骤S11、步骤S12以及S13的处理也可以并行进行。并且，步骤S11和步骤S12的顺序也可以相反。
如以上所述，提示控制装置100对用于告知想要向用户通知的信息的存在的知觉刺激因素的提示进行控制，实现了在考虑了用户的视听状况的状态下的恰当自然的信息通知。
以下利用附图对上述的提示控制处理所包含的各个处理进行详细说明。
<用户状况的计测>
首先，对用户状况的计测进行详细的说明。
用户状况计测部103，具备用于计测作为用户的状况的用户的视线的视线计测部106以及摄像装置110。以下，对视线计测部106检测视线方向时的视线方向检测处理进行详细的说明。
在实施例1中，视线方向是基于用户的脸部的朝向(以下记作“脸部朝向”)与相对于用户的脸部朝向的眼睛中的黑眼珠部分的方向(以下记作“黑眼珠方向”)组合而被计算的。因此，视线计测部106首先推定人物的三维的脸部朝向，接着，推定黑眼珠方向，最后，将脸部朝向以及黑眼珠方向这两个方向相结合来计算视线方向。
另外，视线计测部106也可以不必基于脸部朝向和黑眼珠方向的组合来计算视线方向。例如，视线计测部106也可以根据眼球中心和虹彩(黑眼珠)中心来计算视线方向。即，视线计测部可以将连接眼球中心的三维位置与虹彩(黑眼珠)中心的三维位置的三维向量计算为视线方向。
图3A、图3B以及图3C示出了本发明的实施例1中的对视线方向检测处理中获得的图像进行拍摄的摄像装置110的设置。摄像装置110被设置成能够拍摄位于提示控制装置100的显示部101的前方的用户。例如，摄像装置110被设置在图3A所示的提示控制装置100的聚光圈部111。并且，也可以如图3B或图3C所示，与提示控制装置100分开设置摄像装置110。
图4是示出本发明的实施例1中的视线方向检测处理的流程的流程图。
首先，视线计测部106获得摄像装置110所拍摄的位于画面的前方的用户的图像(S501)。接着，视线计测部106从获得的图像中检测脸部区域(S502)。接着，视线计测部106将与各个基准脸部朝向相对应的脸部部位特征点的区域在检测出的脸部区域中进行适用，从而剪取各个脸部部位特征点的区域图像(S503)。
并且，视线计测部106计算剪取的区域图像与预先保持的模板图像的相关度(S504)。接着，视线计测部106按照计算出的相关度的比，对各个基准脸部朝向所示的角度进行加权后进行加法运算，从而从加权和中来求出角度，并将此作为与检测出的脸部区域相对应的用户的脸部朝向来检测(S505)。
接着，视线计测部106利用由摄像装置110拍摄的图像，来检测用户的左右的大眼角的三维位置，利用检测出的左右的大眼角的三维位置来算出视线方向基准面(S506)。接着，视线计测部106利用由摄像装置110拍摄的图像，检测用户的左右的黑眼珠中心的三维位置(S507)。接着，视线计测部106利用视线方向基准面和左右的黑眼珠中心的三维位置，检测黑眼珠方向(S508)。
并且，视线计测部利用检测出的用户的脸部朝向和黑眼珠方向，检测用户的视线方向(S509)。
针对与图4的S501到S505对应的脸部朝向的检测处理，利用图5进行详细说明。
视线计测部106具备脸部部位区域数据库(DB)112和脸部部位区域模板数据库(DB)113，所述脸部部位区域DB112中存储有与各个基准脸部朝向相对应的脸部部位特征点的区域。如图5的(a)所示，视线计测部106从脸部部位区域DB112中读出脸部部位特征点的区域。接着，如图5的(b)所示，视线计测部106按照每个基准脸部朝向，将脸部部位特征点的区域对拍摄的图像的脸部区域进行适用，并按照每个基准脸部朝向来剪取脸部部位特征点的区域图像。
并且，如图5的(c)所示，视线计测部106按照每个基准脸部朝向，计算被剪取的区域图像与脸部部位区域模板DB113中所保持的模板图像之间的相关度。并且，视线计测部106按照以上这样计算的相关度所示的相关程度的高低，来算出每个基准脸部朝向的权重。例如，视线计测部106将各个基准脸部朝向的相关度相对于基准脸部朝向的相关度的总和的比作为权重来算出。
接着，如图5的(d)所示，视线计测部106计算将算出的权重与基准脸部朝向所示的角度相乘后的值的总和，将计算结果作为用户的脸部朝向来检测。
在图5的(d)的例子中，由于针对基准脸部朝向+20度的权重为“0.85”，针对正面朝向的权重为“0.14”，针对-20度的权重为“0.01”，因此，视线计测部106检测脸部朝向为16.8度(=20×0.85+0×0.14+(-20)×0.01)。
并且，在本实施例1中，视线计测部106虽然是将脸部部位特征点的区域图像作为对象来计算相关度的，不过也可以将整个脸部区域的图像作为对象来计算相关度。
并且，检测脸部朝向的方法也可以是，从脸部图像中检测眼睛、鼻子、嘴等脸部部位特征点，根据脸部部位特征点的位置关系来计算脸部朝向。
作为根据上述的脸部部位特征点的位置关系来计算脸部朝向的方法可以是，为了与从一个摄像机得到的脸部部位特征点最一致，而将预先准备的脸部部位特征点的三维模型旋转并进行放大缩小，以此来进行匹配，从得到的三维模型的旋转量来计算脸部朝向。
并且，作为从上述的脸部部位特征点的位置关系来计算脸部朝向的其他的方法有，利用基于两台摄像机所拍摄的图像的立体视的原理，从左右的摄像机中的脸部部位特征点位置在图像上的偏差来计算各个脸部部位特征点的三维位置，并从得到的脸部部位特征点的位置关系来计算脸部朝向。具体而言，例如有将两只眼睛以及嘴的三维坐标点所构成的平面的法线方向作为脸部朝向来检测的方法等。在本装置的视线方向检测处理中也可以利用这样的方法。
接着，利用图6至图8，对与图4的S506到S508相对应的黑眼珠方向进行检测的方法进行详细说明。
在本实施例1中，视线计测部106，算出视线方向基准面，接着检测黑眼珠中心的三维位置，最后检测黑眼珠方向。
首先，对视线方向基准面的算出进行说明。
图6是用于说明本发明的实施例1中的视线方向基准面的算出的图。
视线方向基准面是指，在检测黑眼珠方向之时成为基准的面，如图6所示，与脸部的左右对称面为同一个面。并且，大眼角的位置与外眼角、嘴角或眉毛等其他的脸部部位相比，因表情而发生变动的情况较少，并且错误检测也较少。因此，视线计测部106能够利用大眼角的三维位置，来算出作为脸部的左右对称面的视线方向基准面。
具体而言，视线计测部106，利用视线计测部106所具备的脸部检测模块与脸部部位检测模块，在作为摄像装置110的一种的立体摄像机所拍摄的两张图像(立体图像)中分别检测左右的大眼角区域。并且，视线计测部106利用检测出的大眼角区域的图像之间的位置的偏移(视差)，来检测左右的大眼角各自的三维位置。并且，视线计测部106如图6所示，将以检测出的左右的大眼角的三维位置作为端点的线段上的垂直平分面作为视线方向基准面来算出。
接着，对有关黑眼珠中心的检测进行说明。图7以及图8是用于说明本发明的实施例1中的黑眼珠中心的检测的图。
来自对象物的光穿过瞳孔而达到视网膜并产生电信号刺激，通过将该电信号被传达到脑，从而人能够在视觉上识别对象物。因此，只要利用瞳孔的位置就能够检测视线方向。但是，日本人的虹彩是黑色或茶色，因此由于图像处理会难于辨别瞳孔与虹彩。因此，在本实施例1中，由于瞳孔的中心与黑眼珠(包括瞳孔以及虹彩双方)的中心几乎成为一致，所以，视线计测部106在检测黑眼珠方向之时进行黑眼珠中心的检测。
视线计测部106，首先从所拍摄的图像中检测外眼角和大眼角的位置。并且，视线计测部106如图7所示，从包括外眼角和大眼角的区域114中，将亮度小的区域115检测为黑眼珠区域。具体而言，视线计测部106，例如将亮度成为规定阈值以下的区域、且比规定的大小大的区域检测为黑眼珠区域。
接着，视线计测部106如图8所示，将由第一区域120和第二区域130构成的黑眼珠检测过滤器140设定到黑眼珠区域的任意的位置。并且，视线计测部106搜索第一区域120内的像素的亮度与第二区域130内的像素的亮度的区域之间分散成为最大的黑眼珠检测过滤器140的位置，将搜索结果所示的位置检测为黑眼珠中心。最后，视线计测部106与上述同样，利用立体图像中的黑眼珠中心的位置的偏移，来检测黑眼珠中心的三维位置。
以下，对黑眼珠方向的检测进行说明。
视线计测部106利用算出的视线方向基准面和检测出的黑眼珠中心的三维位置，来检测黑眼珠方向。成人的眼球直径几乎没有个人差异，例如日本人的情况下约为24mm。因此，只要知道朝向成为基准的方向(例如正面)时的黑眼珠中心的位置，通过求出从该位置到当前的黑眼珠中心的位置的变位，就能够转换为黑眼珠方向并进行计算。
在用户朝向正面时，左右的黑眼珠中心的中点位于脸部的中心，也就是说利用左右的黑眼珠中心的中点存在于视线方向基准面上这一状态，视线计测部106能够算出左右的黑眼珠中心的中点与视线方向基准面之间的距离，从而检测黑眼珠方向。
具体而言，视线计测部106利用连接眼球半径R和左右的黑眼珠中心的线段的中点与视线方向基准面的距离d，如式(1)所示，将针对脸部朝向的左右方向的旋转角θ作为黑眼珠方向来检测。
[数式1] &theta; = sin - 1 ( d R )    …式（1）
如以上所述，视线计测部106利用视线方向基准面和黑眼珠中心的三维位置，来检测黑眼珠方向。并且，视线计测部106利用检测出的脸部朝向和黑眼珠方向，来检测实际空间中的用户的视线方向。
另外，视线方向的检测方法是多种多样的，例如有角膜反射法、EOG(Electrooculography：眼动电图描记)法，探测线圈法以及巩膜反射法等。因此，视线计测部106可以不必按照上述的方法来检测视线方向。例如，视线计测部106也可以利用角膜反射法来检测视线方向。
角膜反射法是，根据在以点光源照明来照射角膜时明确呈现的角膜反射像(浦肯野式像(Purkinje images))的位置，来计测眼球运动的方法。由于眼球转动中心与角膜的凸面的中心不一致，因此在将角膜作为凸镜，使光源的反射点以凸透镜等聚光时，该聚光点能够随着眼球的转动来移动。通过以摄像装置110来拍摄该点，从而能够计测眼球运动。
在实施例1中，用户状况计测部103的构成虽然是具备视线计测部106，不过，用户状况计测部103的构成也可以是，还具备用于计测作为用户的状况的用户的表情的表情计测部，用户反应分析部104根据表情计测部所计测的用户的表情的变化，来决定针对知觉刺激因素的反应的大小。关于表情的识别提出了非常多的方法，其中有适用了提取基于光流的动态的特征量，进行模板匹配或主成分分析(PCA：Principal Component Analysis)、判别分析，支持向量机(SVM：Support Vector Machine)等图形识别方法的方法。并且，也提出了许多利用了隐马尔可夫模型(HMM：Hideen MarkovModel)等时间序列图形识别方法的方法。表情计测部恰当地利用这些方法，来计测表情。
并且，用户状况计测部103的构成还可以是，进一步具备用于计测作为用户的状况的用户的姿势的姿势计测部，用户反应分析部104根据姿势计测部所计测的用户的姿势的变化，来决定针对知觉刺激因素的反应的大小。关于姿势的计测也知道若干个方法。例如，非专利文献「苍泽央、川原圭博、森川博之、青山友纪：利用了考虑了传感器安装位置的三轴加速度传感器的姿势推测方法（センサ装着場所を考慮した3軸加速度センサを用いた姿勢推定手法），信息处理学会研究报告(情報処理学会研究報告)，UBI普适计算系统(UBIユビキタスコンピューティングシステム)，pp.15-22，2006」以及非专利文献「鹫见和彦、田中宏一、松山隆司：利用了三维姿势计测的人的动作特征的描述(三次元姿勢計測を用いた人の動作特徴の記述)，图像的识别理解专题论文集(画像の認識理解シンポジウム)MIRU2004，vol.1，pp.660-665，2004」中记载的内容。姿势计测部恰当地利用这些方法来计测姿势。
<用户反应的分析>
接着，对用户针对知觉刺激因素的反应的大小的决定方法进行详细的说明。该针对知觉刺激因素的用户的反应的大小能够获取针对知觉刺激因素的用户的注目度。
用户反应分析部104的构成也可以是，根据视线计测部106作为用户的视线运动而计测的对知觉刺激因素的视线滞留时间，来决定针对知觉刺激因素的用户的反应的大小。一般而言，人对于感兴趣的对象会一直注视，视线的滞留时间示出了对该对象的兴趣的大小以及注目度的大小。因此，用户反应分析部104对从视线计测部106的输出值所算出的注视坐标系与视觉刺激因素的提示位置进行比较，计测对知觉刺激因素的视线滞留时间，该视线滞留时间越长，就越将用户针对知觉刺激因素的反应的大小判断为大。
并且，用户反应分析部104的构成也可以是，根据视线计测部106作为用户的视线运动而计测的、显示部101所显示的影像的主区域与知觉刺激因素之间的眼急动次数，来决定用户针对知觉刺激因素的反应的大小。人在执行某个任务之时，在对突然袭来的刺激产生了兴趣的情况下，会多次地将注意移向该突然袭来的刺激，从而发生眼急动。因此，在以电视机等显示装置视听影像的过程中，在该影像中被提示有不同的突然袭来的刺激，并且在人对该刺激产生了兴趣的情况下，会在该刺激的提示位置的方向上发生眼急动。因此，用户反应分析部104根据从视线计测部106的输出值算出的注视坐标系，来计测显示部101所显示的影像的主区域与知觉刺激因素的提示位置之间的眼急动次数，向知觉刺激因素的提示位置的眼急动的次数越多，用户针对知觉刺激因素的反应就越大。
而且，用户反应分析部104的构成也可以是，根据视线计测部106作为用户的视线运动而计测的眨眼次数，来决定用户针对知觉刺激因素的反应的大小。可以知道眨眼的发生是受人注意或兴趣影响的。因此，用户反应分析部104也可以根据视线计测部106所计测的眨眼次数，来决定针对知觉刺激因素的注目度。具体而言，眨眼次数越多，用户针对知觉刺激因素的注目度就越高。
并且，用户反应分析部104也可以是，在用户状况计测部103为具备表情计测部107的构成的情况下，根据用户的表情的变化，来决定针对知觉刺激因素的反应的大小。在用户状况计测部103的构成为具备用于计测用户的姿势的姿势计测部108的情况下，用户反应分析部104也可以根据用户的姿势的变化，来决定针对知觉刺激因素的反应的大小。
<知觉刺激的控制>
接着，对知觉刺激的控制进行详细的说明。
首先，知觉刺激控制部102，提示第一刺激度的知觉刺激因素，根据用户反应分析部104所决定的反应的大小，使知觉刺激因素的刺激度从第一刺激度发生变动，并提示变动后的知觉刺激因素，在提示第一刺激度的知觉刺激因素之后的规定的时间内，若针对知觉刺激因素的反应的大小若不满规定的阈值，则知觉刺激控制部102使知觉刺激因素的刺激度减弱，或者停止知觉刺激因素的提示。并且，知觉刺激控制部102在提示第一刺激度的知觉刺激因素之后的规定的时间内，若针对知觉刺激因素的反应的大小为规定的阈值以上，则向用户提示想要通知的信息。
如图2所示，用户针对知觉刺激因素的反应的大小若在第一阈值以上，则可以提高知觉刺激因素的强度，并确认用户的反应是否为一时性的反应。并且，若用户针对知觉刺激因素的反应的大小不满第一阈值，则能够通过降低知觉刺激因素的刺激度，来防止知觉刺激因素对用户的影像视听带来不必要的妨碍。另外，在针对知觉刺激因素的用户的注目度比第一阈值高的情况下，则提高知觉刺激因素的刺激度，对于摸索用户的反应的大小有效。
在实施例1中，知觉刺激控制部102提示作为知觉刺激因素的视觉刺激因素，根据针对视觉刺激因素的注意度的高低来算出知觉刺激因素的刺激度。即，知觉刺激因素的刺激度是由表示用户的视线的吸引程度的注意度的高低而被决定的。图9A示出了作为视觉刺激因素而利用了图案150的情况下的例子。知觉刺激因素的刺激度能够通过，如图9A的(例1)所示那样变更相同的图案150的数量，或者如(例2)所示那样变更图案150本身的颜色、明亮度、对比度等来进行调整。除此之外，也可以是图9A的(例3)所示那样通过变更图案150本身来变更刺激度，也可以是(例4)所示那样来变更相同的图案150的大小。
并且，知觉刺激控制部102也可以将知觉刺激因素提示到显示部101的画面内。而且，知觉刺激控制部102也可以将知觉刺激因素与显示部101所显示的影像重叠来进行提示。图9B示出了作为知觉刺激因素的图案150被提示到所显示部101的画面内，并且与显示部101所显示的影像重叠的情况下的一个例子。并且，知觉刺激控制部102也可以提示与显示部101所显示的影像的亮度或色彩的对比度相对应的知觉刺激因素。例如，可以是以下这样的构成，即：通过在被显示在显示部101的影像的亮度低的情况下，提示亮度低的知觉刺激因素，在对比度高的影像的情况下，提示对比度高的知觉刺激因素，从而能够取得影像与知觉刺激因素的刺激度的平衡。并且，也可以是如图9B的(例5)所示那样，知觉刺激因素的刺激度由图案150的显示位置来决定的构成。
并且，知觉刺激控制部102也可以通过被设置在显示部101的聚光圈部111的提示装置，来提示知觉刺激因素。图9C示出了提示装置被设置在显示部101的聚光圈部111的情况的例子。在本实施例中，在聚光圈部111设置有以LED等构成的电平指示器160，根据电平指示器160的发光个数個数来调节知觉刺激因素的刺激度。
并且，知觉刺激控制部102也可以将知觉刺激因素提示给显示部101的外部。例如，也可以是图9D所示的构成，即将知觉刺激装置170与显示部101分别设置。
并且，知觉刺激控制部102的构成也可以是，将显示部101所显示的影像缩小，以不使影像与知觉刺激因素重叠的状态来提示知觉刺激因素。例如也可以是图9E所示的构成，将影像缩小，在没有显示影像的部分提示图案150。
并且，知觉刺激控制部102的构成也可以是，提示基于想要通知给用户的信息的重要度的刺激度的知觉刺激因素。在这种情况下，重要度越高，就可以使知觉刺激因素的刺激度越强。例如，在从被连接于提示控制装置100的电器设备105，接收了电器设备105的故障或工作不良等重要度高的信息的情况下，可以使知觉刺激因素的刺激度增强。
并且，知觉刺激控制部102的构成也可以是，还具备知觉刺激因素数据库180，用于存放多个刺激度的知觉刺激因素，参照被存放于知觉刺激因素数据库180的数据来提示知觉刺激因素。图9F示出了知觉刺激因素数据库180的一个例子。在图9F的例子中，上述的眼急动次数、视线滞留时间、以及眨眼次数与以图案150构成的知觉刺激因素相关联，从而能够参照与上述的眼急动次数、视线滞留时间、以及眨眼次数相对应的知觉刺激因素来进行提示。
图9G是用于对本发明的实施例1中的知觉刺激因素的变形例进行说明的图。如图9G的(a)所示，知觉刺激因素的变形可以为两个阶段，也可以是图9G的(b)所示那样为六个阶段左右，当然也可以更多。
图10、图11、以及图12是对本发明的实施例1中的信息通知的例子进行说明的图。图10、图11、以及图12这三个图的构成均为，利用作为知觉刺激因素的图案150，在显示部101的画面内进行显示。
图10的(a)、图11的(a)、以及图12的(a)示出了没有提示知觉刺激因素的状态，图10的(b)、图11的(b)、以及图12的(b)示出了提示了作为第一刺激度的知觉刺激因素的图案150的状态。图10的(c)、图11的(c)、以及图12的(c)示出了增强了知觉刺激因素的刺激度之后的状态，图10的(d)、图11的(d)、以及图12的(d)示出了显示了通知信息190的状态。
在图10的(b)到图10的(c)、图11的(b)到图11的(c)、以及图12的(b)到图12的(c)，增强了知觉刺激因素的刺激度。即，在图10的(b)到图10的(c)中，通过对图案150增大、增亮，从而增强了知觉刺激因素的刺激度。在图11的(b)到图11的(c)中，通过将图案150的位置从显示部101的画面的边缘移动向靠近中央的位置，从而增强了知觉刺激因素的刺激度。在图12的(b)到图12的(c)中，通过增加图案150的数量，从而增强了知觉刺激因素的刺激度。
通过这种构成，知觉刺激控制部102提示第一刺激度的知觉刺激因素，根据由用户反应分析部104算出的反应的大小，使知觉刺激因素的刺激度从第一刺激度发生变动，并提示变动了刺激度后的知觉刺激因素，在提示了第一刺激度的知觉刺激因素之后的规定的时间内，在针对知觉刺激因素的反应的大小不足规定的阈值的情况下，知觉刺激控制部102使知觉刺激因素的刺激度减弱，或者停止知觉刺激因素的提示。据此，能够实现考虑了用户的视听状况的恰当且自然的信息通知。
并且，也可以是以下的构成，即知觉刺激控制部102提示作为知觉刺激因素的听觉刺激因素，根据听觉刺激因素的音量、音程、或者音量及音程，来算出知觉刺激因素的刺激度。也可以是以下的构成，即知觉刺激控制部102提示具有与显示部101所显示的影像的音声相对应的音声特性的听觉刺激因素。例如，可以将能够与用户正在视听的影像的音声自然融合的声音作为听觉刺激因素来提示，通过改变其音量或音程来使刺激度发生变化。在这种情况下，音量越大刺激度就越强。并且，影像的音声和知觉刺激因素的音程之差越大，刺激度就越强。
并且，知觉刺激控制部102也可以提示作为知觉刺激因素的触觉刺激因素，根据触觉刺激因素的圧迫感、触感、或者圧迫感及触感，来算出知觉刺激因素的刺激度。例如，可以考虑到的构成是，使知觉刺激控制部102与用户座的沙发或椅子等联动，将来沙发或椅子等的振动作为触觉刺激因素来提示给用户等。在这种情况下，振动越大刺激度就越强。
并且，也可以是以下的构成，即知觉刺激因素为嗅觉刺激因素，嗅觉刺激因素的刺激度随着气味的增强、气味变臭、或者气味增强及变臭的程度的加大，刺激度就越强。例如，可以考虑的构成是，使知觉刺激控制部102与气味发生装置联动，将来自气味发生装置的气味作为嗅觉刺激因素来提示给用户等。在这种情况下，气味越强刺激度就越强。
(实施例2)
本发明能够适用于同时对多个影像进行显示的显示装置。在实施例2中，对在显示装置的同一画面上同时显示多个影像的情况下的提示控制装置进行说明。
并且，示出实施例2所涉及的提示控制装置的功能构成的方框图与图1相同。并且，对于用户状况计测部103以及用户反应分析部104的工作，由于与实施例1相同，因此省略说明。
图13示出了实施例2所涉及的提示控制装置。
提示控制装置200是显示部201的显示画面大小为20英寸的大型的输入板终端。换而言之，提示控制装置200适用于内容提示用户接口。显示部201的显示画面的分辨率为，水平像素数约为所谓的4000像素4k分辨率。并且，在提示控制装置200的聚光圈部211被设置有作为用户反应分析部104的摄像装置110。当然，摄像装置110也可以被设置在提示控制装置200的外部。
如图13的(a)所示，显示部201能够在显示画面上同时显示多个影像。在此，影像包括：图像、文本等构成构成的电子杂志或电子教材等内容。具体而言，在实施例2中，以显示部201在显示画面上同时显示四个4影像为例进行说明。不过，同时显示的影像的数并非受此所限。
提示控制装置200能够将各种内容同时显示在显示部201的显示画面上。例如，提示控制装置200能够将新闻等电视机广播、广告，VoD(VideoOn Demand：视频点播)、SNS(Social Networking System：社会网络系统)、电子杂志、电子教材等内容中的四个内容，作为影像A、B、C、以及D来同时显示。
由显示部201显示的四个影像之中，影像A(第一影像)是用户主要正在视听的主要内容。因此，在图13的(a)中，影像A在显示画面上的大小比影像B、C、以及D在显示画面上的大小大。四个影像之中的影像D(第二影像)是用户没有主要视听的辅助内容，而且是知觉刺激控制部102所提示的知觉刺激因素。并且，影像D也是想要提示给用户的信息。影像D在显示画面上的大小比影像A在显示画面上的大小小。
在图13的例子中，上述这样的知觉刺激控制部102将影像D作为知觉刺激因素提示给用户。用户反应分析部104根据用户状况计测部103所计测的用户的状况，决定用户对影像D的反应的大小。
知觉刺激控制部102根据由用户反应分析部104决定的反应的大小，使影像D的刺激度从第一刺激度发生变化后，并进行提示(显示)。具体而言，知觉刺激控制部102通过变更影像D的显示状态，来使影像D的刺激度发生变动。
在此，变更显示状态是指，不仅对作为影像D而显示的内容的详细进行变更，而且还对影像D的状态进行变更。例如，意味着在影像D为VoD内容的情况下，在照常显示VoD内容的状况下，使其他的影像重叠到该VoD内容，变更VoD内容的色调、对比度等。并且，对于使影像D闪烁等影像，适用特定的効果也包含在变更显示状态的范畴内。
在图13中，通过对影像D添加外框，来变更影像D的刺激度。具体而言，通过将外框250从图13的(a)的状态，重叠于影像D而成为图13的(b)所示的状态，从而增强影像D的刺激度。而且，如图13的(c)所示，通过以更粗的外框250重叠于影像D，从而知觉刺激控制部102能够比图13的(b)的状态更加增强影像D的刺激度。另外，如图13所示，在将外框添加到影像D的情况下的刺激度的变更方法中，并非受限于变更外框的宽度。例如，也可以使外框闪烁，通过外框的闪烁的时间间隔来变更刺激度，也可以通过变更外框的颜色来变更刺激度。
并且，在提示了第一刺激度的影像D之后的规定的时间内，针对影像D的用户的反应的大小为规定的阈值以上的情况下，知觉刺激控制部102将作为想要通知给用户的信息的影像D作为主要内容来提示给用户。
具体而言，如图13的(d)所示，以影像D在显示画面上的大小比影像A在显示画面上的大小大的状态，来将影像D显示到显示部201。
并且，例如，在提示了第一刺激度的影像D之后的规定的时间内，针对影像D的用户的反应的大小为规定的阈值以上的情况下，知觉刺激控制部102可以以图13的(a)中的影像A的位置以及大小来显示影像D。即，影像A与影像D在显示画面上的位置可以替换。
这样，通过按照用户的视听状况来变更多个影像在显示画面上的大小以及布局，进行画面的迁移，从而知觉刺激控制部102能够实现恰当且自然的影像显示(信息通知)。
并且，知觉刺激控制部102也可以通过变更影像D的显示内容，来使影像D的刺激度发生变动。
在此，变更显示内容是指，变更作为影像D而被显示的内容的详细。例如，在影像D为静止图像(照片)的情况下，变更显示内容是指，显示与目前作为影像D而被显示的静止图像不同的其他的静止图像。并且，例如，在影像D被显示有SNS的文本的情况下，变更显示内容是指，移动文本或者变更文本的文字大小。并且，例如，在影像D为电视机广播的情况下，变更显示内容典型的是指，变更作为影像D而被显示的电视机广播的接收频道。
图14示出了对影像D的显示内容进行变更，并使刺激度发生变动的例子，表示了作为影像D而显示了静止图像的情况下的例子。
在图14的(a)中，作为影像D，拍摄了风景的静止图像被显示。以该状态为基准，例如图14的(b)所示那样，通过显示作为影像D而拍摄了建筑物的静止图像，从而知觉刺激控制部102使影像D的刺激度发生变动。并且，例如从图14的(b)的状态到图14的(c)所示的状态，通过作为影像D而显示拍摄了动物的静止图像，从而知觉刺激控制部102能够进一步使影像D的刺激度发生变动。最终如图14的(d)所示，在提示了第一刺激度的影像D之后的规定的时间内，针对影像D的用户的反应的大小若为规定的阈值以上，影像D则作为主要内容(想要向用户通知的信息)被提示给用户。
如以上所述，通过从显示通常的静止图像的状态到显示不同的静止图像，从而影像D能够作为知觉刺激因素来发挥功能。
另外，这种情况下的刺激度，例如是由静止图像的切换频度(静止图像的切换时间间隔)而决定的。在切换频度高的情况下，意味着刺激度高，在切换频度低的情况下，意味着刺激度低。
并且，静止图像本身也可以与刺激度相对应。例如，知觉刺激控制部102预先针对多个静止图像的每一个，求出构成静止图像的各个像素的亮度的平均值。这样的像素的亮度的平均值越高(越亮)的静止图像，用户就越容易感知到，为刺激度高的静止图像。即，知觉刺激控制部102可以按照这样的亮度的平均值，来选择想要提示的刺激度的静止图像，通过进行提示来变更刺激度。知觉刺激控制部102预先针对多个静止图像的每一个，求出对于周辺的像素的亮度的变化大于规定的值的像素的数量。这样的针对周辺的像素的亮度的变化比规定的值大的像素的数量越多的静止图像，用户就越容易感知，则为刺激度高的静止图像。即，知觉刺激控制部102也可以按照这样的像素数量，来选择想要提示的刺激度的静止图像，通过进行提示来变更刺激度。而且，也可以将静止图像在视觉上的吸引注意的程度与刺激度相对应，即将显著性与刺激度相对应。在显著性大的情况下，意味着刺激度高，在显著性小的情况下，意味着刺激度低。在显著性的算出方法中，有已知的非专利文献“Itti，L.and Koch，C.：Computationalmodeling of visual attention.Nature Reviews Neuroscience，2(3)，pp.194-203.”等。
以上，利用图13以及图14对本发明的实施例2进行了说明。
并且，在图13以及图14的说明中，在提示了第一刺激度的影像D之后的规定的时间内，若针对影像D的用户的反应的大小为规定的值以上，则知觉刺激控制部102也可以将影像D在显示画面上的大小与影像D的信息量一起增大，来显示影像D。
在此的信息量是指，具体而言，例如在作为影像D而SNS内容被显示的情况下，意味着被显示在显示画面上的文字数。并且，例如在作为知觉刺激因素的影像D，由多个静止图像以缩略图的状态被缩小显示的情况下，作为主要内容被扩大显示的影像D在作为通常的(不是缩略图的状态)静止图像被显示的情况与将信息量增大来显示的情况相对应。
据此，在用户的注意朝向作为知觉刺激因素的影像D的情况下，影像D被扩大，在作为主要内容被显示的同时，能够通过显示画面得到更详细的信息。即，实现了自然的信息通知。
另外，在实施例2，本发明的提示控制装置虽然适用了输入板终端，不过像实施例2这样的提示控制装置也能够适用于智能便携式电话。
以上，根据实施例以及变形例对本发明的一个实施例所涉及的提示控制装置进行了说明，不过本发明并非受这些实施例或其变形例所限。在不超出本发明的主旨的范围内，本领域技术人员所能够想到的针对各种变形实施的实施例以及变形例，或者对不同的实施例或变形例中的构成要素进行的组合而构成的实施方式均包括在本发明的范围内。
而且，本发明还能够进行以下的变形。
(1)上述的提示控制装置，具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。所述ROM或硬盘单元中存储有计算机程序。所述微处理器通过按照所述计算机程序进行工作，从而提示控制装置能够实现其功能。在此，计算机程序是为了实现规定的功能，而由多个针对计算机指示指令的指令代码组合而成。并且，各个装置并非受限于微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等全都被包含在内的计算机系统，也可以是由其中的一部分构成的计算机系统。
(2)构成上述的各个装置的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而被制造的超多功能LSI，具体而言能够以包括微处理器、ROM、RAM等而被构成的计算机系统来实现。所述ROM中存储有计算机程序。所述微处理器通过按照所述计算机程序进行工作，系统LSI能够实现其功能。
在此，虽然例示了系统LSI，不过根据集成度的不同，也可以称为IC、LSI、超级LSI、极超级LSI。并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)或利用能够将LSI内部的电路单元的连接以及设定重新构建的可重装处理器。
而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。生物技术的适用等也将成为可能。
(3)构成上述的各个装置的构成要素的一部分或全部可以由能够装卸于各个装置的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。微处理器通过按照所述计算机程序进行工作，所述IC卡或所述模块能够实现其功能。该IC卡或模块也可以具有抗篡改性。
(4)本发明也可以作为将以上所示的提示控制装置所具备的特征性构成部的工作用为步骤的方法来实现。并且，也可以作为通过使计算机执行这些方法而实现的计算机程序，也可以作为由所述计算机程序构成的数字信号。
并且，本发明可以通过将所述计算机程序或所述数字信号记录到计算机可读取的记录介质来实现，这些记录介质例如是软盘、硬盘、CD-ROM、MO、DVD(数字多功能光盘)、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。并且，也可以以通过被记录到这些记录介质的所述计算机程序或所述数字信号，来实现本发明。
并且，本发明可以通过电气通信电路、无线或有线通信电路、以因特网为代表的网络、以及数据广播等来传递所述计算机程序或所述数字信号。
并且，可以通过将所述程序或所述数字信号记录并传送到所述记录介质，或者可以将所述程序或所述数字信号通过所述网络等来传送，从而可以由独立的其它的计算机系统来执行。
本发明的一个实施例所涉及的提示控制装置有效地用于，具有能够恰当且自然的对信息进行通知的功能的电视机等影像显示装置。
符号说明
100，200提示控制装置
101，201显示部
102知觉刺激控制部
103用户状况计测部
104用户反应分析部
105电器设备
106视线计测部
110摄像装置
111，211聚光圈部
112脸部部位区域数据库(DB)
113脸部部位区域模板数据库(DB)
114包含外眼角和大眼角的区域
115亮度小的区域
120第一区域
130第二区域
140黑眼珠检测过滤器
150图案
160电平指示器
170知觉刺激装置
180知觉刺激因素数据库
190通知信息
250外框

Claims (29)

1.一种提示控制装置，包括：
显示部，显示影像；
知觉刺激控制部，提示知觉刺激因素，该知觉刺激因素用于告知通过所述显示部想要通知给用户的信息的存在；
用户状况计测部，计测所述用户的状况；以及
用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述知觉刺激因素的反应的大小；
所述知觉刺激控制部，
提示第一刺激度的所述知觉刺激因素；
根据由所述用户反应分析部决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；
在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
2.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，在提示了所述第一刺激度的知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小为规定的阈值以上的情况下，提示想要通知给所述用户的信息。
3.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，将视觉刺激因素作为所述知觉刺激因素来提示；
根据用户对所述视觉刺激因素的注意度的高低，算出所述知觉刺激因素的所述刺激度。
4.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，将听觉刺激因素作为所述知觉刺激因素来提示；
根据所述听觉刺激因素的音量、音程、或音量及音程，算出所述知觉刺激因素的所述刺激度。
5.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，将触觉刺激因素作为所述知觉刺激因素来提示；
根据所述触觉刺激因素的圧迫感、触感、或者圧迫感及触感，算出所述知觉刺激因素的所述刺激度。
6.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，将嗅觉刺激因素作为所述知觉刺激因素来提示；
根据所述嗅觉刺激因素的气味的强弱、好坏、或者强弱及好坏，算出所述知觉刺激因素的所述刺激度。
7.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，进一步包括知觉刺激因素数据库，该知觉刺激因素数据库用于存放多个所述刺激度的所述知觉刺激因素；
参照存放于所述知觉刺激因素数据库的数据，来提示所述知觉刺激因素。
8.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，将所述知觉刺激因素提示到所述显示部的画面内。
9.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，通过被设置在所述显示部的聚光圈部的提示装置，来提示所述知觉刺激因素。
10.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，将所述知觉刺激因素提示到所述显示部的外部。
11.如权利要求3所述的提示控制装置，
所述知觉刺激控制部，将所述知觉刺激因素重叠于所述显示部所显示的所述影像来进行提示。
12.如权利要求11所述的提示控制装置，
所述知觉刺激控制部，提示与所述显示部所显示的所述影像的亮度、或色彩的对比度相应的所述知觉刺激因素。
13.如权利要求3所述的提示控制装置，
所述知觉刺激控制部，将所述显示部所显示的所述影像缩小，
以便以所述知觉刺激因素不重叠于该影像的状态来提示所述知觉刺激因素。
14.如权利要求4所述的提示控制装置，
所述知觉刺激控制部，提示具有与所述显示部所显示的所述影像的声音相应的声音特性的所述听觉刺激因素。
15.如权利要求1所述的提示控制装置，
所述知觉刺激控制部，提示基于想要通知给所述用户的信息的重要度的所述刺激度的所述知觉刺激因素。
16.如权利要求1所述的提示控制装置，
所述用户状况计测部，进一步包括视线计测部，该视线计测部计测所述用户的视线运动，以作为所述用户的状况。
17.如权利要求16所述的提示控制装置，
所述用户反应分析部，根据由所述视线计测部作为所述用户的视线运动而计测的、向所述知觉刺激因素的视线滞留时间，来决定所述用户对所述知觉刺激因素的反应的大小。
18.如权利要求16所述的提示控制装置，
所述用户反应分析部，根据由所述视线计测部作为所述用户的视线运动而计测的、所述显示部所显示的所述影像的主区域与所述知觉刺激因素之间的眼急动次数，来决定所述用户对所述知觉刺激因素的反应的大小。
19.如权利要求16所述的提示控制装置
所述用户反应分析部，根据由所述视线计测部作为所述用户的视线运动而计测的眨眼次数，来决定所述用户对所述知觉刺激因素的反应的大小。
20.如权利要求1所述的提示控制装置，
所述用户状况计测部，进一步包括表情计测部，该表情计测部计测所述用户的表情，以作为所述用户的状况；
所述用户反应分析部，根据所述表情计测部所计测的所述用户的表情的变化，来决定所述用户对所述知觉刺激因素的反应的大小。
21.如权利要求1所述的提示控制装置，
所述用户状况计测部，进一步包括姿势计测部，该姿势计测部计测所述用户的姿势，以作为所述用户的状况；
所述用户反应分析部，根据由所述姿势计测部计测的所述用户的姿势的变化，来决定所述用户对所述知觉刺激因素的反应的大小。
22.如权利要求2所述的提示控制装置，
所述显示部，对第一影像和第二影像同时进行显示，所述第二影像是在所述显示部的画面中比所述第一影像的大小小的影像；
所述第二影像是想要通知给所述用户的信息，并且是所述知觉刺激控制部所提示的所述知觉刺激因素；
所述用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述第二影像的反应的大小；
所述知觉刺激控制部，
提示第一刺激度的所述第二影像，
根据由所述用户反应分析部决定的反应的大小，使所述第二影像的刺激度从所述第一刺激度发生变动后，提示所述第二影像；
在提示了所述第一刺激度的所述第二影像之后的规定的时间内，
在所述用户对所述第二影像的反应的大小不足规定的阈值的情况下，使所述第二影像的刺激度减弱，
在所述用户对所述第二影像的反应的大小为规定的阈值以上的情况下，以所述第二影像在所述显示部的画面中的大小比所述第一影像大的状态，将所述第二影像显示到所述显示部。
23.如权利要求22所述的提示控制装置，
所述知觉刺激控制部，通过变更所述第二影像的显示状态，来使所述第二影像的刺激度发生变动。
24.如权利要求22所述的提示控制装置，
所述知觉刺激控制部，通过变更所述第二影像的显示内容，来使所述第二影像的刺激度发生变动。
25.如权利要求24所述的提示控制装置，
所述知觉刺激控制部，
将静止图像作为所述第二影像来提示；
通过将提示的所述静止图像变更为与该静止图像不同的静止图像，来使所述第二影像的刺激度发生变动。
26.一种集成电路，进行提示控制，
该集成电路包括：
知觉刺激控制部，提示知觉刺激因素，该知觉刺激因素用于告知想要通知给用户的信息的存在；
用户状况计测部，计测所述用户的状况；以及
用户反应分析部，根据所述用户状况计测部的输出，来决定所述用户对所述知觉刺激因素的反应的大小；
所述知觉刺激控制部，
提示第一刺激度的所述知觉刺激因素；
根据由所述用户反应分析部决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；
在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，所述知觉刺激控制部使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
27.一种提示控制方法，包括：
知觉刺激控制步骤，提示知觉刺激因素，该知觉刺激因素用于告知通过显示部想要通知给用户的信息的存在；
用户状况计测步骤，计测所述用户的状况；以及
用户反应分析步骤，根据在所述用户状况计测步骤的输出，来决定所述用户对所述知觉刺激因素的反应的大小；
在所述知觉刺激控制步骤，提示第一刺激度的所述知觉刺激因素；
根据在所述用户反应分析步骤决定的反应的大小，使所述知觉刺激因素的刺激度从所述第一刺激度发生变动后，提示所述知觉刺激因素；
在提示了所述第一刺激度的所述知觉刺激因素之后的规定的时间内，所述用户对所述知觉刺激因素的反应的大小不足规定的阈值的情况下，在所述知觉刺激控制步骤使所述知觉刺激因素的刺激度减弱或停止所述知觉刺激因素的提示。
28.一种程序，用于使计算机执行权利要求27所述的提示控制方法。
29.一种非暂时性的记录介质，记录权利要求28所述的程序。
CN201280001567.XA 2011-07-29 2012-06-14 提示控制装置以及提示控制方法 Active CN103181180B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011167577 2011-07-29
JP2011-167577 2011-07-29
PCT/JP2012/003882 WO2013018267A1 (ja) 2011-07-29 2012-06-14 提示制御装置、及び提示制御方法

Publications (2)

Publication Number Publication Date
CN103181180A true CN103181180A (zh) 2013-06-26
CN103181180B CN103181180B (zh) 2017-03-29

Family

ID=47628822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001567.XA Active CN103181180B (zh) 2011-07-29 2012-06-14 提示控制装置以及提示控制方法

Country Status (4)

Country Link
US (1) US20130194177A1 (zh)
JP (1) JPWO2013018267A1 (zh)
CN (1) CN103181180B (zh)
WO (1) WO2013018267A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105361894A (zh) * 2014-08-14 2016-03-02 罗伯特·博世有限公司 用于确定机动车的机动车驾驶员的反应时间的方法和装置
CN105388997A (zh) * 2014-09-02 2016-03-09 苹果公司 向电子设备的用户提供预激提示
CN105787884A (zh) * 2014-12-18 2016-07-20 联想(北京)有限公司 一种图像处理方法及电子设备
CN106133646A (zh) * 2014-03-18 2016-11-16 谷歌公司 基于生理参数确定用户对通知的响应
CN106802714A (zh) * 2016-12-08 2017-06-06 珠海格力电器股份有限公司 终端及其控制方法和装置
US9913033B2 (en) 2014-05-30 2018-03-06 Apple Inc. Synchronization of independent output streams
CN107924236A (zh) * 2015-09-08 2018-04-17 索尼公司 信息处理装置、方法和计算机程序
CN112400189A (zh) * 2019-03-26 2021-02-23 松下知识产权经营株式会社 信息通知系统以及信息通知方法
US11145219B2 (en) 2016-06-23 2021-10-12 Sony Corporation System and method for changing content based on user reaction

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9224071B2 (en) * 2012-11-19 2015-12-29 Microsoft Technology Licensing, Llc Unsupervised object class discovery via bottom up multiple class learning
US9833697B2 (en) 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
JP2014217704A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 画像表示装置並びに画像表示方法
HK1181255A2 (en) * 2013-07-18 2013-11-01 Leung Spencer Yu Cheong Monitor system and method for smart device
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
KR101924702B1 (ko) * 2014-02-24 2019-02-20 소니 주식회사 다른 디바이스들에서의 기능들을 활성화하기 위해 착용형 디바이스들로부터 감각 정보를 취득하기 위한 스마트 착용형 디바이스 및 방법
US9626564B2 (en) * 2014-11-17 2017-04-18 Intel Corporation System for enabling eye contact in electronic images
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
JP6509712B2 (ja) * 2015-11-11 2019-05-08 日本電信電話株式会社 印象推定装置およびプログラム
JP6445418B2 (ja) * 2015-11-11 2018-12-26 日本電信電話株式会社 印象推定装置、印象推定方法、およびプログラム
US9652676B1 (en) * 2015-12-21 2017-05-16 International Business Machines Corporation Video personalizing system, method, and recording medium
CN107340849A (zh) * 2016-04-29 2017-11-10 和鑫光电股份有限公司 移动装置及其护眼控制方法
US10255885B2 (en) * 2016-09-07 2019-04-09 Cisco Technology, Inc. Participant selection bias for a video conferencing display layout based on gaze tracking
JP6996514B2 (ja) * 2016-10-26 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
GB2560340A (en) * 2017-03-07 2018-09-12 Eyn Ltd Verification method and system
US10495902B2 (en) * 2017-03-22 2019-12-03 Johnson & Johnson Vision Care, Inc. Systems and methods for ciliary muscle vibration detection
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US11336968B2 (en) * 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
CN116507992A (zh) * 2020-09-23 2023-07-28 苹果公司 使用生理数据检测非预期用户界面行为

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2697590B2 (ja) * 1993-12-28 1998-01-14 日本電気株式会社 情報提示装置
JP2004199667A (ja) * 2002-12-04 2004-07-15 Matsushita Electric Ind Co Ltd 情報提供装置及びその方法
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP4308222B2 (ja) * 2005-05-27 2009-08-05 パナソニック株式会社 情報通知装置および情報通知方法
CN101238711A (zh) * 2005-08-25 2008-08-06 诺基亚公司 用于将事件通知嵌入多媒体内容的方法和设备
WO2007023331A1 (en) * 2005-08-25 2007-03-01 Nokia Corporation Method and device for embedding event notification into multimedia content
JP4707621B2 (ja) * 2006-07-14 2011-06-22 富士通株式会社 情報検索システム
US7930199B1 (en) * 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
CN101512574A (zh) * 2006-09-07 2009-08-19 宝洁公司 用于测量情绪响应和选择偏好的方法
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
US20090237422A1 (en) * 2008-03-18 2009-09-24 Tte Indianapolis Method and apparatus for adjusting the scroll rate of textual media dispayed on a screen
US20110141358A1 (en) * 2009-12-11 2011-06-16 Hardacker Robert L Illuminated bezel information display
US8884939B2 (en) * 2010-07-26 2014-11-11 Apple Inc. Display brightness control based on ambient light levels

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106133646B (zh) * 2014-03-18 2019-07-09 谷歌有限责任公司 基于生理参数确定用户对通知的响应
CN106133646A (zh) * 2014-03-18 2016-11-16 谷歌公司 基于生理参数确定用户对通知的响应
US9913033B2 (en) 2014-05-30 2018-03-06 Apple Inc. Synchronization of independent output streams
CN105361894A (zh) * 2014-08-14 2016-03-02 罗伯特·博世有限公司 用于确定机动车的机动车驾驶员的反应时间的方法和装置
US10984649B2 (en) 2014-09-02 2021-04-20 Apple Inc. Providing priming cues to a user of an electronic device
US10186138B2 (en) 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
CN105388997B (zh) * 2014-09-02 2019-03-08 苹果公司 向电子设备的用户提供预激提示
CN105388997A (zh) * 2014-09-02 2016-03-09 苹果公司 向电子设备的用户提供预激提示
US11521477B2 (en) 2014-09-02 2022-12-06 Apple Inc. Providing priming cues to a user of an electronic device
CN105787884A (zh) * 2014-12-18 2016-07-20 联想(北京)有限公司 一种图像处理方法及电子设备
CN107924236A (zh) * 2015-09-08 2018-04-17 索尼公司 信息处理装置、方法和计算机程序
US10942573B2 (en) 2015-09-08 2021-03-09 Sony Corporation Information processing device, method, and computer
US11314333B2 (en) 2015-09-08 2022-04-26 Sony Corporation Information processing device, method, and computer
US11145219B2 (en) 2016-06-23 2021-10-12 Sony Corporation System and method for changing content based on user reaction
CN106802714A (zh) * 2016-12-08 2017-06-06 珠海格力电器股份有限公司 终端及其控制方法和装置
CN112400189A (zh) * 2019-03-26 2021-02-23 松下知识产权经营株式会社 信息通知系统以及信息通知方法

Also Published As

Publication number Publication date
US20130194177A1 (en) 2013-08-01
JPWO2013018267A1 (ja) 2015-03-05
WO2013018267A1 (ja) 2013-02-07
CN103181180B (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN103181180A (zh) 提示控制装置以及提示控制方法
CN102301316B (zh) 用户界面装置以及输入方法
Fonseca et al. A comparison of head-mounted and hand-held displays for 360 videos with focus on attitude and behavior change
Jansen et al. Influence of disparity on fixation and saccades in free viewing of natural scenes
CN107847226B (zh) 视觉认知测定系统、服务器控制方法
US7963652B2 (en) Method and apparatus for calibration-free eye tracking
US9021395B2 (en) Display control device, integrated circuit, and display control method
US7809160B2 (en) Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
CN101966393B (zh) 显示器观看系统和基于活动跟踪优化显示器画面的方法
WO2012160741A1 (ja) 視覚疲労度測定装置、その方法、視覚疲労度測定システムおよび３次元メガネ
CN102573610A (zh) 统一的视力测试和/或训练
KR20190004088A (ko) 생체신호연동 가상현실 교육 시스템 및 방법
CN104755023A (zh) 图像显示设备和信息输入设备
US20160232561A1 (en) Visual object efficacy measuring device
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP2010094493A (ja) 視認情景に対する視認者情感判定装置
CN104395935A (zh) 用于基于环境信息的视觉复杂度来修改信息呈现的方法和装置
KR20190066428A (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
US20210081047A1 (en) Head-Mounted Display With Haptic Output
CN103595984A (zh) 3d眼镜、3d显示系统及3d显示方法
CN106095106A (zh) 虚拟现实终端及其显示光心距的调整方法及装置
CN104185986A (zh) 图像处理装置、图像处理方法及程序
CN110433062B (zh) 一种基于动态视频影像的视功能训练系统
CN107291233B (zh) 头戴3d显示设备的视觉优化系统、智能终端及头戴设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140929

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140929

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant