CN116601964A - 控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法 - Google Patents

控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法 Download PDF

Info

Publication number
CN116601964A
CN116601964A CN202180082672.XA CN202180082672A CN116601964A CN 116601964 A CN116601964 A CN 116601964A CN 202180082672 A CN202180082672 A CN 202180082672A CN 116601964 A CN116601964 A CN 116601964A
Authority
CN
China
Prior art keywords
viewer
audience
audience quality
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180082672.XA
Other languages
English (en)
Inventor
郡谷康士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Revisio Co ltd
Original Assignee
Revisio Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Revisio Co ltd filed Critical Revisio Co ltd
Publication of CN116601964A publication Critical patent/CN116601964A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43078—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen for seamlessly watching content streams when changing device, e.g. when watching the same program sequentially on a TV and then on a tablet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种拍摄电视机的视听区域并进行各种处理的控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法。根据本发明的一个方式，提供一种控制装置，其具备：视听者检测部，其根据来自配置为拍摄电视机的视听区域的摄像机的影像，检测处于所述视听区域内的视听者的状态；以及设备控制部，其基于所述视听者的状态，控制控制对象设备。

Description

控制程序、控制装置及控制方法、以及视听质量输出程序、视 听质量输出装置及视听质量输出方法
技术领域
本发明涉及控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法。
背景技术
在专利文献1中公开了如下技术：以对电视机的视听区域进行摄像的方式配置摄像机，根据所得到的图像数据，对视听区域中存在的人数和视听区域中的参与视频的人数进行定量化。
在先技术文献
专利文献
专利文献1：日本特表2019-507533号公报
发明内容
(发明要解决的课题)
本发明的课题在于提供一种拍摄电视机的视听区域并进行各种处理的控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法。
(用于解决课题的技术方案)
根据本发明的一个方式，提供一种控制装置，其具备：视听者检测部，其根据来自配置为拍摄显示器的视听区域的摄像机的影像，检测处于所述视听区域内的视听者的状态；以及设备控制部，其基于所述视听者的状态，控制控制对象设备。
还可以是，具备显示器状态检测部，所述显示器状态检测部基于来自所述显示器的声音信息来检测所述显示器的状态，所述设备控制部基于所述视听者的状态以及所述显示器的状态来控制所述控制对象设备。
还可以是，所述显示器状态检测部检测由所述显示器播放的内容作为所述显示器的状态，所述设备控制部基于由所述显示器播放的内容，控制所述控制对象设备。
还可以是，所述控制对象设备是所述视听者的便携终端，所述设备控制部进行控制，以便所述视听者的便携终端显示与由所述显示器播放的内容相关的信息。
还可以是，所述控制对象设备是对话型扬声器，所述设备控制部进行控制，以便从所述对话型扬声器输出与由所述显示器播放的内容相关的信息。
还可以是，所述视听者检测部检测所述视听者是否正在注视所述显示器作为所述视听者的状态，所述设备控制部根据所述视听者是否正在注视所述显示器来控制所述控制对象设备。
还可以是，所述控制对象设备是所述视听者的便携终端，所述视听者检测部检测所述视听者是否正在观看便携终端作为所述视听者的状态，所述设备控制部在所述视听者正在观看便携终端的情况下，控制所述便携终端。
根据本发明的一个方式，提供一种使计算机作为视听者检测部以及设备控制部发挥功能的控制程序，所述视听者检测部根据来自配置为拍摄显示器的视听区域的摄像机的影像，检测处于所述视听区域内的视听者的状态，所述设备控制部基于所述视听者的状态，控制控制对象设备。
根据本发明的一个方式，提供一种控制方法，其中，基于来自配置为拍摄显示器的视听区域的摄像机的影像，检测处于所述视听区域内的视听者的状态，基于所述视听者的状态，控制控制对象设备。
根据本发明的一个方式，提供一种视听质量输出程序，其使计算机作为设定受理机构、获取机构以及输出控制机构发挥功能，所述设定受理机构受理广播台、期间、内容以及视听者的属性中的至少1个的设定，所述获取机构按照每个广播台以及日期时间、或者按照每个内容，从与视听者的属性建立关联地存储了视听质量值的存储机构获取与受理的所述设定相应的视听质量值，所述输出控制机构根据受理的所述设定，输出与视听质量值有关的信息。
还可以是，所述输出控制机构使显示器显示与所述视听质量值相关的信息。
还可以是，所述输出控制机构在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，使所述显示器显示视听质量信息，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值相关的信息对应的视听质量信息。
还可以是，所述设定受理机构受理统计时间的设定，所述时间轴的单位与所述统计时间对应。
还可以是，在受理的所述设定包含广播台的选择的情况下，所述输出控制机构使显示器对于各个所选择的广播台显示所述视听质量信息。
根据本发明的一个方式，提供一种视听质量输出程序，其使计算机作为获取机构以及输出控制机构发挥功能，所述获取机构按照每个广播台以及日期时间、或者按照每个内容，从存储了视听者的视听质量值的存储机构获取视听质量值，所述输出控制机构在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，并输出视听质量信息，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值有关的信息对应的视听质量信息。
还可以是，所述输出控制部使显示器显示所述视听质量信息。
还可以是，各星期号以及各时间段所对应的位置是所述视听质量值越高颜色越浓的颜色、或者与视听质量值相关的信息所对应的颜色。
还可以是，所述输出控制机构使与视听质量值相关的信息显示在各星期号以及各时间段所对应的位置。
还可以是，对于全部广播台的每一个广播台，所述输出控制机构使显示器显示所述视听质量信息。
根据本发明的一个方式，提供一种视听质量输出程序，其使计算机作为获取机构以及输出控制机构发挥功能，所述获取机构针对多次播放的各个内容，从存储了视听者的视听质量值的存储机构获取视听质量值，所述输出控制机构使与多次播放的所述各个内容的视听质量值相关的信息的变化以图表进行输出。
还可以是，所述图表的第一轴表示时间，所述图表的第二轴表示与在所述第一轴表示的时间播放的内容的所述视听质量值相关的值。
还可以是，所述图表的第一轴是对显示特定的内容时的视听率进行累计而得到的值，所述图表的第二轴是与所述第一轴表示的值相对的、与视听质量值相关的值。
根据本发明的一个方式，提供一种视听质量输出装置，其具备：设定受理机构，其受理广播台、期间、内容以及视听者的属性中的至少1个的设定；获取机构，其按照每个广播台以及日期时间、或者按照每个内容，从与视听者的属性建立关联地存储视听质量值的存储机构获取与受理的所述设定相应的视听质量值；以及输出控制机构，其根据受理的所述设定，输出与视听质量值相关的信息。
根据本发明的一个方式，提供一种视听质量输出方法，其中，受理广播台、期间、内容以及视听者的属性中的至少1个的设定，按照每个广播台以及日期时间、或者按照每个内容，从与视听者的属性建立关联地存储视听质量值的存储装置获取与所述接受到的设定相应的视听质量值，根据受理的所述设定，输出与视听质量值有关的信息。
根据本发明的一个方式，提供一种视听质量输出装置，其具备：获取机构，其按照每个广播台以及日期时间、或者按照每个内容，从存储了视听者的视听质量值的存储机构获取视听质量值；以及输出控制机构，其在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，并输出视听质量信息，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值有关的信息对应的视听质量信息。
根据本发明的一个方式，提供一种视听质量输出方法，其中，按照每个广播台以及日期时间、或者按照每个内容，从存储了视听者的视听质量值的存储机构获取视听质量值，在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，并使视听质量信息输出，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值有关的信息对应的视听质量信息。
根据本发明的一个方式，提供一种视听质量输出装置，其具备：获取机构，其针对多次播放的各个内容，从存储了视听者的视听质量值的存储机构获取视听质量值；以及输出控制机构，其使与多次播放的所述各个内容的视听质量值相关的信息的变化以图表进行输出。
根据本发明的一个方式，提供一种视听质量输出方法，其具备：针对多次播放的各个内容，从存储了视听者的视听质量值的存储机构获取视听质量值的步骤；以及使与多次播放的所述各个内容的视听质量值相关的信息的变化以图表进行输出的步骤。
(发明效果)
能够拍摄电视机的视听区域并进行各种处理。
附图说明
图1是示意性地表示第一实施方式涉及的控制系统的图。
图2是表示第一实施方式涉及的控制系统的概略结构的框图。
图3A是表示视听质量获取系统的概略结构的框图。
图3B是示意性地表示滞在者信息的图。
图3C是示意性地表示注视者信息的图。
图3D是示意性地表示电视机状态信息的图。
图4A是表示频道·广播时间数据库2的结构的一例的图。
图4B是表示节目数据库36的结构的一例的图。
图5是表示视听质量数据库37的构造的一例的图。
图6是表示第二实施方式涉及的视听质量显示系统的概略结构的框图。
图7A是为了受理广播台的设定而显示于显示器52的画面例。
图7B是为了受理期间的设定而显示于显示器52的画面例。
图7C是为了受理属性的设定而显示于显示器52的画面例。
图7D是为了受理统计时间的设定而显示于显示器52的画面例。
图8A是显示表示视听质量值的信息的画面例。
图8B是显示表示视听质量值的信息的另一画面例。
图9是显示表示视听质量值的信息的另一画面例。
图10A是以线图显示视听质量值的画面例。
图10B是以线图显示视听质量值的画面例。
图10C是以线图显示视听质量值的画面例。
具体实施方式
以下，参照附图对本发明涉及的实施方式进行具体说明。
(第一实施方式)
第一实施方式是用摄像机拍摄电视机的视听区域，根据所得到的影像来控制任意设备的实施方式。
图1是示意性地表示第一实施方式涉及的控制系统的图。本控制系统具备摄像机21、麦克风22以及控制装置23。图1还示出了设置在起居室中的电视机100和其前方的视听区域。
摄像机21被配置成对电视机100的框、起居室的天花板等电视机100的视听区域进行拍摄。麦克风22被配置为获取电视机100的扬声器附近等来自电视机100的声音。控制装置23基于由摄像机21拍摄到的影像和/或由麦克风22获取的声音，来控制任意的控制对象设备24。此外，在控制装置23能够从电视机100直接获取来自电视机100的声音信息的情况下(例如能够连接电视机100的耳机插孔、声音输出端子与控制装置23的情况下)，也可以不设置麦克风22。
图2是表示第一实施方式涉及的控制系统的概略结构的框图。本控制系统中的控制装置23具备通信部231、视听者检测部232、电视机状态检测部233、设备控制部234。控制装置23可以是具有处理器以及存储器的计算机，这些各部的功能的一部分或者全部也可以通过处理器执行存储在存储器中的规定的程序来实现。
通信部231进行与摄像机21、麦克风22以及控制对象设备24的通信。通信的种类没有特别限制，既可以是有线通信，也可以是近距离无线通信、无线LAN等无线通信。具体而言，通信部231接收来自摄像机21、麦克风22的信息。另外，通信部231发送用于控制摄像机21、麦克风22以及控制对象设备24的信息。
视听者检测部232根据来自摄像机21的影像，来检测处于视听区域内的视听者的状态。作为具体的处理例，视听者检测部232通过根据来自摄像机21的影像进行脸部识别等，来确定处于视听区域内的视听者(或者视听区域内没有视听者的情况)。视听者检测部232也可以进行作为物体识别的一部分功能的人体识别，提取检测出的人体所包含的脸部，进行与预先注册的脸部照片的核对。并且，视听者检测部232检测各视听者是否注视电视机100、或者各视听者是否正在看自身的便携终端(智能手机、平板电脑等)等。另外，在本说明书中，有时将处于电视机的视听区域中的人(不论是否实际正在视听)称为“视听者”。
另外，视听者检测部232也可以检测所确定的各视听者的属性(性别、年龄等)、喜怒哀乐这样的表情。此外，视听者检测部232也可以将处于视听区域内的视听者的数量、各视听者注视电视机100的时间、电视机100与视听者的距离等作为视听者的状态进行检测。视听者检测部232可以利用人工智能进行检测处理，也可以通过公知的方法进行检测处理。
电视机状态检测部233根据来自电视机100的声音信息，来检测电视机100的状态。电视机100的状态是指电视机100是打开还是关闭、正在播放哪个内容等。内容既可以是节目，也可以是CM，还可以是特定的场景(一定的事件、事故等)，内容的单位是任意的。另外，这里的内容可以是当前广播中(实时)的内容，也可以是录像的内容。另外，作为内容，既可以确定内容，也可以检测内容的类别(体育、电影、新闻等)。另外，内容不限于基于广播波的内容，也包括经由互联网提供的内容(在该情况下，可以不是电视机100而是单纯的显示器)。确定在电视机100中播放的内容的方法的例子在第二实施方式中叙述。
设备控制部234基于视听者检测部232和/或电视机状态检测部233的检测结果，控制控制对象设备24。更详细而言，设备控制部234生成用于控制控制对象设备24的控制信息，经由通信部231发送控制信息，由此控制控制对象设备24。控制对象设备24例如可以是电视机100本身，也可以是电视机以外的扬声器、(设置有电视机的客厅或其他房间的)照明、视听者的便携终端、对话型扬声器(具有AI助手功能的被称为所谓的“智能扬声器”)等。
在此，设备控制部234也可以通过对不与外部设备网络连接的控制对象设备24(设置于家庭内的电视机、扬声器、照明等)经由近距离无线通信或家庭内LAN发送控制信号，来直接控制控制对象设备24。另外，对于与服务器等外部设备网络连接的控制对象设备24(便携终端、对话型扬声器等)，也可以经由互联网线路向服务器等外部设备发送控制信号，从而间接地控制控制对象设备24(即，外部设备根据来自设备控制部234的控制信号控制控制对象设备24)。
另外，优选地，设备控制部234预先掌握应该控制所确定的视听者个人的便携终端的、能够由视听者检测部232确定的视听者(设置有电视机的家庭内的父亲还是母亲等)与该视听者使用的便携终端的对应关系。
如上所述，通过利用摄像机21能够检测处于视听区域内的视听者，并且，能够通过利用麦克风22来检测电视机100的状态。因此，设备控制部234也可以使用这两者来控制控制对象设备24。或者，也可以仅使用其中一方来控制设备控制部234控制控制对象设备24。以下，举出由设备控制部234进行的控制的具体例。
例如，在尽管视听区域内没有视听者但电视机100接通的情况下，设备控制部234也可以关闭电视机100，或者关闭设置有电视机100的房间的照明。或者，在从视听区域内没有视听者的状态变成了有视听者的状态的情况下，设备控制部234也可以接通电视机100。另外，在从视听区域内没有视听者的状态变成有视听者的状态，且该视听者注视了电视机100的情况下，设备控制部234也可以接通电视机100。
另外，设备控制部234也可以控制电视机100的内容。例如，在视听者未注视电视机100的情况下，也可以使电视机100的显示器的至少一部分显示用于吸引视听者的注意力的图像，或者从电视机100的扬声器输出声音。这样的图像或声音可以是预先设定的图像或声音，也可以是符合视听者的属性、喜好的图像或声音。
另外，设备控制部234也可以基于由电视机100播放的内容来控制控制对象设备24。作为具体例，设备控制部234也可以使与内容相关的信息从对话型扬声器输出，或者显示于视听者的便携终端。更详细而言，设备控制部234将表示正在播放的内容的信息发送到与便携终端、对话型扬声器连接的外部服务器。由此，接受来自外部服务器的控制，从对话型扬声器推荐与该内容相关的信息，或者将与该内容相关的广告显示于视听者的便携终端。
另外，设备控制部234也可以在视听者观看便携终端的情况下控制该便携终端。或者，设备控制部234也可以在视听者未注视电视机的情况下，视为视听者正在观看便携终端，并控制该便携终端。作为具体示例，设备控制单元234可以实时地在便携终端上显示关于由电视机播放的CM的信息。由此，即使视听者没有注视在电视机中播放的CM，也能够让视听者观看与该CM相同的内容或相关内容的广告。
如上所述，在第一实施方式中，用摄像机21拍摄电视机100的视听区域，根据所得到的影像来控制控制对象设备24。因此，根据在视听区域中是否有视听者、在有视听者的情况下有什么样的视听者、是否正在观看电视机这样的视听区域的各种状况来适当地控制控制对象设备24。进而，在第一实施方式中，通过考虑从电视机100的声音获取的电视机100的状态来控制控制对象设备24，能够进行更多样的控制。
(第二实施方式)
一直以来，作为表示视听特定的电视节目的家庭的比例的标准，广泛使用“家庭视听率”。但是，家庭视听率只不过是与对该电视节目选台的家庭的比例对应，并不一定与视听该电视节目的家庭的比例相关。
另外，近年来，也不以家庭的比例为单位，而是以个人为单位获取视听率。关于个人单位的视听率，在规定的装置中设置与家人的构成人员分别对应的按钮，观看电视机的人选择与自身对应的按钮，由此记录为视听节目的视听率。然而，关于个人单位的视听率，并不限于该人实际上正在收看电视机，也有可能只是无意中一直开着电视机。
与此相对，上述的专利文献1着眼于视听的“质量”，公开了对存在于显示器前的视听区域中的人的数量和视听区域中的参与视频的人的数量进行定量化的技术。但是，专利文献1仅公开了仅对这些数量进行定量化，没有考虑如何向用户提示才好。
接下来叙述的第二实施方式能够更容易理解地提示视听质量。
在第二实施方式中，将视听质量定量化为视听质量值。作为视听质量的例子，使用多少视听者能够视听电视机的指标(Viewability Index，以下称为“VI值”)、以及多少视听者注视电视机的指标(Attention Index，以下称为“AI值”)。VI值表示视听者的滞在程度，滞在程度越高，表示对于每1台电视机，越多的视听者位于电视机前。另一方面，AI值表示视听者的注视程度，注视程度越高，表示在该视听率中越多的视听者注视了电视机的内容。
首先，对VI值和AI值获取法的一例进行说明。
图3A是表示视听质量获取系统的概略结构的框图。视听质量获取系统具备视听信息获取装置1、频道·广播时间数据库2以及视听质量管理装置3。视听信息获取装置1按每个家庭设置，设想视听质量管理装置3汇集来自各家庭的视听信息获取装置1的信息。
视听信息获取装置1按每个家庭设置。另外，属于各家庭的人(家庭构成人员)是预先设定的。以下，对在设置有视听信息获取装置1的家庭中包含家庭构成人员A、B、C这3人的情况进行说明。
视听信息获取装置1具有摄像机11、IR传感器12、视听者检测部13、麦克风14、电视机状态检测部15以及发送部16。
摄像机11拍摄电视机的视听区域(电视机的前方)，并将摄像机图像供给到视听者检测部13。
IR传感器12具有向视听区域照射红外线的发光部和检测从物体(特别是视听者)反射的红外线的受光部。并且，IR传感器12基于由受光部检测出的红外线，生成表示发光部与物体的距离的深度图像，并供给到视听者检测部13。
视听者检测部13具有滞在者检测部131和注视者检测部132。
滞在者检测部131根据摄像机图像和深度图像进行脸部识别等，或者根据步行方式、体型等，检测处于视听区域的滞在者。更具体而言，滞在者检测部131确定滞在者是家庭构成人员A～C中的哪一个。然后，滞在者检测部131生成表示在各时刻哪个视听者正滞在的滞在者信息。
在图3B中示意性地示出滞在者信息。如该图所示，滞在者信息表示在各时刻家庭构成人员A～C各自是否正滞在在视听区域。该图的圆圈表示滞在，叉号表示未滞在。例如，家庭构成人员A在2020年1月3日的19时00分00秒、同日19时00分05秒、同日19时00分10秒都滞在在视听区域。
也可以说滞在者信息表示各时刻的滞在者数。另外，在图3B中以5秒为单位检测出滞在者，但对单位没有特别限制。
注视者检测部132根据摄像机图像和深度图像分析视听者的姿势、移动、脸部的朝向、视线的移动等，由此检测注视电视机的滞在者。更具体而言，注视者检测部132确定注视者是家庭构成人员A～C中的哪一个。然后，注视者检测部132生成表示在各时刻哪个视听者正注视电视机的注视者信息。
在图3C中示意性地示出了注视者信息。如该图所示，注视者信息表示在各时刻家庭构成人员A～C各自是否注视了电视机。该图的圆圈表示正在注视，叉号表示未注视。例如，家庭构成人员A在2020年1月3日的19时00分00秒以及同日19点00分10秒注视电视机，但同日19点00分05秒没有注视电视机。
也可以说注视者信息表示各时刻的注视者数。另外，在图3B中以5秒为单位检测出注视者，但对单位没有特别限制。
返回到图3A，麦克风14收集从电视机播放的声音，并且将声音供给到电视机状态检测部15。
电视机状态检测部15基于来自电视机的声音信息，而获取电视机的状态。具体而言，电视机状态检测部15具有指纹生成部151和频道·广播时间信息获取部152。
指纹生成部151对来自麦克风14的声音进行处理，生成音频指纹(以下，简称为“指纹”)F。
频道·广播时间信息获取部152基于存储了指纹F和频道(广播台)以及广播时间的对应关系的频道·广播时间数据库2，来获取各时刻的电视机的状态，生成电视机状态信息。电视机状态信息表示在各时刻显示在电视机上的内容的广播台和广播日期时间。
作为具体的处理的例子，频道·广播时间信息获取部152向具有频道·广播时间数据库2的服务发送所生成的指纹F。然后，频道·广播时间信息获取部152基于指纹F来接收表示由该服务确定的频道以及广播时间的信息。
图4A是表示频道·广播时间数据库2的结构的一例的图。如图所示，指纹与广播台及广播日期时间和视听日期时间相关联地存储。例如，在特定的时刻，由图3A的指纹生成部151生成的是指纹F2的情况下，由电视机播放的是在2020年1月3日19时00分00秒～同日19时00分05秒由广播台Q广播的节目。
图3D示意地表示电视机状态信息。例如，在2020年1月3日的19时00分00秒和同日19点00分05秒，在电视机中显示了在广播台X中分别广播2020年1月3日的19时00分00秒和同日19时00分05秒的内容。另外，在图3D中，以5秒为单位检测电视机状态，但对单位没有特别限制。
返回到图3A，视听信息获取装置1的发送部16将滞在者信息(图3B)、注视者信息(图3C)以及电视机状态信息(图3D)发送到视听质量管理装置3。从各视听信息获取装置1向视听质量管理装置3发送同样的信息。
另外，图3A的视听信息获取装置1并不是必须设为图示的所有结构。例如，也可以省略IR传感器12，注视者检测部132仅从摄像机图像进行注视者的检测。
接着，对视听质量管理装置3进行叙述。视听质量管理装置3具有属性检测部31、节目信息获取部32、VI值计算部33、AI值计算部34、数据库(DB)写入部35、节目数据库36以及视听质量数据库37。
属性检测部31检测视听者的属性。具体而言，属性检测部31与各视听信息获取装置1相关联地设定有该视听信息获取装置1被设置的家庭的家庭构成人员的属性(性别、年龄、年收入等)。例如，设定了上述的家庭构成人员A～C这3人的属性。并且，属性检测部31基于来自视听信息获取装置1的滞在者信息以及注视者信息，而分别确定在各时刻滞在在视听区域的视听者以及在各时刻注视电视机的视听者的属性。作为年龄以及性别，例如也可以确定是在营销中使用的区段(C、T、M1～M3、F1～F3)中的哪一个。
节目信息获取部32参照存储频道(广播台)以及广播时间与节目的对应关系的节目数据库36，来确定电视机状态信息表示的频道(广播台)以及广播时间中广播的节目。
图4B是表示节目数据库36的结构的一例的图。如图所示，广播台以及广播时间与在各广播台中在各广播时间广播的节目相关联地存储。例如，在2020年1月3日19点～21点由广播台Q广播的节目是职业棒球B。
如以上那样，电视机状态检测部15和节目信息获取部32协作，能够获取由电视机播放的内容。另外，根据数据库的结构，也可以不确定频道以及广播时间，而从指纹F直接确定节目。或者，也可以仅确定频道以及广播时间。
根据利用指纹F来确定节目的方法，不仅能够确定实时广播的节目，还能够确定被录像并时移视听的节目。
另外，图4B示出了以内容单位存储在节目数据库36中的例子，但也可以以比内容(所谓的节目(狭义的内容))更细的单位(例如CM、内容中的特定的场景(广义的内容))存储在节目数据库36中。
返回图3A，VI值计算部33基于来自各视听信息获取装置1的滞在者信息来统计滞在者数，并按各广播台以及日期时间(或者按每个内容，以下相同)与视听者的属性建立关联地计算VI值。AI值计算部34根据来自各视听信息获取装置1的注视者信息来统计注视者数，按各广播台以及日期时间，与视听者的属性建立关联地计算AI值。数据库写入部35按照各广播台以及日期时间，而与视听者的属性建立关联地将VI值和AI值写入到视听质量数据库37中。
图5是表示视听质量数据库37的构造的一例的图。在图示的例子中，针对每个节目(广播日期时间以及广播台)，将VI值以及AI值与视听者的属性(在此为性别、年龄以及收入)相关联地存储。例如，在2020年1月3日的19点～19点30分，由广播台P广播的“新闻A”的、M1层的收入300万日元以下的视听者的AI值是0.2，VI值是0.15。
如以上那样，在视听质量数据库37中存储视听质量值的信息。另外，以上叙述的只是一例，只要能够按各广播台以及日期时间存储视听质量值即可，能够进行适当的变更。例如，作为属性，既可以使用性别、年龄以及年收入中的1个或者2个，也可以包含其他要素，也可以省略属性。另外，作为视听质量值，也可以应用VI值以及AI值以外的指标。
接着，对视听质量的显示进行说明。
图6是表示第二实施方式涉及的视听质量显示系统的概略结构的框图。视听质量显示系统具备视听质量显示装置5和图1的视听质量数据库37。
视听质量显示装置5可以是个人计算机、智能手机、平板电脑等任意的计算机，具有输入界面51、显示器52、设定受理部53、视听质量获取部54、输出控制部55。设定受理部53、视听质量获取部54以及输出控制部55的功能的至少一部分也可以通过视听质量显示装置5的处理器执行规定的程序来实现。
设定受理部53经由输入界面51从用户受理使什么样的视听质量显示(即，要显示的视听质量的对象)的设定。该设定例如可以包括广播台、期间、节目、视听者的属性、统计时间中的至少1个。视听质量获取部54访问视听质量数据库37，获取与设定受理部53受理的设定相应的视听质量值。输出控制部55输出用于受理上述的设定的画面、表示视听质量获取部54获取的视听质量值的信息。
输出控制部55既可以使表示视听质量值的信息显示于显示器52，也可以由未图示的打印机进行印刷，也可以生成CSV等电子文件并输出，也可以作为电子数据通过API向外部输出。以下，主要叙述输出控制部55使显示器52显示表示视听量值的信息的例子，但也可以进行同样的印刷，也可以输出用于显示同样的画面的电子文件、电子数据。
图7A是为了受理广播台的设定而显示于显示器52的画面例。如图所示，按每个广播台设置复选框，能够对1个以上的复选框进行复选。用户经由输入界面51对想要显示视听质量值的广播台的复选框进行复选，由此选择广播台。视听质量获取部54获取关于所选择的广播台的节目的视听质量值。
另外，广播台的设定是任意的，视听质量显示装置5也可以不进行广播台的设定地显示能够在特定的地域广播的全广播台的视听质量值。
图7B是为了受理期间的设定而显示于显示器52的画面例。图7B是以1周单位指定期间的例子，设置有输入使何年何月第几周的视听质量值显示的栏。用户经由输入界面51输入想要显示视听质量的期间，从而指定期间。视听质量获取部54获取所指定的期间内的视听质量值。
另外，期间的设定法没有限制，可以以日期或日期时间来指定初期及终期，期间的单位不限于1周，也可以是特定的1天或1个月。也可以显示日历、钟表，来选择期间的初期以及终期。另外，期间的设定是任意的，视听质量显示装置5也可以不进行期间的设定，而是显示最近1周等预先设定的期间的视听质量值。
另外，设定受理部53也可以代替指定广播台和期间，而以节目单位来受理选择。另外，不仅可以受理个别的节目单位，还可以以新闻或体育这样的类型的单位来受理选择。
图7C是为了受理属性的设定而显示于显示器52的画面例。
如图7C的(a)所示，关于视听者的性别的设定，在“男性”、“女性”以及“两者”分别设置单选按钮，能够排他地选择仅1个单选按钮。用户经由输入界面51选择想要显示视听质量值的性别。视听质量获取部54获取关于所选择的性别(在选择了“两者”的情况下与性别无关)的视听质量值。
如图7C的(b)所示，关于视听者的年龄的选择，对各年龄层设置复选框，能够对1个以上的复选框进行复选。用户经由输入界面51对想要显示视听质量值的年龄层的复选框进行复选，从而指定年龄层。视听质量获取部54获取关于所指定的年龄层的视听质量值。另外，年龄的选择也可以以1岁为基础而任意地由用户指定。
另外，也可以通过C、T、M1～M3、F1～F3这样的区段同时设定性别及年龄层。
如图7C的(c)所示，关于视听者的收入的设定，对各收入层设置复选框，能够对1个以上的复选框进行复选。用户通过经由输入界面51对想要显示视听质量值的收入层的复选框进行复选，来指定收入层。视听质量获取部54获取关于所指定的收入层的视听质量值。
另外，属性的设定是任意的，视听质量显示装置5也可以不进行属性的设定而显示全视听者的视听质量值。另外，既可以进行性别、年龄以及收入的1个或者2个的设定，也可以根据视听质量数据库37的构成来设定其他的属性。
图7D是为了受理统计时间的设定而显示于显示器52的画面例。如图所示，设置有输入统计时间的栏。用户经由输入界面51输入成为统计视听质量值的单位的时间。视听质量获取部54获取视听质量值，并以所设定的统计时间的单位对视听质量值进行统计。例如，如果统计时间为1小时，则视听质量获取部54以1小时单位对视听质量值进行统计，如果统计时间为1天，则视听质量获取部54以1日单位对视听质量值进行统计。统计的单位是任意的，可以是1分钟单位、10分钟单位、1小时单位、1日单位。
需要说明的是，统计时间的设定是任意的，视听质量显示装置5也可以不进行统计时间的设定，而以2小时等预先设定的统计时间对视听质量值进行统计。
图8A是显示表示视听质量值的信息的画面例。在该图中，假定通过设定受理部53将广播台P、2020年3月第1周、统计时间设定为1小时。另外，作为属性指定了M2(35～49岁的男性)，为了方便，仅针对一部分日期时间示出了视听质量值(在此为VI值)。
作为视听质量信息6，在水平方向上设定星期号，在铅垂方向上设定时间轴。时间轴为与统计时间对应的单位(在本例中，统计时间为1小时，因此是1小时单位)。而且，与各星期号以及各时间段对应的位置的显示方式与该星期号以及时间段中的视听质量值对应。
作为显示方式，也可以在与各星期号以及各时间段对应的位置显示视听质量值本身。例如，在图8A中，星期一5点的时间段的视听质量值为0.3，星期二5点的时间段的视听质量值为0.35(其他星期号及其他时间段省略了图示)。
另外，作为显示方式，与各星期号以及各时间段对应的位置(单元格)的颜色、颜色的浓度也可以与视听质量值对应。作为具体例，还可以是，视听质量值越高，颜色越浓。也可以是视听质量值和显示方式对应于1对1，也可以是在视听质量值处于某个范围的情况下为特定的显示方式(例如，每当视听质量值增加0.1时，颜色变浓1阶段)。
在图8A中，为了方便起见，标注视听质量值越高而密度越浓的点。根据这样的显示，能够直观地掌握各星期号以及各时间段中的视听质量值的概要。根据图8A可知，总的来说，在从工作场所回家的19点以后，视听质量较高，接着，六日、上班前的7～8点的视听质量较高。
图8B是显示表示视听质量值的信息的另一画面例。与图8A的不同之处在于，指定F2(35～49岁的女性)作为属性。与作为属性指定了M2的图8A不同，可知在白天的时间段中视听质量较高。
这样，用户通过设定属性，能够掌握与属性相应的视听质量的倾向。例如，在研究面向中年男性的商品的电视广告投放时，优选显示图8A的视听质量信息6。另一方面，在研究面向中年女性的商品的电视广告投放时，优选显示图8B的视听质量信息6。
另外，在选择了多个广播台的情况下，输出控制部55针对该各广播台分别显示图8所示的视听质量信息6。另外，在广播台的数量不那么多的情况下，输出控制部55也可以针对全部(能够在特定的地域广播的)全部的广播台显示视听质量信息6。
图9是显示表示视听质量值的信息的另一画面例。作为与图8的视听质量信息6的差异，在水平方向上设定的星期号为平日和六日这2个区分。即，将汇总了星期一～星期五的视听质量值的值(例如平均值)设为平日的视听质量值，将汇总了星期六及星期日的视听质量值的值(例如平均值)设为六日的视听质量值。另外，在铅垂方向上设定的时间轴也可以不是等间隔。
如以上说明的那样，用户设定显示视听质量值的对象，输出控制部55根据该设定来显示视听质量信息6。因此，能够显示用户期望的视听质量值。另外，在本实施方式中，由于输出控制部55按各星期号以及时间段呈矩阵状地表示视听质量值，因此用户容易掌握各星期号和各时间段的视听质量值。
另外，也可以将多个广播台、期间中的视听质量值汇总并显示。例如，也可以针对早晨的特定的信息节目，来显示在指定的规定期间统计的视听质量值。或者，也可以针对特定的类型的节目，来显示跨广播台统计的视听质量值。能够从用户受理进行怎样的统计的设定。
接着，对在多次播放的内容中使内容的视听质量的迁移通过线图显示的方式进行说明。在此，多次播放的内容例如可以是反复广播的CM、连续剧、再广播的节目等，以下设为是CM的情况。
图10A是以线图显示视听质量的画面例。实线为与饮料A相关的CM，虚线为与饮料B相关的CM，点线为它们的平均。曲线图的横轴表示时间(在图10A中为1个月单位)，在图10A中将1个月作为时间的单位。线图的纵轴表示与在对应的横轴表示的时间播放的内容的视听质量值(在图10A中，VI值与AI值的积)相关的值。
例如，图10A的箭头F是在6月播放的与饮料A相关的CM的VI值与AI值的积。在同月多次播放与饮料A相关的CM的情况下，可以是各次的平均值，也可以是累积值。
这样的线图对于多次播放的内容的每一个，将电视机视听者的视听质量值存储在视听质量数据库37(图6)中，通过视听质量获取部54获取所需的视听质量的信息，由输出控制部55进行显示。另外，这里的“关于各个内容”，既可以是每1次播放，也可以是在特定的期间(例如1日、1周、1个月等)进行统计后的内容。
另外，横轴的时间单位不限于1个月，也可以是1周或1年。另外，设定受理部53也可以经由输入界面51从用户受理时间单位的设定，而使输出控制部55根据所受理的时间单位来设定横轴。另外，纵轴的视听质量值也可以是汇总多个广播台、期间并统计后的值。
另外，设定受理部53也可以经由输入界面51从用户受理线图中的任意部分的指定，来使输出控制部55显示与所指定的部分对应的详细的信息。
例如，如图10B所示，在用户指定了4月的情况下(例如，用户使光标移动到显示器52中的与4月对应的区域的情况下)，输出控制部55也可以用数值显示饮料A以及饮料B的视听质量值。另外，如图10C所示，在用户指定了饮料A的情况下(例如，用户使光标移动到显示器52中的与饮料A对应的区域的情况下)，输出控制部55也可以用数值显示饮料A的各月的视听质量值。
此外，输出控制机构55可以显示CM、播放该CM的节目以及播放该CM的时间。例如，在用户指定了饮料A的9月的情况下，也可以显示与饮料A有关的CM被播放的节目、时间。通过这样的显示，能够推测视听质量值变高的理由、变低的理由。
这样，通过利用线图显示视听质量值，能够掌握视听质量值的迁移。
此外，如图5所示，在与属性建立关联地存储视听质量的情况下，也能够追踪具有特定的属性的视听者的视听动向。例如，通过对M1层追踪视听质量值高的内容，能够掌握被指示为M1层的内容。
另外，作为属性，也能够通过事先对各视听者进行问卷调查来获取各视听者的兴趣、嗜好。在这种情况下，可以追踪具有特定兴趣或嗜好的视听者的视听动向。例如，通过对吸烟者追踪视听质量值高的CM，能够掌握吸烟者关注什么样的牌子。
上述第二实施方式主要例示了VI值和AI值作为视听质量，但也可以使用其他指标。例如，也可以将以下所述的注视者数(独立覆盖数)、注视率(独立覆盖率)、累积注视(Gross Attention)数、累积注视率、注视含有率、注视次数的指标中的至少1个用作视听质量。另外，不仅是电视机，也可以是经由互联网提供的显示器，这与第一实施方式相同。
注视者数是注视特定内容的人的总数。另外，例如，注视率是注视者的数量相对于基准值(例如，全部面板数、作为特定的属性的人的数量)的比例。在此，也可以将即使在极短时间内注视特定的内容的人也包含在注视者数中，但优选仅将注视了规定时间以上的人包含在注视者数中。作为规定时间，例如在内容为15秒左右的CM的情况下，能够设为3秒。是因为根据本申请发明人的见解，当注视的时间为3秒以上时，CM的认知进展。该规定时间既可以是固定值，也可以是与内容的长度对应的值，也可以由用户任意设定。另外，也可以在注视规定次数以上的特定的内容的情况下包含在注视者数中，用户可以任意地设定该规定次数。
例如，在上述规定时间为3秒、基准值为2，000人的情况下，100人注视了3秒以上特定的内容。在该情况下，注视人数为100人，注视率为5％(100/2，0000)。
另外，累积注视率是在多次播放的内容中累积了各内容的注视率后的值。注视含有率是在多次播放的内容中对各内容的视听率进行累积而得到的值的累积注视率。被多次播放的内容例如是被反复广播的CM、连续剧、再广播的节目等。
例如，某个CM被广播3次，其视听率分别为10％、15％和20％，其注视率分别为5％、6％和7％。在该情况下，累计注视率为18(＝5+6+7)％。另外，注视含有率为60(＝(5+6+7)/(10+15+20))％。
关于注视次数的指标是也被称为“频次”的指标。频次是指以规定时间(例如3秒)注视特定的内容(典型的是CM)的情况作为1次注视，且注视次数是规定次数(例如3次)以上的人的数量或比例。如果CM没有观看到一定次数以上，则有可能会出现不与认知相结合的见解，但频次会成为测定哪个程度CM被认知的指标。
为了获取注视率、累积注视率、注视含有率、频次，例如图3A的视听者检测部13中的注视者计数部132也测量各视听者注视电视机的时间，各视听者的注视时间被发送到视听信息管理装置3。并且，在图3A的视听信息管理装置3内设置注视信息计算部，根据各视听者的注视时间计算注视率、累积注视率、注视含有率即可。
注视率、累积注视率、注视含有率、频次，可以说是与注视了规定时间以上的内容的视听质量的数量有关的视听质量。这样的视听质量也能够经由与图7A～图7D同样的界面，与图8A、图8B以及图9同样地提示给用户。
此外，作为视听质量值，也可以是将AI值与VI值的积、AI值或VI值相对于基准值的比率、家庭视听率进行合计后的值等。
另外，图10A以及图10B中的横轴是时间，但也可以将其他参数设为横轴。
例如，输出控制部55也可以使横轴为GRP(对显示有特定的内容等时的视听率进行累计而得到的值(累积视听率))，使纵轴为视听质量值(例如AI值)的线图。另外，输出控制部55也可以使横轴为接触数(与特定的内容接触的次数)，使纵轴为视听质量值的线图。或者，输出控制部55也可以使横轴为经过时间(从特定的内容开始时起的经过时间)，使纵轴为视听质量值的线图。这样，能够任意地设定横轴，以图表显示与视听质量值相关的信息的变化。
另外，也可以将上述的第一实施方式的一部分或者全部组装于第二实施方式，也可以将第二实施方式的一部分或者全部组装于第一实施方式。另外，在上述的实施方式中，主要说明了每个节目的处理，但也可以按每个CM、每个特定的场景等，以任意的单位作为内容进行处理。
上述的实施方式是以具有本发明所属的技术领域中的通常知识的人能够实施本发明为目的而记载的。上述实施方式的各种变形例只要是本领域技术人员即可，本发明的技术思想也能够适用于其他实施方式。因此，本发明不限定于所记载的实施方式，应该设为依照由专利请求的范围所定义的技术思想的最宽的范围。
(标号说明)
[符号说明]
21摄像机
22麦克风
23控制装置
231通信部
232视听者检测部
233电视机状态检测部
234设备控制部
24控制对象设备
1视听信息获取装置
11摄像机
12IR传感器
13视听者检测部
131滞在者检测部
132注视者检测部
14麦克风
15电视机状态检测部
151指纹生成部
152频道·广播时间信息获取部
16发送部
2频道·广播时间数据库
3视听质量管理装置
31属性检测部
32节目信息获取部
33VI值计算部
34AI值计算部
35数据库写入部
36节目数据库
37视听质量数据库
5视听质量显示装置
51输入界面
52显示器
53设定受理部
54视听质量获取部
55输出控制部
6视听质量信息。

Claims (28)

1.一种控制装置，具备：
视听者检测部，其基于来自配置为拍摄显示器的视听区域的摄像机的影像，来检测处于所述视听区域内的视听者的状态；以及
设备控制部，其基于所述视听者的状态，来控制控制对象设备。
2.根据权利要求1所述的控制装置，其中，
所述控制装置具备显示器状态检测部，所述显示器状态检测部基于来自所述显示器的声音信息来检测所述显示器的状态，
所述设备控制部基于所述视听者的状态以及所述显示器的状态来控制所述控制对象设备。
3.根据权利要求2所述的控制装置，其中，
所述显示器状态检测部检测由所述显示器播放的内容来作为所述显示器的状态，
所述设备控制部基于由所述显示器播放的内容，来控制所述控制对象设备。
4.根据权利要求3所述的控制装置，其中，
所述控制对象设备是所述视听者的便携终端，
所述设备控制部进行控制，以便所述视听者的便携终端显示与由所述显示器播放的内容相关的信息。
5.根据权利要求3所述的控制装置，其中，
所述控制对象设备是对话型扬声器，
所述设备控制部进行控制，以便从所述对话型扬声器输出与由所述显示器播放的内容相关的信息。
6.根据权利要求1～5中的任一项所述的控制装置，其中，
所述视听者检测部检测所述视听者是否正在注视所述显示器来作为所述视听者的状态，
所述设备控制部根据所述视听者是否正在注视所述显示器来控制所述控制对象设备。
7.根据权利要求1～6中任一项所述的控制装置，其中，
所述控制对象设备是所述视听者的便携终端，
所述视听者检测部检测所述视听者是否正在观看便携终端来作为所述视听者的状态，
所述设备控制部在所述视听者正在观看便携终端的情况下，控制所述便携终端。
8.一种控制程序，其使计算机作为视听者检测部以及设备控制部发挥功能，
所述视听者检测部基于来自配置为拍摄显示器的视听区域的摄像机的影像，来检测处于所述视听区域内的视听者的状态，
所述设备控制部基于所述视听者的状态，来控制控制对象设备。
9.一种控制方法，其中，
基于来自配置为拍摄显示器的视听区域的摄像机的影像，来检测处于所述视听区域内的视听者的状态，
基于所述视听者的状态，来控制控制对象设备。
10.一种视听质量输出程序，使计算机作为设定受理机构、获取机构以及输出控制机构发挥功能，
所述设定受理机构受理广播台、期间、内容以及视听者的属性中的至少1个的设定，
所述获取机构按照每个广播台以及日期时间、或者按照每个内容，而从与视听者的属性建立关联地存储了视听质量值的存储机构获取与受理的所述设定相应的视听质量值，
所述输出控制机构根据受理的所述设定，而输出与视听质量值有关的信息。
11.根据权利要求10所述的视听质量输出程序，其中，
所述输出控制机构使显示器显示与所述视听质量值相关的信息。
12.根据权利要求11所述的视听质量输出程序，其中，
所述输出控制机构在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，使所述显示器显示视听质量信息，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值相关的信息对应的视听质量信息。
13.根据权利要求12所述的视听质量输出程序，其中，
所述设定受理机构受理统计时间的设定，
所述时间轴的单位与所述统计时间对应。
14.根据权利要求12或13所述的视听质量输出程序，其中，
在受理的所述设定包括广播台的选择的情况下，所述输出控制机构使显示器对于各个所选择的广播台显示所述视听质量信息。
15.一种视听质量输出程序，使计算机作为获取机构以及输出控制机构发挥功能，
所述获取机构按照每个广播台以及日期时间、或者按照每个内容，而从存储了视听者的视听质量值的存储机构获取视听质量值，
所述输出控制机构在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，并输出视听质量信息，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值有关的信息对应的视听质量信息。
16.根据权利要求15所述的视听质量输出程序，其中，
所述输出控制部使显示器显示所述视听质量信息。
17.根据权利要求12或16所述的视听质量输出程序，其中，
各星期号以及各时间段所对应的位置是所述视听质量值越高颜色越浓的颜色、或者与视听质量值相关的信息所对应的颜色。
18.根据权利要求12或16所述的视听质量输出程序，其中，
所述输出控制机构使与视听质量值相关的信息显示在各星期号以及各时间段所对应的位置。
19.根据权利要求12或16所述的视听质量输出程序，其中，
对于全部广播台中的每一个广播台，所述输出控制机构使显示器显示所述视听质量信息。
20.一种视听质量输出程序，其使计算机作为获取机构以及输出控制机构发挥功能，
所述获取机构针对多次播放的各个内容，而从存储了视听者的视听质量值的存储机构获取视听质量值，
所述输出控制机构使与多次播放的所述各个内容的视听质量值相关的信息的变化以图表进行输出。
21.根据权利要求20所述的视听质量输出程序，其中，
所述图表的第一轴表示时间，
所述图表的第二轴表示与在所述第一轴表示的时间播放的内容的所述视听质量值相关的值。
22.根据权利要求20所述的视听质量输出程序，其中，
所述图表的第一轴是对显示特定的内容时的视听率进行累计而得到的值，
所述图表的第二轴是与所述第一轴所示的值相对的、与视听质量值相关的值。
23.一种视听质量输出装置，具备：
设定受理机构，其受理广播台、期间、内容以及视听者的属性中的至少1个的设定；
获取机构，其按照每个广播台以及日期时间、或者按照每个内容，而从与视听者的属性建立关联地存储视听质量值的存储机构获取与受理的所述设定相应的视听质量值；以及
输出控制机构，其根据受理的所述设定，来输出与视听质量值相关的信息。
24.一种视听质量输出方法，其中，
受理广播台、期间、内容以及视听者的属性中的至少1个的设定，
按照每个广播台以及日期时间、或者按照每个内容，而从与视听者的属性建立关联地存储视听质量值的存储装置获取与所述接受到的设定相应的视听质量值，
根据受理的所述设定，来输出与视听质量值有关的信息。
25.一种视听质量输出装置，具备：
获取机构，其按照每个广播台以及日期时间、或者按照每个内容，而从存储了视听者的视听质量值的存储机构获取视听质量值；以及
输出控制机构，其在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，并输出视听质量信息，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值有关的信息对应的视听质量信息。
26.一种视听质量输出方法，其中，
按照每个广播台以及日期时间、或者按照每个内容，而从存储了视听者的视听质量值的存储机构获取视听质量值，
在规定方向上设定星期号，在与所述规定方向正交的方向上设定时间轴，并使视听质量信息输出，所述视听质量信息是与各星期号以及各时间段所对应的位置的显示方式与视听质量值有关的信息对应的视听质量信息。
27.一种视听质量输出装置，具备：
获取机构，其针对多次播放的各个内容，而从存储了视听者的视听质量值的存储机构获取视听质量值；以及
输出控制机构，其使与多次播放的所述各个内容的视听质量值相关的信息的变化以图表进行输出。
28.一种视听质量输出方法，具备：
针对多次播放的各个内容，从存储了视听者的视听质量值的存储机构获取视听质量值的步骤；以及
使与多次播放的所述各个内容的视听质量值相关的信息的变化以图表进行输出的步骤。
CN202180082672.XA 2020-12-08 2021-12-07 控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法 Pending CN116601964A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-203142 2020-12-08
JP2020203142A JP2022090692A (ja) 2020-12-08 2020-12-08 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法
PCT/JP2021/044843 WO2022124289A1 (ja) 2020-12-08 2021-12-07 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法

Publications (1)

Publication Number Publication Date
CN116601964A true CN116601964A (zh) 2023-08-15

Family

ID=81974447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180082672.XA Pending CN116601964A (zh) 2020-12-08 2021-12-07 控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法

Country Status (4)

Country Link
JP (1) JP2022090692A (zh)
KR (1) KR20230117733A (zh)
CN (1) CN116601964A (zh)
WO (1) WO2022124289A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257216A (ja) * 2007-03-12 2008-10-23 Akira Tomono 公衆用情報提示装置
JP5674300B2 (ja) * 2009-09-30 2015-02-25 一般財団法人Ｎｈｋサービスセンター 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
WO2013096314A1 (en) * 2011-12-19 2013-06-27 The Nielsen Company (Us), Llc Methods and apparatus for crediting a media presentation device
JP6028202B2 (ja) * 2013-02-28 2016-11-16 株式会社博報堂Ｄｙホールディングス 視聴操作ログデータ生成装置
JP6176968B2 (ja) * 2013-03-29 2017-08-09 株式会社ビデオリサーチ 調査装置及びシステム及び方法及びプログラム
JP2016005083A (ja) * 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
WO2017120469A1 (en) 2016-01-06 2017-07-13 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
JP7135335B2 (ja) * 2018-02-23 2022-09-13 日本電気株式会社 視聴履歴記録システム、視聴履歴記録装置、記録方法及びプログラム
JP2019192991A (ja) * 2018-04-19 2019-10-31 日本放送協会 視聴距離誘導装置およびプログラム
JP2020150349A (ja) * 2019-03-12 2020-09-17 シャープ株式会社 映像再生システム及びプログラム

Also Published As

Publication number Publication date
KR20230117733A (ko) 2023-08-09
WO2022124289A1 (ja) 2022-06-16
JP2022090692A (ja) 2022-06-20

Similar Documents

Publication Publication Date Title
US11509956B2 (en) Systems and methods for assessing viewer engagement
US10798438B2 (en) Determining audience state or interest using passive sensor data
JP4335642B2 (ja) 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
US20180365711A1 (en) Audience Attendance Monitoring through Facial Recognition
US20090210902A1 (en) Targeted television content display
JP4865811B2 (ja) 視聴傾向管理装置、システム及びプログラム
WO2015056742A1 (ja) 視認対象効果度測定装置
US20110209066A1 (en) Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method
US8887186B2 (en) Analysis method and system for audience rating and advertisement effects based on viewing behavior recognition
US20140337868A1 (en) Audience-aware advertising
CN105874423B (zh) 检测对可穿戴媒体设备上呈现的媒体的参与的方法和设备
KR20060063779A (ko) 컨텐츠 통보 및 전달
US20230122126A1 (en) Audience attendance monitoring through facial recognition
JP2009519681A (ja) 双方向テレビアプリケーションで使用するためのクロスプラットホームの予測人気率
US20190266800A1 (en) Methods and Systems for Displaying Augmented Reality Content Associated with a Media Content Instance
KR20130091131A (ko) 시청 정보와 메타 데이터를 사용한 선호도 추론 장치 및 방법
JP2015039094A (ja) コンテンツ提供装置、コンテンツ提供装置にて実行されるプログラム、テレビ受像機、プログラムを記憶した記憶媒体
KR101068657B1 (ko) Ｔｖ 쇼들의 시청 상태에 의존하는 추천기 스코어들의 변환
CN116601964A (zh) 控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法
JP7042543B1 (ja) 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法
WO2019069831A1 (ja) 映像と音声を上映するための映像音声管理装置および上映システム
JP2014060642A (ja) 表示装置及び表示システム
US20220092138A1 (en) System and method for delivering information to a user
TW201911877A (zh) 影視互動系統與方法
US20210232279A1 (en) Virtual Group Laughing Experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination