CN114269448A - 信息处理装置、信息处理方法、配备有人工智能功能的显示装置、以及配备有人工智能功能的再现系统 - Google Patents

信息处理装置、信息处理方法、配备有人工智能功能的显示装置、以及配备有人工智能功能的再现系统 Download PDF

Info

Publication number
CN114269448A
CN114269448A CN202080059241.7A CN202080059241A CN114269448A CN 114269448 A CN114269448 A CN 114269448A CN 202080059241 A CN202080059241 A CN 202080059241A CN 114269448 A CN114269448 A CN 114269448A
Authority
CN
China
Prior art keywords
unit
reproduction
video image
audio
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080059241.7A
Other languages
English (en)
Inventor
梨子田辰志
小林由幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114269448A publication Critical patent/CN114269448A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00—Equipment specially adapted for cinemas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种在用户关注内容时使用人工智能功能给予再现效果的信息处理装置。利用人工智能功能控制显示装置的外部设备的操作的信息处理装置包括：获取单元，获取从显示装置输出的视频图像或音频；评估单元，经由人工智能功能评估与视频或音频同步的外部设备的操作；以及输出单元，将所评估的操作的指令输出至外部设备。外部设备是基于所评估的操作输出再现效果的再现设备。

Description

信息处理装置、信息处理方法、配备有人工智能功能的显示装 置、以及配备有人工智能功能的再现系统
技术领域
本说明书中所公开的技术(以下称为“本公开”)涉及一种各自使用人工智能功能的信息处理装置与信息处理方法、配备有人工智能功能的显示器、以及配备有人工智能功能的再现系统。
背景技术
长期以来，电视一直被广泛使用。近年来，随着电视屏幕尺寸的放大，还提出了包括诸如超分辨率技术并且转换成高动态范围的视频图像质量改进(例如，见专利文献1)与诸如频带扩展(高分辨率)的生声音质量改进(例如，见专利文献2)的质量改进。
另一方面，也被称为“4D”的体感型再现技术已经在电影院等中逐渐普及。该技术通过利用各自与当前显示的电影中的情景链接的座椅在向前和向后、向上和向下、以及向左和向右方向上的移位动作、风(冷风、热风)、光(开启/关闭照明)、水(雾、水花)、气味、烟雾、体运动等刺激观众的感觉而提高现实感。
[引用列表]
[专利文献]
[专利文献1]：特开2019-23798号公报
[专利文献2]：特开2017-203999号公报
[专利文献3]：特开2015-92529号公报
[专利文献4]：特许第4915143号公报
[专利文献5]：特开2007-143010号公报
[专利文献6]：特开2000-156075号公报
发明内容
[技术问题]
根据本公开的技术的目的是提供一种信息处理装置与信息处理方法、配备有人工智能功能的显示器、以及配备有人工智能功能的再现系统，各自在用户观看并且收听内容时通过使用人工智能功能而给予再现效果。
[问题的解决方案]
根据本公开的技术的第一方面面向一种利用人工智能功能控制显示器的外部设备的操作的信息处理装置。信息处理装置包括：获取单元，获取从显示器输出的视频图像或音频；评估单元，利用人工智能功能评估与视频图像或音频同步的外部设备的操作；以及输出单元，将所评估的操作的指令输出至外部设备。
评估单元利用已经学习从显示器输出的视频图像或音频与外部设备的操作之间的关联性的神经网络评估与视频图像或音频同步的外部设备的操作。
外部设备包括通过基于所评估的操作输出再现效果而实现用户的体感型再现效果刺激感的再现设备、并且包括利用风的再现设备。此外，再现设备进一步包括利用温度、水、光、气味、烟雾、以及体运动中的至少一项的再现设备。
而且，根据本公开的技术的第二方面面向一种利用人工智能功能控制显示器的外部设备的操作的信息处理方法。信息处理方法包括：获取步骤，获取从显示器输出的视频图像或音频；评估步骤，利用人工智能功能评估与视频图像或音频同步的外部设备的操作；以及输出步骤，将所评估的操作的指令输出至外部设备。
进一步地，根据本公开的技术的第三方面面向一种配备有人工智能功能的显示器。显示器包括：显示单元；评估单元，利用人工智能功能评估与从显示单元输出的视频图像或音频同步的外部设备的操作；以及输出单元，将所评估的操作的指令输出至外部设备。
此外，根据本公开的技术的第四方面面向一种配备有人工智能功能的再现系统。再现系统包括：显示单元；外部设备；以及评估单元，利用人工智能功能评估与视频图像或音频同步的外部设备的操作。
应注意，此处，在不具体区分相应设备或相应功能模块是否容纳在单一壳体中的情况下，“系统”指由多个设备的逻辑集合(或各自实现具体功能的功能模块)构成的系统。
[发明的有利效果]
根据本公开的技术可提供的是一种信息处理装置与信息处理方法、配备有人工智能功能的显示器、以及配备有人工智能功能的再现系统，其各自在用户观看并且收听内容时通过使用人工智能功能(利用除内容的视频图像或声音之外的项)刺激用户的感觉而给予再现效果。
应注意，仅通过实施例呈现本说明书中所描述的有利效果。通过根据本公开的技术而产生的有利效果并不局限于这些有利效果。而且，根据本公开的技术可以提供除上述有利效果之外的额外有利效果。
根据基于下面所述的实施方式及所附附图的更为详细的描述，根据本公开的技术的其他目的、特征、以及优点将变得显而易见。
附图说明
[图1]图1是描绘观看和收听视频图像内容所使用的系统的配置例的示图。
[图2]图2是描绘电视接收设备100的配置例的示图。
[图3]图3是描绘面板扬声器技术的应用例的示图。
[图4]图4是描绘电视接收设备100中所包括的传感器分组400的配置例的示图。
[图5]图5是描绘将再现设备安装在与其中安装电视接收设备100的房间相同的房间中的实施例的示图。
[图6]图6是示意性描绘用于控制再现设备的电视接收设备100的控制系统的示图。
[图7]图7是描绘配备有人工智能功能700的再现系统的配置例的示图。
[图8]图8是描绘体感型再现效果评估神经网络800的配置例的示图。
[图9]图9是描绘使用云的人工智能系统900的配置例的示图。
具体实施方式
下面将参考附图对根据本公开的技术的实施方式进行详细描述。
A.系统配置
图1示意性地描绘了观看和收听视频图像内容所使用的系统的配置例。
例如，电视接收设备100设置在其中家庭成员坐成一圈并且享受谈话的客厅、用户的个人房间等中。电视接收设备100包括沿着显示视频图像内容的大屏幕的一侧设置并且输出音频的扬声器。例如，电视接收设备100包括调谐成并且接收广播信号的内置调谐器、或具有调谐器功能并且从外部与其连接的机顶盒、并且能够使用由电视台提供的广播服务。广播信号可以是地面波信号或卫星波信号。
而且，允许电视接收设备100使用广播类型的视频分配服务，即，利用诸如IPTV和OTT(Over The Top(机顶))的网络分配视频。相应地，电视接收设备100配备有网络接口卡并且利用符合诸如以太网(注册商标)和Wi-Fi(注册商标)的已有通信标准的通信经由路由器或访问点与诸如因特网的外部网络互连。就功能方面而言，电视接收设备100还用作各自包括显示器并且具有获取或再现各种类型的内容的功能的内容获取设备、内容再现设备、或显示设备，即，经由广播波或通过使用因特网进行流式化或下载而获取诸如视频图像和音频的各种类型的再现内容、并且将内容呈现给用户。
分配视频图像流的流分配服务器安装在因特网上并且为电视接收设备100提供广播类型的视频分配服务。
而且，安装有各自提供因特网上的各种类型的服务的无数服务器。这些服务器的实施例包括使用诸如IPTV和OTT的网络提供广播类型的视频流分配服务的流分配服务器。通过启动浏览器功能并且向流分配服务器发送例如HTTP(超文本传输协议)请求，在电视接收设备100端上可获得流分配服务。
进一步地，假设在本实施方式中，还存在为客户提供因特网上(或云上)的人工智能功能的人工智能服务器。例如，此处，人工智能功能指利用软件或硬件人工地实现通常由人类大脑施加的功能的功能，诸如学习、干预、数据采集、以及规划。此外，例如，人工智能服务器包括使用模拟人类颅神经回路的模型执行深度学习(DL)的神经网络。神经网络具有这样的机制，即，其中，通过突触连接构成网络的人工神经元(节点)各自在基于学习改变突触的连接强度的同时获取问题-解决方案的能力。神经网络能够通过重复学习而自动推断问题-解决方案的规则。应注意，本说明书中的“人工智能服务器”并不局限于单一服务器设备，而是可以是例如提供云计算服务的云形式的服务器。
B.电视接收设备的配置
图2描绘了电视接收设备100的配置例。电视接收设备100包括主控制单元201、总线202、存储单元203、通信接口(IF)单元204、扩展接口(IF)单元205、调谐器/解调单元206、解多路复用器(DEMUX)207、视频图像解码器208、音频解码器209、叠加解码器210、字幕解码器211、字幕合成单元212、数据解码器213、缓存单元214、应用(AP)控制单元215、浏览器单元216、声音来源单元217、视频图像合成单元218、显示单元219、音频合成单元220、音频输出单元221、以及操作输入单元222。应注意，调谐器/解调单元206可以是外部附接型。例如，诸如机顶盒的配备有调谐器和解调功能的外部设备可以连接至电视接收设备100。
例如，主控制单元201由控制器、ROM(只读存储器)(应注意，假设ROM包括诸如EEPROM(电可擦除可编程ROM)的可写ROM)、以及RAM(随机访问存储器)构成、并且在预定操作程序下综合控制电视接收设备100的整体操作。控制器由CPU(中央处理单元)、MPU(微处理单元)、GPU(图形处理单元)、GPGPU(通用图形处理单元)等构成。ROM是存储诸如操作系统(OS)的基本操作程序以及其他操作程序的非易失性存储器。ROM可以存储电视接收设备100的操作所需的操作设置值。RAM指在运行OS或其他操作程序过程中所使用的工作区域。总线202是用于实现主控制单元201与电视接收设备100内的相应单元之间的数据发送与接收的数据通信路径。存储单元203由诸如闪存ROM、SSD(固态驱动)、或HDD(硬盘驱动)的非易失性存储设备构成。存储单元203存储电视接收设备100的操作程序与操作设置值、与使用电视接收设备100的用户相关联的个人信息等。而且，存储单元203存储经由因特网下载的操作程序、在该操作程序下生成的各种类型的数据等。进一步地，存储单元203能够经由广播波或因特网存储诸如通过流式化或下载而获取的视频、静止图像、以及音频的内容。
通信接口单元204经由路由器(上述)等连接至因特网并且实现将数据发送至因特网上的相应服务器设备或其他通信装置并且从因特网上的相应服务器设备或其他通信装置接收数据。此外，假设通信接口单元204获取经由通信线路传输的程序的数据流。路由器可以是诸如以太网(注册商标)的有线连接类型或诸如Wi-Fi(注册商标)的无线连接类型。主控制单元201能够基于诸如URL(统一资源定位符)和URI(统一资源标识符)的资源识别信息经由通信接口单元204搜索云上的数据。相应地，通信接口单元204还用作数据搜索单元。
调谐器/解调单元206经由天线(未描绘)接收诸如地面广播波和卫星广播波的广播波、并且在主控制单元201的控制下调谐成(选择)用户所需的服务频道(例如，广播台)。而且，调谐器/解调单元206对所接收的广播信号进行解调，以获取广播数据流。应注意，电视接收设备100可以具有包括用于同时显示多个屏幕、反程序记录等之目的的多个调谐器/解调单元(即，多个调谐器)的配置。
解多路复用器207基于输入广播数据流中所包括的控制信号而将各自与实时呈现元件对应的视频图像流、音频流、叠加数据流、以及字幕数据流分别分配至视频图像解码器208、音频解码器209、叠加解码器210、以及字幕解码器211。输入至解多路复用器207的数据包括由广播服务提供的数据或由诸如IPTV和OTT的分配服务提供的数据。前者指在调谐器/解调单元206进行调谐和解调之后输入至解多路复用器207，而后者指在由通信接口单元204接收之后输入至解多路复用器207。而且，解多路复用器207使与该应用的构成元件对应的多媒体应用和文件数据再现、并且将已再现的应用和数据输出至应用控制单元215或将应用和数据临时累积到缓存单元214中。
视频图像解码器208对从解多路复用器207输入的视频图像流进行解码并且输出视频图像信息。而且，音频解码器209对从解多路复用器207输入的音频流进行解码并且输出音频数据。在数字广播中，各自基于例如MPEG2系统标准进行编码的视频图像流和音频流被多路复用、并且被传输或分发。视频图像解码器208与音频解码器209各自根据各自通过解多路复用器207进行解多路复用的编码视频图像流和编码音频流的中的每个的标准解码系统而执行解码过程。应注意，电视接收设备100可以包括多个视频图像解码器208和多个音频解码器209，以同时对多种类型的视频图像流和音频流执行解码过程。
叠加解码器210对从解多路复用器207输入的叠加数据流进行解码并且输出叠加信息。字幕解码器211对从解多路复用器207输入的字幕数据流进行解码并且输出字幕信息。字幕合成单元212执行用于对从叠加解码器210输出的叠加信息和从字幕解码器211输出的字幕信息进行合成的合成过程。
数据解码器213对被多路复用成MPEG-2TS流的数据流与视频图像或音频一起进行解码。例如，数据解码器213将存储在PMT(节目映射表)(即，PSI(节目特定信息)表的类型)的描述符区域中的通用事件消息的解码结果通知给主控制单元201。
应用控制单元215(AP控制单元)从解多路复用器207接收广播数据流中所包括的控制信息的输入、或经由通信接口单元204从因特网上的服务器设备获取控制信息、并且对从任意这些设备接收的控制信息进行解译。
浏览器单元216经由缓存单元214或通信接口单元204呈现从因特网上的服务器设备获取的多媒体应用文件、或根据来自应用控制单元215的指示而呈现文件数据作为多媒体应用文件的组成元素。此处，多媒体应用文件的实施例包括HTML(超文本标记语言)文档和BML(广播标记语言)文档。而且，假设浏览器单元216还通过调节声源单元217而执行应用的音频数据的再现。
视频图像合成单元218接收从视频图像解码器208输出的视频图像信息、从字幕合成单元212输出的字幕信息、以及从浏览器单元216输出的应用信息的输入、并且执行用于适当地选择多个这些输入信息项中的任意项或对这些输入信息项进行叠加的过程。视频图像合成单元218包括视频RAM(未描绘)。显示单元219被驱动，以基于输入至该视频RAM的视频图像信息进行显示。而且，视频图像合成单元218还在主控制单元201的控制下根据需要执行用于对各条屏幕信息、诸如由主控制单元201执行的应用所生成的OSD(屏上显示器)的图形等进行叠加的叠加过程，屏幕信息与EPG(电子节目指南)屏幕相关联。
应注意，在多条屏幕信息的叠加过程之前或之后，视频图像合成单元218可以执行用于将图像转换成超分辨率图像的超分辨率过程、或诸如转换成改进图像的亮度动态范围的高动态范围的图像质量改进过程。
显示单元219将显示已选择或经过视频图像合成单元218的叠加过程的视频图像信息的屏幕呈现给用户。例如，显示单元219是由液晶显示器、有机EL(电致发光)显示器、使用例如微LED(发光二极管)元件作为像素的自发光显示器(例如，见专利文献3)等构成的显示设备。而且，显示单元219可以由应用局部驱动技术来控制通过对屏幕进行分割而产生的多个区域中的每个区域的亮度的显示设备构成。使用传输型液晶面板的显示器提供这样的优点，即，通过向高信号电平的区域发射亮背光并且向低信号电平的区域发射暗背光而改善亮度对比度。局部驱动型的显示设备能够通过提升局部通过使用上推技术所执行的白色显示器的亮度而实现高动态范围，其通过向高信号电平的区域分配暗部分处所减少的功率而强烈地发射光(同时固定整个背光的输出功率)(例如，见专利文献4)。
音频合成单元220接收从音频解码器209输出的音频信息和通过声源单元217再现的应用的音频数据的输入、并且根据需要执行用于选择、合成等的过程。应注意，音频合成单元220可以对输入的音频数据或待输出的音频数据执行诸如频带扩展(高分辨率)的声音质量改进过程。
音频输出单元221用于调谐器/解调单元206已经进行调谐的节目内容或数据广播内容的音频输出、或用于由音频合成单元220处理的音频数据(例如，语音指南或语音代理的合成语音)的输出。音频输出单元221由诸如扬声器的声学生成元件构成。例如，音频输出单元221可以是由多个扬声器的组合构成的扬声器阵列(多声道扬声器或超多声道扬声器)。音频输出单元221中的一些或全部扬声器可以从外部连接至电视接收设备100。在其中音频输出单元221包括多个扬声器的情况下，通过利用多个输出声道使音频信号再现可实现音频视频图像定位。而且，通过增加声道的数量并且对扬声器进行多路复用可以较高的分辨率控制声场。
外部扬声器可以是安装在电视机的前侧中的诸如长条状音箱类型或无线连接至电视机的诸如无线扬声器类型。可替代地，外部扬声器可以是经由放大器等连接至另一音频产品的扬声器。可替代地，外部扬声器可以是配备有扬声器并且能够接收音频输入的智能扬声器、无线耳帽/耳机、平板电脑、智能手机、PC(个人计算机)，其通常被称为诸如冰箱、洗衣机、空调、吸尘器、或照明装置的智能家用电器、或IoT(物联网)家用电器。
音频输出单元221能够由锥型扬声器或平板型扬声器构成(例如，见专利文献5)。无需多言，音频输出单元221能够是由不同类型的扬声器的组合构成的扬声器阵列。而且，扬声器阵列可以包括通过使用用于产生振荡的一个或多个激励器(致动器)使显示单元219振荡而实现音频输出的扬声器。激励器(致动器)可以是之后附接至显示单元219的类型。图3描绘了显示器的面板扬声器技术的应用例。显示器300由设置在后侧的支架302支撑。扬声器单元301附接至显示器300的后表面。设置在扬声器单元301的左端处的激励器301-1与设置在扬声器301-2的右端处的激励器301-2各自构成扬声器阵列。相应的激励器301-1与301-2能够使显示器300振荡并且分别基于左音频信号和右音频信号而输出声学声音。支架302可以包括输出低声音范围内的声学声音的内置低音扬声器。应注意，显示器300与使用有机EL元件的显示单元219对应。
再次返回图2，将对电视接收设备100的配置进行描述。操作输入单元222是指令输入单元，用户通过指令输入单元输入给至电视接收设备100的操作指令。例如，操作输入单元222由包括接收从远程控制器(未描绘)发送的命令的远程控制接收单元的布置与按钮开关的操作键构成。而且，操作输入单元222可以包括在显示单元219的屏幕上重叠的触摸面板。进一步地，操作输入单元222可以包括连接至扩展接口单元205的外部输入设备，诸如键盘。
例如，扩展接口单元205是用于扩展电视接收设备100的功能并且由模拟视频图像、音频接口、USB(通用串行总线)接口、存储器接口等构成的一组接口。扩展接口单元205可以包括由DVI终端、HDMI(注册商标)终端、显示端口(注册商标)终端等构成的数字接口。
根据本实施方式，扩展接口205还用作接收传感器分组中所包括的各种类型的传感器的传感器信号的接口(见下面所述的图4)。假设传感器包括配备在电视接收设备100的主体内的传感器和从外部连接至电视接收设备100的传感器。外部连接的传感器包括内置于另一CE(消费者电子)装置或IoT设备中的传感器，CE装置或IoT设备存在于与其中电视接收设备100存在的空间相同的空间中。扩展接口205可以在完成诸如降噪的信号处理和完成数字转换之后接收传感器信号、或者可以接收传感器信号作为未经处理的原数据(模拟波形信号)。
而且，根据本实施方式，扩展接口205还用作用于连接至各种类型的设备的接口，即，与从显示单元219和音频输出单元221输出的音频图像和声音同步、通过利用除内容的音频图像和声音之外的风(冷风、热风)、光(开启/关闭照明)、水(雾、水花)、气味、烟雾、体运动等刺激用户的感觉而增强现实感。例如，主控制单元201通过使用人工智能功能来控制相应设备的驱动而评估增强现实感的刺激。
下面还将对观看和收听当前由电视接收设备100再现的内容的用户施加用于改进现实感的刺激的设备称为“再现设备”。再现设备的实施例包括空调、风扇、加热器、照明装备(例如，吊顶区域照明、落地灯、以及台灯)、喷雾器、香气扩散器、以及烟雾发生器。而且，诸如可穿戴设备、手持设备、IoT设备、超声阵列扬声器、或无人机等自主设备能够用作再现设备。此处，可穿戴设备包括手镯类型、颈带类型等的设备。
再现设备可以是利用已经安装在其中安装有电视接收设备100的房间中的家用电器的设备、或对用户施加用于增强现实感的刺激的专用设备。而且，再现设备可以是从外部连接至电视接收设备100的外部设备或者设置在电视接收设备100的壳体内的内置设备。例如，作为外部设备被提供的再现设备经由扩展接口205或利用家庭网络经由通信接口204连接至电视接收设备100。此外，例如，作为内置设备被提供的再现设备利用插入在再现设备与电视接收设备100之间的总线202被整合到电视接收设备100中。
应注意，下面将对再现设备与人工智能功能的细节进行描述。
C.感测功能
电视接收设备100包括检测当前被再现的视频图像或音频或者检测其中安装有电视接收设备100的环境以及用户的状态和资料的各种类型的传感器。
应注意，假设本说明书中的“用户”的简答表达指观看并且收听显示单元219上所显示的视频图像内容的人(包括计划观看并且收听视频图像内容的人)，除非另有规定。
图4描绘了电视接收设备100中所包括的传感器分组400的配置例。传感器分组400由摄像机单元410、用户状态传感器单元420、环境传感器单元430、设备状态传感器单元440、以及用户资料传感器单元450构成。
摄像机单元410包括捕捉用户观看并且收听显示单元219上所显示的视频图像内容的图像的摄像机411、捕捉显示单元219上所显示的视频图像内容的图像的摄像机412、以及捕捉其中安装电视接收设备100的房间内部(或安装环境)的图像的摄像机413。
例如，摄像机411安装在显示单元219的屏幕的上边缘的中心附近、并且以优选的方式捕捉用户观看并且收听视频图像内容的图像。例如，摄像机412安装在这样的位置中，即，面向显示单元219的屏幕，并且捕捉用户当前观看和收听的视频图像内容的图像。可替代地，用户可以佩戴配备有摄像机412的眼镜。还假设摄像机412还具有记录视频图像内容的音频(记录声音)的功能。而且，摄像机413由例如全方位摄像机或广角摄像机构成、并且捕捉其中安装电视接收设备100的房间内部(或安装环境)的图像。可替代地，例如，摄像机413可以是被承载在可围绕作用轴、俯仰轴、以及偏航轴中的每个轴旋转的摄像机台(摄像机平台)上的摄像机。然而，在其中不可通过环境传感器430获取足够的环境数据的情况下，或在其中不需要环境数据自身的情况下，不需要摄像机410。
用户状态传感器单元420由各自获取与用户的状态相关联的状态信息的一个或多个传感器构成。例如，其旨在使得用户状态传感器单元420获取用户的工作状态(用户是否正在观看并且收听视频图像内容)、用户的行为状态(诸如站着不动、走、以及跑的移动状态，眼睑开闭状态、视线方向、以及瞳孔大小)、精神状态(例如，抑郁程度、兴奋程度、觉醒程度、感觉、以及情绪，诸如用户是否被视频图像内容吸引或是否集中于视频图像内容)、以及心理状态作为状态信息。用户状态传感器单元420可以包括诸如汗液传感器、肌电图传感器、眼电图传感器、脑电图传感器、呼吸传感器、气体传感器、离子浓度传感器、以及测量用户的行为的IMU(惯性测量单元)的各种类型的传感器、并且还可以包括采集用户的话语的音频传感器(例如，麦克风)。应注意，并不一定必须要求麦克风与电视接收设备100进行集成，而是可以是安装在这样的产品上的麦克风，即，安装在电视接收设备100的主体的前部中，诸如长条状音箱。可替代地，麦克风可以是配备有通过有线或无线而从外部附接并且连接的麦克风的设备。配备有从外部附接的麦克风的设备可以是配备有麦克风并且能够接收音频输入的智能扬声器、无线耳帽/耳机、平板电脑、智能手机、PC，其通常被称为诸如冰箱、洗衣机、空调、真空吸尘器、以及照明装备的智能家用电器、或IoT家用电器。
环境传感器单元430由各自测量与诸如其中安装电视接收设备100的房间内部的环境相关联的信息的各种类型的传感器构成。例如，环境传感器单元430包括温度传感器、湿度传感器、光学传感器、亮度传感器、气流传感器、气味传感器、电磁波传感器、地磁传感器、GPS(全球定位系统)传感器、以及用于采集周围声音的音频传感器(例如，麦克风)。
设备状态传感器单元440由各自获取电视接收设备100的内部状态的一个或多个传感器构成。可替代地，诸如音频图像解码器208和音频解码器209的电路部件可以具有从外部输出输入信号的状态、输入信号的处理状态等、以扮演用于检测设备的内部状态的传感器角色的功能。而且，设备状态传感器单元440可以检测由电视接收设备100及其他设备的用户执行的操作、或可以存储之前由用户执行的操作历史。
用户资料传感器单元450检测与观看并且收听电视接收设备100上所显示的视频图像内容的用户相关联的资料信息。并不一定必须要求用户资料传感器单元450由传感器元件构成。例如，用户资料传感器单元450可以基于由摄像机411捕捉的用户的面部图像、由音频传感器采集的用户的话语等检测诸如用户的年龄和性别的用户资料。而且，用户资料传感器单元450可以经由电视接收设备100与智能手机之间的链接获得通过由用户携带的诸如智能手机的多功能信息终端所获取的用户资料。然而，用户资料传感器单元并不需要检测与用户的隐私或秘密相关联的敏感信息。进一步地，并不需要在同一用户每次观看并且收听视频图像内容时而检测相同用户的资料。例如，一旦获取用户资料信息，则可以存储在主控制单元201的EEPROM中(上述)。
此外，通过电视接收设备100与智能手机之间的链接，可以使用由用户承载的诸如智能手机的多功能信息终端作为用户状态传感器单元420、环境传感器单元430、或用户资料传感器单元450。例如，可以将诸如通过内置于智能手机中的传感器所获取的传感器信息、健康医疗功能(例如，计步器)、日历、日程表、备忘录、邮件、以SNS(社交网络服务)的之前历史的应用管理数据添加至用户状态数据或环境数据。而且，内置于另一CE装置中的传感器或存在于与其中电视接收设备100存在的空间相同的空间中的IoT设备可以用作用户状态传感器单元420或环境传感器单元430。进一步地，用户状态传感器单元420或环境传感器单元430可以通过检测电话间声音或与电话间系统通信而检测访问者。
D.再现设备
根据本实施方式的电视接收设备100具有较大的屏幕并且采用质量改进技术，包括诸如超分辨率技术并且转换成高动态范围的视频图像质量改进以及诸如频带扩展(高分辨率)的声音质量改进。
而且，根据本实施方式的电视接收设备100连接至各种类型的再现设备。各个再现设备指利用除当前由电视接收设备100再现的内容的视频图像和声音之外的项刺激用户的感觉、以增强观看并且收听内容的用户的现实感的设备。相应地，与内容的视频图像和声音同步，电视接收设备100能够通过利用除用户当前观看并且收听的内容的视频图像和声音之外的项刺激用户的感觉而实现增强用户的现实感的体感型再现。
各个再现设备可以是使用已经安装在其中安装有电视接收设备100的房间中的家用电器的设备、或应用用于增强用户的现实感的刺激的专用设备。而且，各个再现设备可以是从外部连接至电视接收设备100的外部设备、或设置在电视接收设备100的壳体内的内置设备。例如，作为外部设备提供的再现设备经由扩展接口205或利用家庭网络经由通信接口204连接至电视接收设备100。此外，例如，利用插入在再现设备与电视接收设备100之间的总线202将作为内置设备提供的再现设备整合到电视接收设备100中。
图5描绘了再现设备的安装例。根据图中描绘的实施例，用户坐在座椅上的这样位置处，即，面向电视接收设备100的屏幕。
将空调501、设置在电视接收设备100内的风扇502和503、风扇(未描绘)、加热器(未描绘)等设置为利用其中安装电视接收设备100的房间中的风的再现设备。在图5描绘的实施例中，风扇502与503设置在电视接收设备100的壳体内，以使得分别利用风扇502和503而从电视接收设备100的大屏幕的上边缘和下边缘供应风。风扇502与503的风速、风量、风压、风向、波动、气流温度等是可控制的。
应用用户穿戴的衣服、用户的头发、窗户处的窗帘由于风而产生的摆动。传统上，在舞台等中采用利用风的再现。与视频图像和声音同步，通过对用户应用来自各个风扇502和503的强风、弱风、冷风、热风等，或者通过根据情景切换而改变风向，能够增强感觉如同用户存在于视频图像的世界中的现实感。在本实施方式中，假设可将来自风扇502和503的输出控制在从由大爆炸情景中的空气炮产生的鼓风至安静湖边涟漪浮动的微风的宽范围内。而且，假设可将来自各个风扇502和503的风的流向控制限制于精确限定的区域。例如，通过向用户的耳朵供应鼓风来表达感觉如同风中的飒飒声传给用户的体感。
此处，空调501、风扇502和503、以及加热器(未描绘)各自还可操作为利用温度的再现设备。当与利用风的再现设备或利用水的再现设备一起使用时，利用温度的再现设备可以增强通过风或水实现的体感效果。
而且，在其中安装电视接收设备100的房间中，将诸如吊顶区域照明504、落地灯505、以及台灯(未描绘)的照明设备设置为利用光的再现设备。根据本实施方式，使用能够控制光量、各个波长的光量、光方向等的照明设备作为再现设备。应注意，可以使用诸如显示单元219的屏幕亮度控制、颜色控制、分辨率转换、以及动态范围转换的视频图像质量控制处理作为光再现效果。
与利用风的再现相似，传统上，在舞台等中采用利用光的再现。例如，通过快速降低光量、并且切换至能够通过快速增加光量而表示的新情景等能够刺激用户的恐惧感。而且，再现效果进一步增强了通过结合利用其他模态的再现设备使用利用光的再现设备可实现的现实感，诸如利用风的再现设备(上述)、和利用水的再现设备(例如，下述喷雾器506)。
进一步地，在其中安装电视接收设备100的房间中，将喷射雾或水花的喷雾器506设置为利用水的再现设备。根据本实施方式，使用能够控制喷射量、喷射方向、粒径、温度等的喷雾器506作为再现设备。例如，通过产生包含极其细微的颗粒的雾能够使神秘的氛围再现。通过利用由蒸发热产生的冷却效果还能够建立冷的氛围。通过产生相对暖的雾能够建立恐怖和奇怪的氛围。而且，当与利用光的再现设备或利用风的再现设备一起使用时，利用水的再现设备能够增强雾的视觉再现效果。
进一步地，在其中安装电视接收设备100的房间中，将通过利用气体扩散等而在一定空间中有效地扩散所需气味的芳香扩散器(扩散器)507设置为利用气味的再现设备。根据本实施方式，使用能够控制气味类型、浓度、持续时间等的芳香扩散器507作为再现设备。近年来，逐渐通过调查的科学方式来表现气味赋予身体的效果。而且，能够根据效果对气味进行分类。相应地，通过切换从芳香扩散器507扩散的气味的类型或者通过根据由电视接收设备100再现的内容的情景控制气味的浓度能够获得当前观看并且收听内容的用户的嗅觉的刺激再现效果。
此外，在其中安装电视接收设备100的房间中，将在空气中喷射烟雾的烟雾生成器(未描绘)设置为利用烟雾的再现设备。典型的烟雾生成器在空气中立即喷射液化二氧化碳来产生白雾。根据本实施方式，使用能够控制烟雾生成量、烟雾浓度、烟雾持续时间、烟雾颜色等的烟雾生成器作为再现设备。能够与烟雾生成器一起使用利用光的再现设备，以将不同的颜色添加至从烟雾生成器喷射的白雾。无需多言，通过着色能够将色彩图案添加至白雾，或者色彩能够随时改变。而且，能够与烟雾生成器一起使用利用风的再现设备，以在所需方向上引导从烟雾生成器喷射的烟雾、或防止烟雾朝向具体的区域扩散。与利用风或光的再现相似，传统上，在舞台等中采用使用烟雾的再现。例如，能够使用强大的白雾来呈现较大的冲击情景。
进一步地，作为用户就座的座椅、安装在电视接收设备100的屏幕的前方的座椅508能够执行诸如向前、向后、向上、向下、向左、以及向右方向的移位动作或振动动作的身体运动并且用作利用运动的再现设备。例如，可以使用消息座椅作为这种类型的再现设备。此外，与坐在其上的用户紧密接触的座椅508能够通过在诸如不产生健康危害的一定程度上赋予用户电刺激或者通过刺激用户的皮肤敏感性(触觉)或触感而提供再现效果。
而且，座椅508能够具有利用风、水、气味、烟雾等的多个其他再现设备的功能。当采用座椅508时，用户能够直接接收再现效果。在这种情况下，可实现省电，并且不需要关注对周围环境的影响。
仅通过实施例呈现图5中所描绘的再现设备的安装例。除图中描绘的实施例之外，能够使用诸如可穿戴设备、手持设备、IoT设备、超声阵列扬声器、以及无人机的自主设备作为再现设备。此处，可穿戴设备包括手镯类型、颈带类型等的设备。而且，电视接收设备100包括由单声道扬声器或超多声道扬声器构成的音频输出单元221(上述)。能够使用音频输出单元221作为利用声音的再现设备。例如，通过将音频视频图像定位成使得由显示单元219在屏幕上显示的视频图像中所包括的人物的步伐靠近用户，能够给出感觉如同该人物走向用户的再现效果。相反，通过将音频视频图像定位成使得人物的步伐移动远离用户，能够给出感觉如同该人物步行离开用户的再现效果。应注意，可以使用频带扩展或频带简并、以及诸如包括低范围和高范围的具体频带的增强的声音质量控制处理作为声音再现效果。
图6示意性地描绘了用于控制再现设备的电视接收设备100的控制系统。如上所述，多个类型的再现设备可应用于电视接收设备100。
将各个再现设备分类成从外部连接至电视接收设备100的外部设备或设置在电视接收设备100的壳体内的内置设备。
从外部连接至电视接收设备100的前一再现设备经由扩展接口205或者利用家庭网络经由通信接口204连接至电视接收设备100。此外，作为内置设备提供的再现设备连接至总线202。可替代地，作为内置再现设备的设备、但是是仅具有诸如USB的通用接口并且并非直接连接至总线202的设备经由扩展接口205连接至电视接收设备100。
根据图6中描绘的实施例，提供直接连接至总线202的再现设备601-1、601-2、601-3、及其他设备、经由扩展接口205连接至总线202的再现设备602-1、602-2、602-3、及其他设备、以及经由通信接口204使用网络连接的再现设备603-1、603-2、603-3、及其他设备。
主控制单元201将用于指示相应的再现设备操作的命令发送至总线202。再现设备601-1、601-2、601-3、及其他设备中的每个能够经由总线202从主控制单元201接收命令。而且，再现设备602-1、602-2、602-3、及其他设备中的每个能够经由扩展接口205从主控制单元201接收命令。进一步地，再现设备603-1、603-2、603-3、及其他设备中的每个能够经由通信接口204从主控制单元201接收命令。
例如，内置于电视接收设备100中的各个风扇502与503直接连接至总线202或经由扩展接口205连接至总线202。而且，诸如空调501、吊顶区域照明504、落地灯505、台灯(未描绘)、喷雾器506、芳香扩散器507、以及座椅508的外部设备经由通信接口204或经由扩展接口205连接至总线202。
应注意，并不一定必须要求电视接收设备100包括增强用户当前观看并且收听的内容的再现效果的多种类型的再现设备。甚至仅包括单一类型的再现设备的电视接收设备100也能够增强用户当前观看并且收听的内容的再现效果，诸如被整合到电视接收设备100中的风扇502和503。
E.使用人工智能功能的再现系统
例如，电影院等中已经广泛使用体感型再现技术。该技术通过利用各自与当前显示的电影中的情景链接的座椅在向前和向后、向上和向下、以及向左和向右方向上的移位动作、风(冷风、热风)、光(例如，开启/关闭照明)、水(雾、水花)、气味、烟雾、以及身体运动刺激观众的各种感觉而增强现实感。
如上所述，根据本实施方式的电视接收设备100还包括一个或多个再现设备。相应地，即使在家庭中，通过使用再现设备也可实现体感型再现效果。
在电影院的情况下，提前设置相应再现设备的控制值。如此，能够通过在电影播放过程中与视频图像和声音同步地刺激观众的间隔而获得增强现实感的效果。例如，关于在处理4D电影的电影院中播放的电影，电影的创建者等提前设置用于与视频图像和声音同步地刺激观众的再现设备的控制数据。之后，在电影的播放过程中，使控制数据与内容一起再现。如此，能够通过与视频图像和声音同步地驱动再现设备而增强刺激观众的感觉的体感型再现效果。
另一方面，主要安装在普通家庭中并且此处使用的电视接收设备100输出各种类型的内容的视频图像或音频，诸如从记录介质接收的广播内容、流内容、以及再现内容。在这种情况下，极难以提前设置关于全部这些类型的内容的相应再现设备的控制值。
例如，使用电视接收设备100实现体感型再现的一种方法是在用户观看并且收听内容的同时经由操作输入单元222或远程控制器给出指示对用户的各个情景的所需刺激的指令。然而，由于输入操作产生的延迟，难以根据时频图像和声音实时地给出对用户的刺激。
可替代地，使用电视接收设备100实现体感型再现的另一种方法是在用户第一次观看并且收听内容时经由输入操作单元222或远程控制器将用户给出的指令的控制数据存储至相应的再现设备、并且在用户第二次观看并且收听内容时或在另一用户观看并且收听内容时使这些控制数据再现。如此，能够与视频图像和声音同步地驱动再现设备(例如，见专利文献6)。然而，在这种情况下，需要用户观看并且收听内容至少一次，以设置再现设备的控制数据。因此，该方法需要时间和劳力。
而且，关于内容创建的技巧可根据用户而改变。即使根据由用户他自身或她自身设置的控制数据来驱动再现设备，也不一定必须获得所期望(或与专业水平等同的水平)的体感型再现效果。
此外，喜爱的再现效果与不喜爱(或厌恶)的再现效果对于每个用户不同。例如，对于每个情景，如果对喜欢利用风的再现效果、而不喜欢利用水的再现效果的用户应用雾或水花，则该用户不享受内容。而且，即使对于同一内容，用户也可能根据用户的状态而喜欢或不喜欢(或厌恶)刺激，诸如用户观看并且收听内容时的心理状况、环境等。例如，如果在热天给出热风或热的刺激，则用户不享受内容。
相应地，本公开的技术在监测诸如从电视接收设备100输出的视频图像和音频的内容的同时利用人工智能功能对适合于每个情景的体感型再现效果进行评估并且自动控制每个情景中的相应再现设备的驱动。
图7示意性地描绘了配备有应用本公开的技术的人工智能功能700的再现系统自动控制设置在电视接收设备100上的再现设备的驱动的配置例。配备有图中所描绘的人工智能功能700的再现系统根据需要包括图2中所描绘的电视接收设备100内的部件、或位于电视接收设备100的外部的外部设备(例如，云上服务器设备)。
接收单元701接收视频图像内容。视频图像内容包括从广播台(无线电塔或广播卫星)发送的广播内容和从流分发服务器分发的诸如OTT服务的流内容。之后，接收单元701将接收信号分割(解多路复用)成视频图像流和音频流、并且将这些流输出至后一阶段所设置的信号处理单元702。例如，接收单元701由位于电视接收设备100内的调谐器/解调单元206、通信接口单元204、以及解多路复用器207构成。
例如，由位于电视接收设备100内的视频图像解码器2080和音频解码器209构成的信号处理单元702对从接收单元701输入的视频图像数据流和音频数据流中的每个数据流进行解码、并且将由此获得的视频图像数据和音频数据输出至输出单元703。应注意，信号处理单元702可以对解码视频图像和音频进一步执行诸如超分辨率过程和高动态范围转换的视频图像质量改进过程、或者诸如频带扩展的声音质量改进过程(高分辨率)。
例如，由位于电视接收设备100内的显示单元219和音频输出单元221构成的输出单元703将视频图像信息输出至屏幕来显示该信息、并且输出来自扬声器等的音频信息而提供音频。
传感器单元704基本上由图4中描绘的传感器分组400构成。假设传感器单元704至少包括捕捉其中安装电视接收设备100的房间内部(或安装环境)的图像的摄像机413。而且，优选为传感器单元704包括用于检测其中安装电视接收设备100的房间的环境的环境传感器单元430。
进一步优选为传感器单元704包括捕捉用户观看并且收听显示单元219上所显示的视频图像内容的图像的摄像机411、获取与用户的状态相关联的状态信息的用户状态传感器单元420、以及检测与用户相关联的资料信息的用户资料传感器单元450。
评估单元705在信号处理单元702进行信号处理之后(或信号处理之前)接收视频图像信号和音频信号的输入、并且输出用于控制再现设备706的驱动的控制信号，以使得能够获得适合于视频图像或音频的每个情景的体感型再现效果。例如，评估单元705由位于电视接收设备100内的主控制单元201构成。根据本实施方式，假设评估单元705利用已经学习视频图像或音频与体感型再现效果之间的关联性的神经网络执行用于评估控制再现设备706的驱动的控制信号的评估过程。
而且，评估单元705基于从传感器单元704输出的传感器信息与视频图像信号和音频信号一起识别其中安装电视接收设备100的房间的内部的环境、以及与观看并且收听电视接收设备100的用户相关联的信息。之后，评估单元705输出用于控制再现设备706的驱动的控制信号，以使得能够针对视频图像或音频的每个情景获得也适合于用户的喜好、用户的状态、以及房间内部环境的体感型再现效果。根据本实施方式，假设评估单元705利用已经学习体感型再现效果与视频图像或音频之间的关联性以及体感型再现效果与用户的喜好、用户的状态、以及房间内部环境之间的关联性的神经网络执行用于评估控制再现设备706的驱动的控制信号的评估过程。
如上面参考图5在部分D中所描述的，再现设备706至少由利用风、温度、光、水(雾、水花)、气味、烟雾、身体运动等的任意一个相应再现设备构成。根据本实施方式，假设再现设备706至少包括被整合到电视接收设备100中的风扇502和503作为利用风的再现设备。
对于内容的每个情景，根据从评估单元705输出的控制信号(或与视频图像或音频同步)而驱动再现设备706。例如，在其中再现设备706是利用风的再现设备的情况下，再现设备706根据从评估单元705输出的控制信号而控制风速、风量、风压、风向、波动、气流温度等。
如上所述，评估单元705评估用于控制再现设备706的驱动的控制信号，以使得能够获得适合于视频图像或音频的每个情景的体感型再现效果。而且，评估单元705评估用于控制再现设备706的驱动的控制信号，以使得能够针对视频图像或音频的每个情景获得也适合于用户的喜好、用户的状态、以及房间内部环境的体感型再现效果。相应地，通过根据从评估单元705输出的控制信号而驱动再现设备706，在通过信号处理单元702执行由接收单元701接收的内容的信号处理并且从输出单元703输出已处理的内容的时间可实现与视频图像或音频同步的体感型再现效果。
接收单元701接收诸如广播内容、流内容、以及记录介质再现内容的各种类型的内容、并且从输出单元703输出所接收的内容。根据配备有人工智能功能700的再现系统，可以针对任意类型的内容实时地实现与视频图像或音频同步的体感型再现效果。
本实施方式的主要特征在于，使用已经学习体感型再现效果与视频图像或音频之间的关联性的神经网络、或者已经学习体感型再现效果与视频图像或音频之间的关联性以及体感型再现效果与用户的喜好、用户的状态、以及房间内部环境之间的关联性的神经网络实现由用于评估体感型再现效果的评估单元705所执行的评估过程。
图8描绘了已经学习体感型再现效果与视频图像或音频之间的关联性以及体感型再现效果与用户的喜好、用户的状态、以及房间内部环境之间的关联性的体感型再现效果评估神经网络800的配置例。体感型再现效果评估神经网络800由接收视频图像信号、音频信号、及传感器信号的输入的输入层810、中间层820、以及将控制信号输出至再现设备760的输出层830构成。根据图中描绘的实施例，中间层820由多个中间层821、822、以及其他层构成，以允许内容推导神经网络800执行DL。应注意，考虑到诸如视频图像信号和音频信号的时间序列信息的处理，中间层820可以具有包括循环连接的循环神经网络(RNN)结构。
输入层810包括各自在由信号处理单元702执行信号处理之后(或信号处理之前)接收视频图像信号和音频信号的一个或多个输入节点以及图4描绘的传感器分组400中所包括的一个或多个传感器信号。
输出层830包括与给至再现设备706的相应控制信号对应的多个输出节点。此外，输出层830基于被输入至输入层810的视频图像信号和音频信号而识别内容的情景、评估适合于情景的体感型再现效果、或者也适合于情景的体感型再现效果、用户的状态、以及房间内部环境、并且激发与给至用于实现所评估的再现效果的再现设备706的控制信号对应的输出节点。
根据从用作评估单元705的体感型再现效果评估神经网络800输出的控制信号而驱动再现设备706，以执行体感型再现效果。例如，在其中再现设备706由被整合到电视接收设备100中的风扇502和503构成的情况下，再现设备706根据控制信号控制风速、风量、风压、风向、波动、气流温度等。
在体感型再现效果评估神经网络800的学习过程中，将由从电视接收设备输出的视频图像或音频与在其中安装电视接收设备100的环境中执行的体感型再现效果构成的大量组合输入至体感型再现效果评估神经网络800。之后，对中间层820的相应节点的加权因子进行更新，以使得对于视频图像或音频，与适当的体感型再现效果的连接强度增加。如此，学习视频图像或音频与体感型再现效果之间的关联性。例如，将由视频图像或音频与体感型再现效果之间的关联性构成的教师数据，诸如由大爆炸中的空气炮产生的鼓风与安静湖边涟漪浮动的微风，输入至体感型再现效果评估神经网络800。之后，体感型再现效果评估神经网络800依次发现给至再现设备706的控制信号，以实现适合于视频图像或音频的体感型再现效果。
此外，在由体感型再现效果评估神经网络800执行的识别过程中(执行体感型再现)，体感型再现效果评估神经网络800以较高的可靠性输出给至再现设备706的控制信号，以实现被适当地应用于视频图像或音频输入(或来自电视接收设备100的输出)的体感型再现效果。根据从输出层830输出的控制信号而驱动再现设备706，以实现适合于视频图像或音频(即，内容情景)的体感型再现效果并且由此增强用户的现实感。
例如，在主控制单元201内实现图8中所描绘的体感型再现效果评估神经网络800。相应地，专用于神经网络的处理器可以包括在主控制单元201中。可替代地，体感型再现效果评估神经网络800可以设置在因特网的云上。然而，优选为将体感型再现效果评估神经网络800设置在电视接收设备100内，以针对从电视接收设备100输出的内容的每个情景实时地产生体感型再现效果。
例如，运送了使用专家教学数据库整合已经完成学习的体感型再现效果评估神经网络800的电视接收设备100。体感型再现效果评估神经网络800可以使用诸如反向传播的算法连续执行学习。可替代地，可以使用基于从因特网的云端上的大量用户采集的数据所获得的学习结果而对每个家庭中所安装的电视接收设备100内的体感型再现效果评估神经网络800进行更新。下面将对该点进行描述。
F.神经网络的更新与定制
上面已经描述了在赋予从电视接收设备100输出的视频图像或音频的体感型再现效果的过程中所使用的体感型再现效果评估神经网络800。
体感型再现效果评估神经网络800在构成每个家庭中所安装的电视接收设备100并且直接由用户操作的设备中操作、或者在其中安装该设备的家庭等的操作环境(以下称为“局部环境”)中操作。例如，由体感型再现效果评估神经网络800在局部环境中作为人工智能功能操作的该点所产生的一个有利效果在于，利用诸如反向传播的算法基于来自用户的反馈等作为教师数据易于实时地实现通过相应神经网络的学习。换言之，通过使用从用户接收的反馈的直接学习，能够针对具体用户对体感型再现效果评估神经网络800进行定制化或个性化。
来自用户的反馈指在使用体感型再现效果评估神经网络800对从电视接收设备100输出的视频图像或音频执行体感型再现效果时由用户给出的评估。来自用户的反馈可以是指示体感型再现效果OK(良好)或NG(不好)的简单反馈(或二值反馈)、或可以是多级评估。可替代地，可以通过音频输入给出由关注从再现设备706输出的体感型再现效果的用户做出的评估评论、并且可以作为用户的反馈进行处理。例如，经由作为人工智能、连接智能手机等中的一种模式的操作输入单元222、远程控制器、语音代理将用户反馈输入至电视接收设备100。而且，当再现设备706输出体感型再现效果时，可以将通过用户状态传感器单元420检测的用户的精神状态或心理状态作为用户的反馈进行处理。
另一方面，另一种可能的方法是在与因特网上的服务器设备的聚合(以下也被简称为“云”)的云中操作的一个或多个服务器设备中采集来自大量用户的数据，以使通过神经网络的学习积累成人工智能功能、并且通过使用由学习获得的学习结果对每个家庭中的电视接收设备100内的体感型再现效果评估神经网络800进行更新。通过在云中执行人工智能的功能的神经网络的更新所产生的一个有利效果在于，通过基于大量数据的学习可实现更可靠的神经网络的构造。
图9示意性地描绘了使用云的人工智能系统900的配置例。使用图中所描绘的云的人工智能系统900由局部环境910和云920构成。
局部环境910与其中安装电视接收设备100的操作环境(家庭)、或家庭中安装的电视接收设备100对应。尽管图9出于简化而仅描绘了一个局部环境910，然而，实际上，假设大量的局部环境连接至一个云920。而且，尽管主要呈现了诸如其中电视接收设备100操作的家庭的操作环境作为本实施方式中的局部环境910的实施例，然而，局部环境910可以是其中配备有用于显示内容的屏幕的任意设备操作的环境，诸如智能手机、平板电脑、以及个人计算机(包括诸如站台、公交站、机场、以及购物中心的公共设施，以及诸如工厂和工作场所的劳动设施。)
如上所述，将与视频图像或音频同步地给出体感型再现效果的体感型再现效果评估神经网络800设置为电视接收设备100内的人工智能。此处，将设置在电视接收设备100内并且实际使用的这些类型的神经网络统称为操作神经网络911。假设操作神经网络911已经通过使用由大量的采样数据组成的专家教学数据库而学习从电视接收设备100输出的视频图像或音频与和视频图像或音频同步的体感型再现效果之间的关联性。
另一方面，云920包括用于提供人工智能功能的人工智能服务器(上述)(由一个或多个服务器设备构成)。人工智能服务器指其中设置操作神经网络921和用于评估操作神经网络921的评估神经网络922的服务器。假设操作神经网络921具有与设置在局部环境910中的操作神经网络911的配置相同的配置并且已经通过使用由大量采用数据组成的专家教学数据库924而学习视频图像或音频与和视频图像或音频同步的体感型再现效果之间的关联性。而且，评估神经网络922指评估操作神经网络921的学习状态所使用的神经网络。
位于局部环境910端的操作神经网络911接收当前从电视接收设备100输出的视频图像信号和音频信号的输入以及从传感器单元400接收与电视接收设备100的安装环境并且与用户状态或用户资料相关联的传感器信息的输入、并且将控制信号输出至再现设备706，以获得与视频图像或音频同步的体感型再现效果(在其中操作神经网络911是体感型再现效果评估神经网络800的情况下)。此处，出于简化，将操作神经网络911的输入简称为“输入值”，并且还将来自操作神经网络911的输出简称为“输出值”。
例如，局部环境910的用户(例如，电视接收设备100的观众)对来自操作神经网络911的输出值进行评估、并且利用操作输入单元222、远程控制器、语音代理、连接智能手机等将评估结果反馈回至电视接收设备100。此处，为简化使命，假设用户反馈是OK(0)或NG(1)。具体地，用户通过使用OK(0)和NG(1)的两个值而表达他或她是否喜欢从再现设备706输出的与电视接收设备100的视频图像或音频同步的体感型再现效果。
将由用户的反馈与操作神经网络911的输入值和输出值的组合构成的反馈数据从局部环境910发送至云920。将从大量的局部环境发送的反馈数据累积到云920的反馈数据库923中。将描述用户与操作神经操作911的输入值和输出值之间的对应性的大量反馈数据累积到反馈数据库923中。
而且，允许云920保留或使用由大量采用数据构成并且用于操作神经网络911的预学习的专家教学数据库924。每个采样数据指描述视频图像或音频、传感器信息、以及操作神经网络911(或921)的输出值(再现设备706的控制信号)之间的对应性的教师数据。
在从反馈数据库923中提取反馈数据之后，将反馈数据中所包括的输入值(例如，视频图像或音频以及传感器信息)输入至操作神经网络921。而且，将来自操作神经网络921的输出值(再现设备706的控制信号)和对应反馈数据中所包括的输入值(例如，视频图像或音频以及传感器信息)输入至评估神经网络922。之后，评估神经网络922输出用户反馈的评估值。
在云920中交替执行作为第一步骤的评估神经网络922的学习和作为第二步骤的操作神经网络921的学习。
评估神经网络922指学习操作神经网络921的输入值与来自操作神经网络921的输出的用户反馈之间的对应性的网络。相应地，在第一步骤中，评估神经网络922接收来自操作神经网络921的输出值的输入以及对应反馈数据中所包括的用户反馈。之后，评估神经网络922基于从评估神经网络922自身输出的用户反馈(用于操作神经网络921的输出值)与操作神经网络921的输出值的实际用户反馈之间的差而限定损耗函数、并且学习，以使得损耗函数变得最小。因此，评估神经网络922以这样的方式进行学习，即，针对操作神经网络921的输出而输出与实际用户反馈相似的用户反馈(OK或NG)。
接着，在随后的第二步骤中，在保持评估神经网络922的同时，执行通过操作神经网络921的学习。如上所述，在从反馈数据库923中提取反馈数据之后，将反馈数据中包括的输入值输入至操作神经网络921，而将来自操作神经网络921的输出值与对应反馈数据中所包括的用户反馈的数据输入至评估神经网络922。之后，评估神经网络922输出与实际用户反馈等同的用户反馈。
此时，操作神经网络921对来自操作神经网络921自身的输出层的输出应用损耗函数、并且使用反向传播执行学习，以使得由此获得的值变得最小。例如，在其中使用用户反馈作为教师数据的情况下，操作神经网络921将操作神经网络921针对大量输入值(视频图像或音频与传感器信息)的输出值输入至评估神经网络922、并且学习，以使得由评估神经网络922评估的全部用户评估变成OK(0)。执行这种学习的操作神经网络921能够针对任意输入值(传感器信息)输出从用户接收OK反馈的输出值(用于再现设备706的控制信号与视频图像或音频同步地给予用户增强体感再现效果的刺激)。
而且，在操作神经网络921的学习过程中，可以使用专家教学数据库924作为教师数据。进一步地，可以使用诸如用户反馈和专家教学数据库924的两种或多种类型的教师数据而执行学习。在这种情况下，可以完成通过操作神经网络921的学习，以使得针对每个教师数据所计算和加权的损耗函数的和变得最小。
通过交替执行作为第一步骤的评估神经网络922的上述学习和作为第二步骤的操作神经网络921的上述学习而改进从操作神经网络921输出的可靠性。之后，为局部环境910中的操作神经网络911提供由于学习而具有较高可靠性的操作神经网络921的干预因子。如此，还允许用户获得具有学习更多的操作神经网络911的益处。因此，与从电视接收设备100输出的视频图像或音频同步地给予用户增强再现设备706的体感型再现效果的刺激的情况增加。
可以通过任意方法为局部环境910提供在云920中已经改进其可靠性的干预因子。例如，可以对操作神经网络921的干预因子的比特流进行压缩并且从云920中下载至局部环境910中的电视接收设备100。在压缩之后，当比特流具有较大的尺寸时，可以将干预因子分割成针对每层或每个区域而分离的部分，并且可以从各部分多次下载已压缩的比特流。
[工业应用]
上面已经参考具体实施方式对根据本公开的技术进行了描述。然而，显而易见的是，在不偏离本公开的技术的主题的情况下，本领域技术人员能够对实施方式进行校正或替换。
尽管在本说明书中已经主要描述了将本公开的技术应用于电视接收器的实施方式，然而，根据本公开的技术的主题并不局限于该实施例。根据本公开的技术还可应用于内容获取设备、内容再现设备、或显示设备，其各自包括具有利用广播波或通过经由因特网进行流化或下载而获取诸如视频图像和音频的各种类型的再现内容并且将所获取的再现内容呈现给用户的各种类型的内容获取和再现功能的显示器。
简言之，已经通过实施例对根据本公开的技术进行了描述，并且因此，其并不旨在使得本说明书中所描述的内容被视为限制性内容。应考虑权利要求，以判断根据本公开的技术的主题。
应注意，根据本公开的技术还能够具有下列配置。
(1)一种利用人工智能功能控制显示器的外部设备的操作的信息处理装置，信息处理装置包括：
获取单元，获取从显示器输出的视频图像或音频；
评估单元，利用人工智能功能评估与视频图像或音频同步的外部设备的操作；以及
输出单元，将所评估的操作的指令输出至外部设备。
(2)根据权利要求1所述的信息处理装置，其中，评估单元利用已经学习从显示器输出的视频图像或音频与外部设备的操作之间的关联性的神经网络评估与视频图像或音频同步的外部设备的操作。
(3)根据权利要求1或2所述的信息处理装置，其中，外部设备包括基于所评估的操作输出再现效果的再现设备。
(4)根据权利要求3所述的信息处理装置，其中，再现设备包括利用风的再现设备。
(5)根据权利要求4所述的信息处理装置，其中，再现设备进一步包括利用温度、水、光、气味、烟雾、以及体运动中的至少一项的再现设备。
(6)一种利用人工智能功能控制显示器的外部设备的操作的信息处理方法，信息处理方法包括：
获取步骤，获取从显示器输出的视频图像或音频；
评估步骤，利用人工智能功能评估与视频图像或音频同步的外部设备的操作；以及
输出步骤，将所评估的操作的指令输出至外部设备。
(7)一种配备有人工智能功能的显示器，显示器包括：
显示单元；
评估单元，利用人工智能功能评估与从显示单元输出的视频图像或音频同步的外部设备的操作；以及
输出单元，将所评估的操作的指令输出至外部设备。
(7-1)根据上面(7)所述的配备有人工智能功能的显示器，其中，评估单元利用已经学习从显示器输出的视频图像或音频与外部设备的操作之间的关联性的神经网络评估与视频图像或音频同步的外部设备的操作。
(7-2)根据上面(7)或(7-1)所述的配备有人工智能功能的显示器，其中，外部设备是基于所评估的操作输出再现效果的再现设备。
(7-3)根据上面(7-2)所述的配备有人工智能功能的显示器，其中，再现设备包括利用风的再现设备。
(7-4)根据上面(7-3)所述的配备有人工智能功能的显示器，其中，再现设备进一步包括利用温度、水、光、气味、烟雾、以及体运动中的至少一项的再现设备。
(8)一种配备有人工智能功能的再现系统，再现系统包括：
显示单元；
外部设备；以及
评估单元，利用人工智能功能评估与视频图像或音频同步的外部设备的操作。
(8-1)根据上面(8)所述的配备有人工智能功能的再现系统，其中，评估单元利用已经学习从显示器输出的视频图像或音频与外部设备的操作之间的关联性的神经网络评估与视频图像或音频同步的外部设备的操作。
(8-2)根据上面(8)或(8-1)所述的配备有人工智能功能的再现系统，其中，外部设备是基于所评估的操作输出再现效果的再现设备。
(8-3)根据上面(8-2)所述的配备有人工智能功能的再现系统，其中，再现设备包括利用风的再现设备。
(8-4)根据上面(8-3)所述的配备有人工智能功能的再现系统，其中，再现设备进一步包括利用温度、水、光、气味、烟雾、以及体运动中的至少一项的再现设备。
[参考标号列表]
100：电视接收设备
201：主控制单元
202：总线
203：存储单元
204：通信接口(IF)单元
205：扩展接口(IF)单元
206：调谐器/解调单元
207：解多路复用器
208：视频图像解码器
209：音频解码器
210：叠加解码器
211：字幕解码器
212：字幕合成单元
213：数据解码器
214：缓存单元
215：应用(AP)控制单元
216：浏览器单元
217：声源单元
218：视频图像合成单元
219：显示单元
220：音频合成单元
221：音频输出单元
222：操作输入单元
400：传感器分组
410：摄像机单元
411至413：摄像机
420：用户状态传感器单元
430：环境传感器单元
440：设备状态传感器单元
450：用户资料传感器单元
501：空调
502、503：风扇
504：吊顶区域照明
505：落地灯
506：水花
507：芳香扩散器
508：座椅
700：配备有人工智能功能再现系统的再现系统
701：接收单元
702：信号处理单元
703：输出单元
704：传感器单元
705：评估单元
706：再现设备
800：体感型再现效果评估神经网络
810：输入层
820：中间层
8630：输出层
910：局部环境
911：操作神经网络
920：云
921：操作神经网络
922：评估神经网络
923：反馈数据库
924：专家教学数据库

Claims (8)

1.一种利用人工智能功能控制显示器的外部设备的操作的信息处理装置，所述信息处理装置包括：
获取单元，获取从所述显示器输出的视频图像或音频；
评估单元，利用所述人工智能功能评估与所述视频图像或所述音频同步的所述外部设备的所述操作；以及
输出单元，将所评估的操作的指令输出至所述外部设备。
2.根据权利要求1所述的信息处理装置，其中，所述评估单元利用已经学习从所述显示器输出的所述视频图像或所述音频与所述外部设备的所述操作之间的关联性的神经网络评估与所述视频图像或所述音频同步的所述外部设备的所述操作。
3.根据权利要求1所述的信息处理装置，其中，所述外部设备包括基于所评估的操作输出再现效果的再现设备。
4.根据权利要求3所述的信息处理装置，其中，所述再现设备包括利用风的再现设备。
5.根据权利要求4所述的信息处理装置，其中，所述再现设备进一步包括利用温度、水、光、气味、烟雾、以及体运动中的至少一项的再现设备。
6.一种利用人工智能功能控制显示器的外部设备的操作的信息处理方法，所述信息处理方法包括：
获取步骤，获取从所述显示器输出的视频图像或音频；
评估步骤，利用所述人工智能功能评估与所述视频图像或所述音频同步的所述外部设备的所述操作；以及
输出步骤，将所评估的操作的指令输出至所述外部设备。
7.一种配备有人工智能功能的显示器，所述显示器包括：
显示单元；
评估单元，利用人工智能功能评估与从所述显示单元输出的视频图像或音频同步的外部设备的操作；以及
输出单元，将所评估的操作的指令输出至所述外部设备。
8.一种配备有人工智能功能的再现系统，所述再现系统包括：
显示单元；
外部设备；以及
评估单元，利用人工智能功能评估与视频图像或音频同步的所述外部设备的操作。
CN202080059241.7A 2019-08-28 2020-05-18 信息处理装置、信息处理方法、配备有人工智能功能的显示装置、以及配备有人工智能功能的再现系统 Withdrawn CN114269448A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019155351 2019-08-28
JP2019-155351 2019-08-28
PCT/JP2020/019662 WO2021038980A1 (ja) 2019-08-28 2020-05-18 情報処理装置及び情報処理方法、人工知能機能搭載表示装置、並びに人工知能機能搭載演出システム

Publications (1)

Publication Number Publication Date
CN114269448A true CN114269448A (zh) 2022-04-01

Family

ID=74685792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080059241.7A Withdrawn CN114269448A (zh) 2019-08-28 2020-05-18 信息处理装置、信息处理方法、配备有人工智能功能的显示装置、以及配备有人工智能功能的再现系统

Country Status (3)

Country Link
US (1) US20220286728A1 (zh)
CN (1) CN114269448A (zh)
WO (1) WO2021038980A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904202B2 (en) 2019-03-11 2024-02-20 Rom Technolgies, Inc. Monitoring joint extension and flexion using a sensor device securable to an upper and lower limb
US11541274B2 (en) 2019-03-11 2023-01-03 Rom Technologies, Inc. System, method and apparatus for electrically actuated pedal for an exercise or rehabilitation machine
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11071597B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US20210142893A1 (en) 2019-10-03 2021-05-13 Rom Technologies, Inc. System and method for processing medical claims
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11515028B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US20210134432A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11978559B2 (en) 2019-10-03 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11515021B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US20210134425A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11101028B2 (en) 2019-10-03 2021-08-24 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US20210128080A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US20210134458A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US20210127974A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Remote examination through augmented reality
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US20210134412A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11075000B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11069436B2 (en) 2019-10-03 2021-07-20 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
JP2022136000A (ja) * 2021-03-05 2022-09-15 株式会社エヌケービー 情報処理方法、芳香制御装置、コンピュータプログラム、芳香発生システム及び芳香発生装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147214B2 (en) * 2012-06-06 2018-12-04 Sodyo Ltd. Display synchronization using colored anchors
US8984568B2 (en) * 2013-03-13 2015-03-17 Echostar Technologies L.L.C. Enhanced experience from standard program content
WO2017002435A1 (ja) * 2015-07-01 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20190069375A1 (en) * 2017-08-29 2019-02-28 Abl Ip Holding Llc Use of embedded data within multimedia content to control lighting

Also Published As

Publication number Publication date
US20220286728A1 (en) 2022-09-08
WO2021038980A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
US20220286728A1 (en) Information processing apparatus and information processing method, display equipped with artificial intelligence function, and rendition system equipped with artificial intelligence function
US9918144B2 (en) Enchanced experience from standard program content
US11113884B2 (en) Techniques for immersive virtual reality experiences
JP5323413B2 (ja) 付加データ生成システム
JP2005523612A (ja) データ受信器と制御装置の方法及び装置
EP2330827A2 (en) Method and device for realising sensory effects
KR20100114857A (ko) 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치
JP2012086059A (ja) ディスプレイに動画視聴コンパニオンを設ける方法及び仮想生物生成器
KR20100114858A (ko) 실감 기기 성능 메타데이터를 이용한 실감 효과 표현 방법 및 장치
US20230147985A1 (en) Information processing apparatus, information processing method, and computer program
WO2017002435A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180176628A1 (en) Information device and display processing method
JP7294337B2 (ja) 情報処理装置及び情報処理方法、並びに情報処理システム
WO2021131326A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
WO2021079640A1 (ja) 情報処理装置及び情報処理方法、並びに人工知能システム
WO2012166072A1 (en) Apparatus, systems and methods for enhanced viewing experience using an avatar
WO2021009989A1 (ja) 人工知能情報処理装置及び人工知能情報処理方法、並びに人工知能機能搭載表示装置
WO2021124680A1 (ja) 情報処理装置及び情報処理方法
WO2021053936A1 (ja) 情報処理装置及び情報処理方法、並びに人工知能機能搭載表示装置
JP7428134B2 (ja) 情報処理装置及び情報処理装置、並びに情報処理システム
US20220224980A1 (en) Artificial intelligence information processing device and artificial intelligence information processing method
JP6523038B2 (ja) 感覚提示装置
JP6764456B2 (ja) 家電制御装置、表示装置、制御システム
Jalal Quality of Experience Methods and Models for Multi-Sensorial Media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220401