CN112839251A - 一种电视及其与用户的交互方法 - Google Patents

一种电视及其与用户的交互方法 Download PDF

Info

Publication number
CN112839251A
CN112839251A CN202011214767.6A CN202011214767A CN112839251A CN 112839251 A CN112839251 A CN 112839251A CN 202011214767 A CN202011214767 A CN 202011214767A CN 112839251 A CN112839251 A CN 112839251A
Authority
CN
China
Prior art keywords
story
vertex
implementation
realization
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011214767.6A
Other languages
English (en)
Inventor
汪灏泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Publication of CN112839251A publication Critical patent/CN112839251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明公开一种电视及其与用户的交互方法，包括：接收指示用户愿望的交互信息；解释所述交互信息以获得得到解释的愿望；根据所述得到解释的愿望在超故事中确定实现故事；发送反馈消息，所述反馈消息指示了用户愿望得到实现的时间以及对愿望的响应置信度；根据所述实现故事生成实现视频；以及输出所述实现视频。

Description

一种电视及其与用户的交互方法
技术领域
本发明涉及涉及视频娱乐技术，尤其涉及视频娱乐系统，电视(TV)，计算机可读介质及其交互方法。
背景技术
电视(TV)可能是人类最常见，最有影响力的娱乐设备。常规电视(TV)的设计基于这样一个假设：观看电视是一种放松的体验，用户交互需要尽可能少。因此，已经部署了许多用户免于交互的技术和创新。
例如，通常认为用户互动和/或遥控器按键的点击频率是评估电视性能的基本指标。对基于传感的自动用户识别学习方法进行了研究和个性化，并提出了一些建议，以加快电视机前的用户交互过程。探索了电视的内容布局结构和组织，并提出了一种可缩放的用户交互机制，该机制可实现更快的内容搜索和选择过程。对电视观看过程中的对象级访问和交互任务进行了调查，以便用户以接近实时的方式处理诸如电视购物和信息检索之类的观看体验。在其他示例中，提出了一种称为二进制电视的简单体验，该体验完全使用户免于与复杂的远程控件进行交互，在这种情况下，用户仅需要在查询来自电视时立即做出二进制(是或否)决策。
在某些设计中，交互式电影的行为类似于“选择自己的冒险”这本书，其中设置故事的格式为主角定期面对两个或三个选项，每个选项导致更多的选项，然后导致许多选项结局。然而，要求用户在电视前频繁交互对用户体验不佳。
因此，一个理想的功能是保持讲故事的不可预测性，除非用户打算暂停，否则不打扰用户。一种解决方案可能是让用户成为互动的触发者(而不是让电视定期提供选项)，这至少在两个方面使电视面临巨大挑战：(1)用户可以随时触发互动，这可能会产生数千个目标点，这远远多于当前迭代影片中现有的10到50个目标点；(2)大量的用户可能会产生数百万个不同的请求，这是不同于当前交互式电影中选项。所公开的设备旨在解决上述一个或多个问题以及其他问题。
发明内容
根据本发明提供了一种交互方法，所述交互方法包括：接收指示用户愿望的交互信息；解释该交互信息以获得得到解释的愿望；根据该得到解释的愿望在超故事(hyperstory)中识别实现故事；发送反馈消息，指示实现用户愿望的时间和对愿望的响应置信度，根据所述实现故事生成实现视频，并输出所述实现视频。
还根据本发明提供了一种电视(TV)，其包括处理器，耦合至该处理器的存储器以及耦合至该存储器的屏幕。存储器存储指令，这些指令在由处理器执行时使所述处理器接收指示用户愿望的交互信息，解释该交互信息以获得得到解释的愿望，根据得到解释的愿望在超故事中识别实现故事，发送反馈消息，指示实现用户愿望的时间以及对愿望的响应置信度，根据所述实现故事生成实现视频，并输出所述实现视频。屏幕配置为显示所述实现视频。
可选地，所述指令还使得所述处理器实现：
解释所述交互以得到关于人物、事件、时间和地点的愿望信息；以及
将所述愿望信息转换为所述得到解释的愿望，所述得到解释的愿望包括与所述愿望信息中人物、事件、时间和地点相一致的愿望命令模板。
可选地，所述指令还使得所述处理器实现：
获取所述超故事，所述超故事代表角色的状态以及导致所述角色的状态发生变化的事件。
可选地，所述指令还使得所述处理器实现：
利用有向不成环图(DAG)表示所述超故事，所述DAG中的顶点代表角色的状态，所述DAG中任一相连的顶点对之间的支路代表导致所述角色的状态发生变化的事件。
可选地，所述指令还使得所述处理器实现：
基于实现等待时间、质量水平以及对愿望的响应置信度，从所述超故事中的现有故事分支中确定满足所述得到解释的愿望的实现顶点，并确定从愿望点顶点到所述实现顶点的实现路径，所述愿望点顶点为接收所述交互时靠近目标点的顶点。
可选地，所述指令还使得所述处理器实现：
根据愿望实现距离(WRD)从所述超故事的现有故事分支中确定所述实现顶点和所述实现路径。
可选地，所述指令还使得所述处理器实现：
对于所述超故事中的各备选的实现顶点：
确定一条备选的实现路径，所述备选的实现路径对应于具有最小时间段的所述实现视频；
分析所述得到解释的愿望和所述备选的实现路径之间的匹配度；
计算所述备选的实现路径的质量水平；以及
根据得到的最小时间段、所述备选的实现路径的匹配度以及所述备选的实现路径的质量水平，构建所述备选的实现路径的WRD函数，并计算所述WRD函数的值；以及
将对应WRD函数最小值的备选的实现顶点确定为所述实现顶点，将对应WRD函数最小值的备选的实现路径确定为所述实现路径。
可选地，所述指令还使得所述处理器实现：
通过计算最小时间段，获取将所述愿望点顶点与所述备选的实现顶点桥接的所述支路；以及
将所述支路作为路径，确定所述备选的实现路径。
根据本发明还提供了一种计算机可读介质，该计算机可读介质存储指令，该指令在由计算机执行时使计算机接收指示用户的愿望的交互信息，解释该交互信息以获得得到解释的愿望，根据所得到解释的愿望在超故事中识别实现故事，发送反馈消息，指示实现用户期望愿望的时间和对愿望的响应置信度，根据所述实现故事生成实现视频，并输出所述实现视频。
可选地，所述指令还使所述计算机：
解释所述交互以得到关于人物、事件、时间和地点的愿望信息；以及
将所述愿望信息转换为所述得到解释的愿望，所述得到解释的愿望包括与所述愿望信息中人物、事件、时间和地点相一致的愿望命令模板。
可选地，所述指令还使所述计算机：
获取所述超故事，所述超故事代表角色的状态以及导致所述角色的状态发生变化的事件。
可选地，所述指令还使所述计算机：
利用有向不成环图(DAG)表示所述超故事，所述DAG中的顶点代表角色的状态，所述DAG中任一相连的顶点对之间的支路代表导致所述角色的状态发生变化的事件。
可选地，所述指令还使所述计算机：
基于实现等待时间、质量水平以及对愿望的响应置信度，从所述超故事中的现有故事分支中确定满足所述得到解释的愿望的实现顶点，并确定从愿望点顶点到所述实现顶点的实现路径，所述愿望点顶点为接收所述交互时靠近目标点的顶点。
可选地，所述指令还使所述计算机：
根据愿望实现距离(WRD)从所述超故事的现有故事分支中确定所述实现顶点和所述实现路径。
可选地，所述指令还使所述计算机：
对于所述超故事中的各备选的实现顶点：
确定一条备选的实现路径，所述备选的实现路径对应于具有最小时间段的所述实现视频；
分析所述得到解释的愿望和所述备选的实现路径之间的匹配度；
计算所述备选的实现路径的质量水平；以及
根据得到的最小时间段、所述备选的实现路径的匹配度以及所述备选的实现路径的质量水平，构建所述备选的实现路径的WRD函数，并计算所述WRD函数的值；以及
将对应WRD函数最小值的备选的实现顶点确定为所述实现顶点，将对应WRD函数最小值的备选的实现路径确定为所述实现路径。
可选地，所述指令还使所述计算机：
通过计算最小时间段，获取将所述愿望点顶点与所述备选的实现顶点桥接的所述支路；以及
将所述支路作为路径，确定所述备选的实现路径。
附图说明
图1为与本发明的实施例一致的视频娱乐系统的示意图。
图2为根据本发明的实施例的电视(TV)的示意图。
图3示意性地示出了与本发明的实施例一致的超故事的表示。
图4示意性地示出了与本发明的实施例一致的表1中的故事片段的关联状态。
图5示意性地示出了与本发明的实施例一致的表1中的故事的有向不成环图(DAG)表示。
图6示意性地示出了根据本发明的从超故事中的分支的现有可能性中识别实现故事的示例。
图7是与本发明的实施例一致的另一示例性TV的示意图。
图8是根据本发明实施例的交互方法的示意性流程图。
图9是与本发明的实施例一致的愿望实现距离(WRD)方法的示意性流程图。
图10是根据本发明的WRD方法的实现过程的示意性流程图。
表1示出了与本发明的实施例一致的故事片段和相关状态。
具体实施方式
此后，将参考附图描述与本发明相一致的实施例，这些附图仅是出于说明性目的的示例，而无意于限制本发明的范围。在所有附图中，将在所有附图中尽可能使用相同的附图标记指代相同或相似的部件。
本发明提供了一种视频娱乐系统，该视频娱乐系统允许任何用户在任何时间与该系统进行交互。所述视频娱乐系统可以解释与用户的交互信息，以指示他/她的即时愿望，然后在不久的将来(如果愿望具有短期影响)或在以后的时间(如果愿望具有长期影响)动态生成满足他/她的愿望的实现故事。用户的愿望可以是任何所需的操作，例如更改角色的弧光，为角色做出选择，添加新事件等。
图1是根据本发明的示例视频娱乐系统100的示意图。如图1所示，所述视频娱乐系统100包括电视(TV)110和通信地耦合到所述TV110的交互设备130。所述交互设备130和所述TV110可以通过有线或无线连接彼此通信。所述无线连接可以包括WiFi，蓝牙，Zigbee，LTE等。
可以配置所述交互设备130为从用户接收交互信息并将该交互信息发送到所述TV110。所述交互信息可以指示用户的愿望。所述用户的愿望可以是任何所需的操作，例如更改角色的弧光(例如，角色在整个故事过程中的旅程)，为角色做出选择，添加新事件等。所述交互信息可以由用户随时输入。在一些实施例中，交互信息可以包括语音命令，例如，“我希望苏西能够幸存”。所述交互设备130可以是具有麦克风的设备，例如，移动电话，具有内置麦克风的移动设备，具有麦克风的物联网(IoT)(例如，IoT玩具)等。所述交互设备130的麦克风可以从用户接收语音命令。
在一些实施例中，所述交互设备130可以是具有触摸屏的设备，例如，移动电话，平板电脑等。所述触摸屏可以包括用于从所述用户接收所述交互信息的触摸面板。所述用户可以通过用诸如用户的手指或指示笔之类的外部物体接触触摸屏来输入交互信息。例如，所述交互信息可以包括文本命令，并且所述用户可以经由触摸屏输入文本命令来表达他/她的愿望，例如“我希望山姆赢了”。作为另一个示例，所述交互信息可以包括菜单选择。例如，用户可以在触摸屏上垂直或水平滚动以选择一个角色(例如约翰)，然后在屏幕上的弹出菜单中为该角色选择将来状态(例如“关进监狱”)，来表达“把约翰放进监狱”的愿望。在一些实施例中，所述交互设备130可以是遥控器或鼠标。用户可以通过单击遥控器的按键或使用鼠标来输入文本命令或在菜单选项中选择选项。
在一些实施例中，所述交互信息可以包括手势。所述交互设备130可以是具有摄像头的设备，诸如移动电话，平板电脑等。所述摄像头可以捕获所述用户的手势。例如，所述用户可以通过结合使用所述手势和菜单选择来表达他/她的愿望。即，所述用户可以使用手势来选择菜单选择中的选项以表达他/她的愿望。
在一些实施例中，所述交互信息可以包括头部运动或眼睛运动。所述交互设备130可以是头戴设备，例如虚拟现实(VR)头戴式耳机，增强现实(AR)头戴式耳机，智能眼镜等。在一些实施例中，头戴式设备可以包括惯性测量单元(IMU)。所述IMU可以包括至少一个惯性传感器，例如加速度计，陀螺仪，磁力计等。因此，所述头戴式设备可以以三个自由度(3DoF)跟踪头的运动，例如三个旋转运动(即，滚动，俯仰和偏航)。在一些其他实施例中，所述头戴式设备可以包括摄像头。因此，所述头戴式设备可以追踪眼睛的运动。例如，所述用户可以通过使用头部移动或眼睛移动结合菜单选择来表达他/她的愿望。即，所述用户可以使用头部运动或眼睛运动来选择菜单选择中的选项以表达他/她的愿望。
在一些实施例中，所述交互设备130的功能可以集成到所述TV110中，因此可以绕过或省略所述交互设备130。例如，所述TV110可以具有内置麦克风，使得TV110可以直接从用户接收语音命令。作为另一示例，所述TV110可以具有内置摄像头，使得所述TV110可以直接接收用户的手势，头部运动或眼睛运动。
在一些实施例中，所述TV110可以配置为经由有线或无线连接从所述交互设备130接收交互信息。在一些其他实施例中，所述TV110可以配置为直接从用户接收交互信息，而无需通过所述交互设备130。在接收到用户的交互信息之后，所述TV110可以进一步配置为解释用户的交互信息并生成满足用户需求的实现视频。
在一些实施例中，所述TV110还可以配置为发送反馈消息，从而向用户通知例如实现等待时间，对愿望的响应置信度等。实现等待时间可以指示何时实现用户的愿望，而对愿望的响应置信度可以反映实现视频满足用户期望的程度。在一些实施例中，所述TV110可以将反馈消息发送到所述交互设备130，并且所述交互设备130可以将反馈消息输出给用户。所述反馈消息可以以任何合适的格式输出，例如，语音反馈消息，文本反馈消息等。在一些其他实施例中，所述TV110可以经由例如所述TV110的屏幕将反馈消息直接发送给用户。
在一些实施例中，所述TV110可以配置为执行与本发明一致的交互方法，诸如下面描述的示例交互方法之一。所述TV110可以包括智能TV，基于移动的TV，基于PC的TV，基于投影的TV，基于机顶盒/棒的TV等。
根据本发明，所述视频娱乐系统100可以允许用户在电视观看过程中(显式或隐式地)许下愿望，然后相应地根据他/她的愿望生成实现故事。这样，所述视频娱乐系统可以将电视体验的轻松性质与人们的好奇心和参与倾向结合在一起。
图2是根据本公开的TV110的示意图。如图2所示，所述TV110包括用户意图识别器111，耦合到所述用户意图识别器111的叙事引擎112，可扩展的超故事生成器113，耦合到所述可扩展的超故事生成器113的视频生成器114，耦合到所述叙事引擎112的输出视频调度器115，以及数据库116，所述数据库116耦合到所述叙事引擎112，所述可扩展超故事生成器113，所述视频生成器114和所述输出视频调度器115。本发明中的超故事指的是具有分支结构的叙述网络，所述用户可以在叙述的各个点的情节变化之间进行选择。
在一些实施例中，所述用户意图识别器111可以电耦合到所述交互设备130并且配置为从所述交互设备130接收用户的交互信息。在一些其他实施例中，所述用户意图识别器111可以配置为直接从用户接收交互信息，而无需通过所述交互设备130。在接收到所述用户的所述交互信息之后，所述用户意图识别器111可以进一步配置为解释用户的交互信息以获取得到解释的愿望，并将所述得到解释的愿望发送给所述叙事引擎112。在一些实施例中，所述得到解释的愿望可以包括愿望命令的模板，例如，“谁(人物，即哪个角色)+什么(事件，即未来状态)+何时(时间，即发生时间)+哪里(地点，即发生地点)”和/或类似名称。
在一些实施例中，当所述交互信息包括语音命令时，所述用户意图识别器111可以通过执行自然语言处理(NLP)以导出愿望信息，例如，谁，何时，什么(角色状态)来解释语音命令等等，并将愿望信息转换为愿望命令模板。例如，如果用户输入语音命令“希望苏西能够生存”，则所述用户意图识别器111可以执行所述NLP来从语音命令中获取愿望信息，并将愿望信息隐藏到愿望命令“苏西(谁)+生存(什么/未来的角色状态)。”
在一些实施例中，当所述交互信息包括手势时，所述用户意图识别器111可以通过执行手势识别算法来识别手势，例如，基于3D模型的算法，基于骨骼的算法等。在一些实施例中，当所述交互信息包括所述头部运动或所述眼睛运动时，所述用户意图识别器111可以通过执行运动追踪算法(例如，基于深度学习的运动追踪算法)来追踪头部运动或眼睛运动，或者其他。
在一些实施例中，当所述交互信息包括文本命令时，该文本命令可以直接转换为愿望命令的模板。例如，如果用户输入文本“我希望大卫可以赢”，并且所述用户意图识别器111可以将该文本转换为愿望命令“大卫(谁)+赢(什么/将来的角色状态)”的模板。
所述可扩展的超故事生成器113可以配置为生成超故事或从数据库116获得超故事。所述超故事是指包括各种分支的故事情节或故事图的网络。每个分支可以对应于所述可扩展的超故事生成器113创建的选项或角色或用户可能选择的选项。因此，每个连续故事在故事图中都有一个独特的路径，并具有故事情节(角色选择/状态)网络。根据所述可扩展的超故事生成器113创建的选项和/或角色选择的选项，所述路径可以由一系列分支组成。所述超故事可以手动生成，也可以由计算机自动生成。可以将所述超故事存储在数据库116中。所述可扩展的超故事生成器113可以在具有各种质量等级的各个分支中生成新的故事，并且可以不时以可扩展的方式定义质量等级。可扩展性反映了故事生命周期的本质，即从概念到更成熟版本，然后最终可能成为杰作。因此，可以在故事的不同阶段获得不同质量等级的故事，以适合不同类型或数量的观众。
图3示意性地示出了与本发明相一致的超故事。在图3中，使用有向不成环图(DAG)表示超故事。DAG中的每个顶点代表一个主要角色的状态，从一个顶点到另一个顶点的有向的支路是指导致相应角色的状态发生变化的事件。如图3所示，所述DAG具有单个起始顶点，因为虚拟故事中包含的所有故事的设置在开始时都是相同的，但是DAG具有多个结束顶点，因为在故事创作过程中可以生成各种故事的许多结尾。只要可以满足良好故事的基本标准，从起始顶点到结束顶点的任何一条路径都是备选的故事。从一个顶点到多个顶点的支路可以视为故事图的多个分支。
以一个著名的电影/故事狮子王为例，以演示图2中的DAG结构。在狮子王的故事中，有3个主要角色，分别是木法沙，刀疤和辛巴。这个故事与马斯洛的需求理论层次结构的2层有很大关系，即王权和生存/死亡。如果我们定义王权＝0表示不考虑王权，1表示渴望获得王权，2表示获得王权；定义生存＝0表示已死亡，1表示处于危险中，2表示没有立即危险的情况下，因此所有3个角色的状态都可以由6个元组表示，6个元组包括所有三个角色木法沙，刀疤和辛巴的王权值和生存值。
表1示出了与本发明内容一致的示例故事片段和相关状态。如表1所示，演示了故事的一部分，该故事具有7个片段(或步骤)，并在其中标记了相关的状态。
表1故事片段和相关状态
Figure BDA0002758662200000101
每个关联的状态由6个元组表示，依次为木法沙的王权，木法沙的生存，刀疤的王权，刀疤的生存，辛巴的王权和辛巴的生存。图4示意性地示出了与本发明一致的表1中的故事片段1的关联状态。以故事片段1为例，木法沙仍然是国王，并且在片段1中还活着，因此木法沙的王权等于2，木法沙的生存等于2。刀疤不是国王，而是渴望获得王权，他还活着。因此在第1部分中，刀疤的王权等于1，而刀疤的生存等于2。辛巴没有考虑当国王，并且他在片段1中还活着，所以辛巴的王权等于0，而辛巴的生存等于2。这样，故事片段1的关联状态为221202。
图5示意性地示出了与本发明内容一致的表1中故事的示例DAG表示。在图5中，用实线作为路径展示了故事的DAG表示形式。每个顶点表示每个片段中的关联状态，每条支路表示从一种状态到另一种状态的转换。
在图5中，通过在虚线中添加顶点和支路，可以生成新的故事作为示例。通过状态转换，可以完成两个相邻片段之间的故事情节。例如，从(221201)到(001202)，它可能是指木法沙拯救了辛巴但失去了自己的生命。作为另一个示例，从(001202)到(001222)，它可以指的是辛巴作为新国王前进。可以理解，在DAG结构中，产生新故事的空间很大，这与超故事的片段数量有关。另外，即使故事的片段数量是固定的，超故事中不同故事的持续时间也可能会变化，这与这些片段的实际表演时间以及视频后处理阶段中的编辑和剪切过程高度相关。可以通过手动创建故事或通过自动化以可扩展的方式将新故事路径添加到虚拟故事中。
在一些实施例中，所述可扩展的超故事生成器113还可以配置为将所述超故事发送到数据库116，并且所述数据库116可以配置为存储该超故事，使得所述TV110的其他组件，例如叙事引擎112，所述视频生成器114等，可以从数据库116检索超故事。
所述叙事引擎112可以配置为从所述用户意图识别器111接收得到解释的愿望，并从故事分支的现有可能性中识别所述实现故事，所述故事分支来自于由所述可扩展的超故事生成器113生成的超故事。
在一些实施例中，可以基于多个因素，通过确定超故事中满足用户愿望的实现顶点以及确定从愿望点顶点到实现顶点的实现路径来找到所述实现故事。例如，实现等待时间(即，接收到用户的交互信息和输出实现视频之间的持续时间)，实现视频的质量水平，对愿望的响应置信度等。接收到所述用户的所述交互信息时，接近该目标点的顶点是所述愿望点顶点。所述目标点为所述用户与所述视频娱乐系统发生交互时在影片中对应的节点。所述实现顶点可以是超故事中所有备选的实现顶点中的最佳实现顶点。所述实现路径可以是超故事中所有备选的实现路径中的最佳实现路径。
在一些实施例中，可以解释用户的愿望，并且可以基于得到解释的愿望确定多个实现顶点。即，所述用户可以确定在故事的多个目标点发生什么。例如，可以在所述超故事中获得满足所述得到解释的愿望的多个实现顶点。可以将所述多个实现顶点发送给用户，所述用户可以从所述多个实现顶点中选择实现顶点，并确定从所述愿望点顶点到所述实现顶点的实现路径。
图6示意性地示出了与本发明一致的示例，根据超故事中分支的现有可能性来识别实现故事。例如，如图6所示，目标点A是愿望点顶点，并且顶点B，C和D是备选的实现顶点，并且从A到B，A到C和A到D的备选的实现路径用粗线标记。可以根据所述得到解释的愿望确定备选的实现顶点B，C和D以及备选的实现路径。例如，再次参考表1，如果所述得到解释的愿望是“刀疤(谁)+新国王(什么/未来角色状态)”，则备选的实现顶点B，C和D是状态为“**22**”的顶点。符号“*”表示可以是任何值。这样，可以确定从A到B，A到C和A到D的任何路径都是备选的实现路径。
所述叙事引擎112可以配置为从B，C和D中确定一个顶点，并基于实现等待时间、实现视频的质量水平以及对愿望的响应置信度等，确定从A到该顶点的一条路径来确定所述实现故事。在一些实施例中，所述叙事引擎112可以配置为执行与本发明一致的愿望实现距离(WRD)方法，诸如以下描述的示例性WRD方法之一。所述WRD方法可以使用WRD函数动态地测量愿望点顶点和备选的实现顶点之间的距离。利用WRD函数，可以将确定实现故事转换为确定多个距离(例如AB，AC和AD)的最小值。
在确定所述实现故事之后，所述叙事引擎112还可以配置为例如以对愿望的置信度是多少来通知用户何时实现他/她的愿望。在一些实施例中，所述叙事引擎112可以配置为根据所述超故事中分支的可能性来确定所述实现故事，并且即使对愿望的响应置信度不够高也可以通知用户。
在一些实施例中，所述叙事引擎112可以配置为将实现故事的信息发送到所述数据库116，并且所述数据库116可以配置为存储实现故事的信息。这样，所述TV110中的其他组件，例如所述视频生成器114等，可以从所述数据库116中找回实现故事的信息。所述实现故事的信息可以包括在所述超故事中所述愿望点顶点的位置/索引，在超故事中所述实现顶点的位置/索引，以及在所述实现路径中其他顶点的位置/索引。
所述视频生成器114可以配置为根据由所述叙事引擎112找到的实现故事来生成实现视频。在一些实施例中，所述视频生成器114可以配置为从所述数据库116接收所述实现故事的信息。所述视频生成器114可以进一步配置为根据所述实现故事的信息从所述数据库116中找回所述超故事中所述实现故事的片段。例如，可以从所述可扩展的超故事生成器113中找回与所述愿望点顶点相对应的实现故事片段、与确定的实现顶点相对应的实现故事片段以及与所述实现路径中的其他顶点相对应的实现故事片段。
由于所述实现故事的片段是文本格式，因此所述视频生成器114可以进一步配置为使用任何合适的自动电影摄影方法(例如一种重要性驱动的电影重播方法，所述方法可以利用游戏中的叙事及几何信息来自动计算摄像机的路径和编辑结果)，以文本格式根据所述实现故事的片段生成所述实现视频。所述实现视频可以包括多个视频剪辑片段，并且每个视频剪辑片段可以对应于所述实现故事的一个片段。
在一些实施例中，所述视频生成器114可以配置为将所述实现视频的多个视频剪辑片段发送到所述数据库116，并且所述数据库116可以配置为存储多个视频剪辑片段。这样，所述TV110中的其他组件(例如输出视频调度器115等)可以从所述数据库116中找回所述多个视频剪辑片段。
所述输出视频调度器115可以配置为根据所述叙事引擎112找到的实现故事，动态地排列所述实现视频的多个视频剪辑片段，并输出所述实现视频的多个视频剪辑片段，并且在所述TV110的屏幕上显示所述视频剪辑片段。例如，所述输出视频调度器115可以配置为根据所述实现故事的片段的顺序来排列所述实现视频的多个视频剪辑片段，并输出所述实现视频的多个视频剪辑片段，且在所述TV110的屏幕上显示所述视频剪辑片段。
所述数据库116可以包括内存式数据库，磁盘式数据库或其组合。在一些实施例中，可以绕过或省略所述数据库116。例如，所述叙事引擎112可以耦合到所述可扩展的超故事生成器113，并且配置为直接从所述可扩展的超故事生成器113找回所述超故事。所述视频生成器114可以耦合到所述叙事引擎112，并且用于找回直接来自所述叙事引擎112的信息。所述数据库116可以耦合到视频生成器114，并配置为直接从所述视频生成器114找回所述实现视频的视频剪辑片段。
在一些实施例中，图2所示的所述用户意图识别器111，所述叙事引擎112，所述可扩展的超故事生成器113，所述视频生成器114，所述输出视频调度器115和所述数据库可以是分离的单独组件或耦合在一起形成电路。在一些实施例中，所述TV110可以包括集成电路(IC)芯片，该IC芯片的不同部分为图2所示的各种组件。
根据本发明，所述TV110可以允许用户使用各种交互机制在任何时候许愿，并且所述TV110可以立即响应他/她的愿望，并通知用户的愿望多久会实现，以及对愿望的响应置信度是多少。可以理解，所述用户的愿望可以将原始故事改变为完全不同的故事，并且所述用户可以在不同时间以不同的愿望重复观看故事，因此原始的电视观看体验隐含地成为用户自发参与的探索体验。
图7是根据本发明的另一示例TV110的示意图。如图7所示，所述TV110包括处理器1101，耦合到所述处理器1101的存储器1102以及耦合到所述存储器1102的屏幕1103。
所述处理器1101可以包括任何合适的硬件处理器，例如微处理器，微控制器，中央处理单元(CPU)，网络处理器(NP)，数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)和/或另一个可编程逻辑设备，分立门或晶体管逻辑设备，分立硬件组件。所述存储器1102可以包括非暂时性计算机可读存储介质，例如随机存取存储器(RAM)，只读存储器，闪存，易失性存储器，硬盘存储器或光学介质。
所述存储器1102可以存储计算机程序代码，该计算机程序代码在由所述处理器1101执行时使所述处理器1101执行与本发明一致的交互方法，例如下面描述的示例交互方法之一，以实现图2中所示的组件的各种功能。在一些实施例中，所述存储器1102可以进一步配置为存储超故事，实现故事的信息，实现视频的视频剪辑片段等。
在一些实施例中，可以在所述TV110的物理电视盒中放置所述处理器1101和所述存储器1102。在一些其他实施例中，可以在电视的物理电视盒外放置所述处理器1101和所述存储器1102，并且所述处理器1101和所述存储器1102可以用作所述TV100访问和使用的云服务。
所述屏幕1103可以配置为向用户显示实现视频和/或反馈消息(例如，实现等待时间，对愿望的响应置信度等)。在一些实施例中，所述屏幕1103可以包括触摸面板，用于接收来自所述用户的交互信息。所述用户可以通过用诸如用户的手指或手写笔的外部物体触摸所述屏幕1103来输入交互信息。例如，所述用户可以通过用他/她的手指触摸所述屏幕1103来输入文本命令来表达他/她的愿望，例如“我希望山姆会赢”。在一些实施例中，用户可以通过用他/她的手指触摸所述屏幕1103来调整TV参数，例如亮度，对比度，饱和度等。
根据本发明，所述TV110可以将电视体验的放松性质与人们的好奇心和参与倾向相结合。这样，所述TV110可以在用户自发参与的情况下将原始的电视观看体验转变为探索体验。
与本发明相一致的交互方法将在下面更详细地描述。可以在与本发明一致的电视中实现本发明的交互方法，例如具有上述视频娱乐系统100的所述TV110。
图8是根据本发明的交互方法800的流程图。如图8所示，在步骤810中，接收到指示用户愿望的交互信息。所述交互信息可以指示用户的愿望，例如，更改角色弧光，为角色做出选择，添加新事件等。所述交互信息可以由用户随时输入。所述交互信息可以包括例如语音命令，文本命令，手势，头部运动，眼睛运动等。在所述步骤810处的处理可以由例如所述用户意图识别器111或所述TV110的处理器1101来实现。
在步骤820中，对所述交互信息进行解释以获得得到解释的愿望。在一些实施例中，得到解释的愿望可以包括愿望命令的模板，例如，“人物+事件+时间+地点”等。可以基于交互信息的格式来解释交互信息，以导出愿望信息，例如，人物，时间，事件，地点等，并将所述愿望信息转换为愿望命令的模板。例如，如果所述交互信息包括语音命令，则可以执行NLP以从语音命令中获取愿望信息，例如，人物，时间，事件等，并将所述愿望信息转换为愿望命令模板。作为另一个示例，如果所述交互信息包括文本命令，则所述文本命令可以直接转换为愿望命令的模板。如果所述交互信息包括手势，则可以通过执行任何适当的手势识别算法来识别所述手势，如果所述交互信息包括头部运动或眼睛运动，则可以通过执行任何适当的运动追踪算法来追踪头部运动或眼睛运动。所述步骤820处的处理可以由例如上述用户意图识别器111或TV110的处理器1101来实现。
在步骤830中，根据所述得到解释的愿望在超故事中找到实现故事。在一些实施例中，可以根据得到解释的愿望从超故事故事分支的现有可能性中找到实现故事。所述超故事是指故事的网络或包含各种分支的故事图。
在一些实施例中，所述交互方法800可以进一步包括生成超故事。例如，所述超故事可以使用所述DAG结构表示。所述DAG中的每个顶点代表一个主要角色的状态，从一个顶点到另一个顶点的有向的支路是指导致相应角色的状态发生变化的事件。从一个顶点到多个顶点的支路可以视为故事图的多个分支。可以通过例如上述可扩展的超故事生成器113或TV110的处理器1101来生成超故事。
在一些实施例中，接收到用户的交互信息时，愿望点顶点可以确定为接近该目标点的顶点。可以根据所述得到解释的愿望来确定备选的实现顶点和从所述愿望点顶点到备选的实现顶点的可能实现路径。在一些实施例中，可以使用与本发明一致的WRD方法从所有备选的实现顶点和所有备选的实现路径中确定实现顶点和实现路径。
图9是根据本发明的WRD方法的流程图。回到表1和图5至图6，N表示表1和图5中所示的超故事的步数。如果仅考虑角色状态的关键发展，则N可以为小数字，但是如果放大角色的动作和情绪变化并且在角色状态中考虑更多因素时，所述N也可以为大数字。例如，当N足够大时，电影可以分为N个片段，平均每个片段最多占用一分钟(甚至更少)，然后可以将连续的时间轴转换为离散的片段。另一方面，声称所有备选的角色状态的数量有限是合理的。假设M表示角色状态的所有组合的数目，因此表1和图5中所示的DAG空间可以由大小为图6所示M×N的顶点矩阵表示。假设Vi,j(i＜N，j＜M)表示图6的顶点矩阵中的第i列和第j行的顶点，那么确定实现故事的问题可以由以下表示：给定用户在片段x附近的时间做出的愿望和相关顶点Vx,y(即，愿望点顶点)，则需要从所有可能性中确定实现顶点Vrx,ry和桥接Vx,y和Vrx,ry的实现路径，才能实现所述用户的愿望。
如图9所示，在步骤910中，为每个备选的实现顶点确定备选的实现路径，所述实现路径与具有最小时间段的实现视频相对应。
考虑到DAG中的所有相连的顶点对Vx,y和Vx+1,yy，假定T(Vx,y,Vx+1,yy)表示在顶点Vx,y和顶点Vx+1,yy(即表演时间)之间片段的视频剪辑片段的时间段，然后对于任何连接(具有备选的实现路径)但未直接相连的顶点对Vx,y和Vrx,ry(rx>x+1)，T(Vx,y,Vrx,ry)可以递归计算为：
T(Vx,y,Vrx,ry)＝Minimum[T(Vx,y,Vx+1,yy)+T(Vx+1,yy,Vrx,ry)]
对于所有直接连接到Vx,y的顶点Vx+1,yy (1)
其中T(Vx,y,Vx+1,yy)表示在愿望点顶点Vx,y和顶点Vx+1,yy之间视频的时间段，T(Vx+1,yy,Vrx,ry)为所述顶点Vx+1,yy与所述备选的实现顶点Vrx,ry之间视频的时间段，T(Vx,y,Vrx,ry)表示选择具有最小时间段的实现视频，即所述愿望点顶点Vx,y与备选的实现顶点Vrx,ry之间视频的最小时间段。这样，可以获得桥接愿望点顶点Vx,y和备选的实现顶点Vrx,ry的支路，该支路对应于具有最小时间段T(Vx,y,Vrx,ry)的实现视频。可以确定备选的实现路径(从愿望点顶点Vx,y到实现顶点Vrx,ry)作为T(Vx,y,Vrx,ry)选定支路的路径，并表示为P(Vx,y,Vrx,ry)，所述备选的实现路径与具有最小时间段T(Vx,y,Vrx,ry)的实现视频相对应。
在步骤920中，针对每个备选的实现顶点，分析确定所述得到解释的愿望和备选的实现路径之间的匹配度。
假设w表示从用户当前输入的交互信息获得的所述得到解释的愿望，S(w，Vx,y，Vrx,ry)表示所述得到解释的愿望和备选的实现路径之间的匹配度，S函数的值可以落在[0.0,1.0]的范围内，值越大则匹配越好。通常，用户的愿望可以包括改变角色的状态或防止改变，这与惩罚、拯救、原谅、获胜、逃脱、寻找等动作有关，因此可以分析备选的实现路径P(Vx,y,Vrx,ry)(如图5所示的示例)中角色状态的变化轨迹，以确定备选的实现路径P(Vx,y,Vrx,ry)与所述得到解释的愿望之间的匹配度。可以理解，在从所有备选的实现路径中确定所述实现路径时，可以将匹配度视为非常关键的因素。
在步骤930中，针对每个备选的实现顶点计算备选的实现路径的质量水平。
假设Q(Vx,y,Vx+1,yy)表示这一片段的质量水平，则对于任何连接(具有备选的实现路径)但不直接相连的顶点对Vx,y和Vrx,ry(rx>x+1)，Q(Vx,y，Vrx,ry)可以计算为：
Q(Vx,y,Vrx,ry)＝Minimum[Q(V1,V2)，对于P(Vx,y,Vrx,ry)中的任意支路(V1,V2)](2)
Q(Vx,y,Vx+1,yy)反映出任何低质量的片段都会降低对包含该片段的所有视频剪辑片段的评估，因此在选择过程中，除非没有其他选择，否则不会选择低质量的支路以获得良好的质量得分。
在步骤940中，根据最小时间段、匹配度和质量水平，为每个备选的实现顶点计算备选的实现路径的WRD函数。WRD函数是通过以下计算过程得到的T函数，Q函数和S函数的组合：
WRD(w,Vx,y,Vrx,ry)＝a×[1.0-S(w,Vx,y,Vrx,ry)]+b×T(Vx,y,Vrx,ry)+(1–a–b)×[QMax-Q(Vx,y,Vrx,ry)] (3)
其中Qmax指所述质量水平的阈值上限，a和b落在范围[0.0,1.0]中，是为系统调整S函数，T函数和Q函数的权重的参数，从而最小化WRD，将匹配度S和质量水平Q最大化，则等待时间T可以最小化。还可以将a作为匹配度权重并将b作为等待时间权重，以及质量水平权重等于1-a-b。也就是说所述WRD函数为第一值、第二值以及第三值之和，其中所述第一值可以为1与所述备选的实现路径的匹配度之间的差值乘以匹配度权重的积，所述第二值为所述备选的实现路径对应的视频的时间段乘以等待时间权重的积，所述第三值为所述质量水平的阈值上限与所述备选的视频路径的质量水平的差值乘以质量水平权重的积。其中所述质量水平权重等于1减去所述匹配度权重再减去所述等待时间权重，而且所述匹配度权重、所述等待时间权重和所述质量水平权重落在范围0到1中。
在步骤950中，将与WRD函数的最小值相对应的备选的实现顶点确定为所述实现顶点，将与WRD函数的最小值相对应的备选的实现路径确定为所述实现路径。在所有备选的实现顶点和对应备选的实现路径中，如果一实现顶点的实现路径具有与WRD函数最小值对应的最小时间段，则将此实现顶点及实现路径确定为所述实现顶点和所述实现路径。这样，所确定的实现路径可以具有愿望和实现结果的最佳匹配度，具有实现过程中最好的故事和视频质量，以及具有愿望和实现结果之间的最短等待时间。
与本发明内容一致，WRD可以考虑愿望和实现结果的匹配度，实现过程的故事和视频质量，愿望和实现结果之间的等待时间等。使用WRD函数，可以将确定实现故事的问题转换为从距离列表中确定最小值这一更简单的问题。
可以通过所述叙事引擎112或所述TV110的处理器1101来实现图9所示的过程。图10是示意性流程图，以表现与本发明一致的WRD方法1000的示例性实施过程。如图10所示，在步骤1010中，确定新故事和相关联的视频是否可用。
在步骤1020中，一旦存在新故事并且相关联的视频可用，针对DAG空间中的所有顶点组合，重新计算和存储等式(1)中的T函数和等式(2)中的Q函数。可以将新故事添加到例如所述可扩展的超故事生成器113或所述处理器1101中，并且通过例如所述视频生成器114或所述处理器1101来生成相关联的视频。
在步骤1030中，确定是否在接近顶点Vx,y的时间接收到用户的愿望w。
在步骤1040中，一旦在接近顶点Vx,y的时间接收到用户的愿望w，则执行后续过程。
在步骤1041中，考虑将来的L个片段中的所有备选的实现顶点Vrx,ry，并且选择等式(3)中的最小化的WRD(w,Vx,y,Vrx,ry)以及备选的实现路径P(Vx,y,Vrx，ry)。L是指可配置的参数，例如可由所述TV110或用户配置。
在步骤1042中，如果S(w,Vx,y,Vrx,ry)低于预设的置信度，则通知用户“愿望不能在当前的超故事中实现”，否则，将实现等待时间T(Vx,y,Vrx,ry)以及对愿望的响应置信度S(w,Vx,y,Vrx,ry)通知给用户。预设的置信度可以包括由所述TV110预设的默认值，或者可以由用户预设。
回来参考图8，在步骤840中，发送反馈消息以通知用户的愿望将在多长时间内实现以及对愿望的响应置信度是多少。反馈消息可以包括实现等待时间，对愿望的响应置信度，质量水平等。在一些实施例中，可以在发现实现故事之后立即发送反馈消息。在一些实施例中，即使对愿望的响应置信度不够高，也可以将反馈消息发送给用户。在步骤840中的过程可以由所述叙事引擎112或所述TV110的处理器1101实现。
在步骤850中，根据实现故事的信息生成实现视频。所述实现故事的信息包括所述超故事中所述愿望点顶点的位置/索引，所述超故事中所述实现顶点的位置/索引，以及所述实现路径中其他顶点的位置/索引。可以根据所述实现故事的信息来找回所述超故事中所述实现故事的片段。例如，可以找回与所述愿望点顶点、所述确定的实现顶点以及在所述确定的路径中的其他顶点相对应的所述实现故事的片段。可以使用任何合适的自动电影拍摄法从文本格式的所述实现故事的片段生成所述实现视频。在步骤850处的过程可以由所述视频生成器114或所述TV110的处理器1101来实现。
在步骤860中，输出所述实现视频。可以根据所述实现故事动态地排列所述实现视频的多个视频剪辑片段，并且将其输出并显示在TV的屏幕上。例如，可以根据所述实现故事的片段的顺序，来排列所述实现视频的多个视频剪辑片段，并且将其输出并显示在TV的屏幕上。所述步骤860处的过程可以由所述输出视频调度器115或所述TV110的处理器1101来实现。
根据本发明所述的交互方法可以允许用户使用各种交互机制在任何时候许下愿望，并且电视可以立即响应他/她的愿望并通知用户的愿望需要多长时间在叙事内实现以及对愿望的响应置信度。可以理解，用户的愿望可以将原始故事改变为完全不同的故事，并且用户可以在不同的时间重复观看具有不同愿望的故事，因此原始的电视观看体验隐含地成为用户自发参与的探索体验。
本发明还提供了一种计算机可读介质。所述计算机可读介质可以存储指令，该指令在由计算机执行时使计算机执行与本发明一致的交互方法，例如上述示例的交互方法之一。所述计算机可读介质可以包括非暂时性计算机可读存储介质，诸如随机存取存储器(RAM)，只读存储器，闪存，易失性存储器，硬盘存储器或光学介质。
通过结合本发明公开的说明书和实践，本发明的其他实施例对于本领域技术人员将是显而易见的。说明书和实施例仅是示例性的，并不限制本发明的范围，本发明的真实范围和精神由所附权利要求书指示。

Claims (16)

1.一种交互方法，其特征在于，包括：
接收指示用户愿望的交互信息；
解释所述交互信息以获取得到解释的愿望；
根据所述得到解释的愿望，确定超故事中的实现故事；
发送反馈信息，所述反馈信息指示所述用户愿望实现的时间以及对愿望的响应置信度；
根据所述实现故事生成实现视频；
输出所述实现视频。
2.根据权利要求1所述的交互方法，其特征在于，解释所述交互信息以获取得到解释的愿望包括：
解释所述交互信息以得到关于人物、事件、时间和地点的愿望信息；以及
将所述愿望信息转换为所述得到解释的愿望，所述得到解释的愿望包括与所述愿望信息中人物、事件、时间和地点相一致的愿望命令模板。
3.根据权利要求1所述的交互方法，其特征在于，还包括：
获取所述超故事，所述超故事代表角色的状态以及导致所述角色的状态发生变化的事件。
4.根据权利要求3所述的交互方法，其特征在于，获取所述超故事包括：
利用有向不成环图(DAG)表示所述超故事，所述DAG中的顶点代表角色的状态，所述DAG中任一相连的顶点对之间的支路代表导致所述角色的状态发生变化的事件。
5.根据权利要求4所述的交互方法，其特征在于，根据所述得到解释的愿望在所述超故事中确定实现故事包括：
基于实现等待时间、质量水平以及对愿望的响应置信度，从所述超故事中的现有故事分支中确定满足所述得到解释的愿望的实现顶点，并确定从愿望点顶点到所述实现顶点的实现路径，所述愿望点顶点为接收所述交互信息时靠近目标点的顶点。
6.根据权利要求5所述的交互方法，其特征在于，确定所述实现顶点和所述实现路径包括：
根据愿望实现距离(WRD)从所述超故事的现有故事分支中确定所述实现顶点和所述实现路径。
7.根据权利要求6所述的交互方法，其特征在于，根据WRD确定所述实现顶点和所述实现路径包括：
对于所述超故事中的各备选的实现顶点：
确定一条备选的实现路径，所述备选的实现路径对应于具有最小时间段的所述实现视频；
确定所述得到解释的愿望和所述备选的实现路径之间的匹配度；
计算所述备选的实现路径的质量水平；以及
根据得到的最小时间段、所述备选的实现路径的匹配度以及所述备选的实现路径的质量水平，构建所述备选的实现路径的WRD函数，并计算所述WRD函数的值；以及
将对应WRD函数最小值的备选的实现顶点确定为所述实现顶点，将对应WRD函数最小值的备选的实现路径确定为所述实现路径。
8.根据权利要求7所述的交互方法，其特征在于，确定备选的实现路径，所述备选的实现路径对应于具有最小时间段的所述实现视频包括：
通过计算最小时间段，获取将所述愿望点顶点与所述备选的实现顶点桥接的所述支路；以及
将所述支路作为路径，确定所述备选的实现路径。
9.根据权利要求7所述的交互方法，其特征在于，计算所述最小时间段包括：
对所有与愿望点顶点Vx,y相连的顶点Vx+1,yy，通过递归计算时间段T(Vx,y,Vx+1,yy)与时间段T(Vx+1,yy,Vrx,ry)的和的最小值，以计算所述愿望点顶点Vx,y与备选的实现顶点Vrx,ry之间视频的所述最小时间段T(Vx,y,Vrx,ry)，所述顶点Vx+1,yy为所有直接与所述愿望点顶点Vx,y相连的顶点，时间段T(Vx,y,Vx+1,yy)为所述愿望点顶点Vx,y与所述顶点Vx+1,yy之间视频的时间段，时间段T(Vx+1,yy,Vrx,ry)为所述顶点Vx+1,yy与所述备选的实现顶点Vrx,ry之间视频的时间段。
10.根据权利要求7所述的交互方法，其特征在于，确定所述得到解释的愿望和所述备选的实现路径之间的匹配度包括：
计算在所述备选的实现路径中角色的状态变化轨迹，确定所述得到解释的愿望和所述备选的实现路径之间的匹配度。
11.根据权利要求7所述的交互方法，其特征在于，计算所述备选的实现路径的质量水平包括：
计算所述备选的实现路径的质量水平，并将所述质量水平作为所述备选的实现路径中的质量水平最低值。
12.根据权利要求7所述的交互方法，其特征在于，构建所述备选的实现路径的WRD函数包括：
所述WRD函数为第一值、第二值以及第三值的和，其中所述第一值为1与所述备选的实现路径的匹配度的差值乘以匹配度权重的积，所述第二值为所述备选的实现路径对应的视频的时间段乘以等待时间权重的积，所述第三值为所述质量水平的阈值上限和所述备选的视频路径的质量水平的差值乘以质量水平权重的积；
所述质量水平权重等于1减去所述匹配度权重再减去所述等待时间权重，而且所述匹配度权重、所述等待时间权重和所述质量水平权重落在范围0到1中。
13.根据权利要求1所述的交互方法，其特征在于，所述反馈信息包括实现等待时间、对愿望的响应置信度以及质量水平。
14.根据权利要求5所述的交互方法，其特征在于，根据所述实现故事生成所述实现视频包括：
根据所述实现故事，收回所述超故事中所述实现故事的片段，包括所述愿望点顶点的索引、确定的所述实现顶点的索引以及确定的所述路径中其他顶点的索引；以及
使用自动电影拍摄方法，从所述实现故事的所述片段中生成所述实现视频。
15.一种电视，其特征在于，包括：
处理器；
耦合到所述处理器的存储器，所述存储器用于存储指令，所述指令由所述处理器执行时，使得所述处理器实现：
接收指示用户愿望的交互信息；
解释所述交互信息以获取得到解释的愿望；
根据所述得到解释的愿望，确定超故事中的实现故事；
发送反馈信息，所述反馈信息指示所述用户愿望实现的时间以及对愿望的响应置信度；
根据所述实现故事生成实现视频；
输出所述实现视频；而且
所述电视机还包括耦合到所述存储器的屏幕，所述屏幕用于显示所述实现视频。
16.一种计算机可读介质，其特征在于，所述计算机可读介质存储有指令，所述指令由计算机执行时，使所述计算机：
接收指示用户愿望的交互信息；
解释所述交互信息以获取得到解释的愿望；
根据所述得到解释的愿望，确定超故事中的实现故事；
发送反馈信息，所述反馈信息指示所述用户愿望实现的时间以及对愿望的响应置信度；
根据所述实现故事生成实现视频；
输出所述实现视频。
CN202011214767.6A 2019-11-22 2020-11-03 一种电视及其与用户的交互方法 Pending CN112839251A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/693,204 US11122335B2 (en) 2019-11-22 2019-11-22 Wishing television
US16/693,204 2019-11-22

Publications (1)

Publication Number Publication Date
CN112839251A true CN112839251A (zh) 2021-05-25

Family

ID=75923787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011214767.6A Pending CN112839251A (zh) 2019-11-22 2020-11-03 一种电视及其与用户的交互方法

Country Status (2)

Country Link
US (1) US11122335B2 (zh)
CN (1) CN112839251A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11285388B2 (en) * 2020-08-31 2022-03-29 Nawaf Al Dohan Systems and methods for determining story path based on audience interest
US11711573B1 (en) 2022-04-22 2023-07-25 TCL Research America Inc. 1-click reversible story

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304808A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for digital assets and associated metadata
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
CN108920503A (zh) * 2018-05-28 2018-11-30 哈尔滨工程大学 一种基于社交网络信任度的微视频个性化推荐算法
US20190098371A1 (en) * 2017-09-27 2019-03-28 Podop, Inc. Media narrative presentation systems and methods with interactive and autonomous content selection
CN109922373A (zh) * 2019-03-14 2019-06-21 上海极链网络科技有限公司 视频处理方法、装置及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831902B2 (en) 2011-09-22 2014-09-09 Tcl Lab (Us) Inc. Least click TV
US8595773B1 (en) 2012-07-26 2013-11-26 TCL Research America Inc. Intelligent TV shopping system and method
US8964127B2 (en) 2012-07-27 2015-02-24 TCL Research America Inc. User-sensing remote control system and method
US8869211B2 (en) 2012-10-30 2014-10-21 TCL Research America Inc. Zoomable content recommendation system
US8856845B2 (en) 2012-12-21 2014-10-07 TCL Research America Inc. Method and system for providing personalized contents
US9100701B2 (en) 2013-07-31 2015-08-04 TCL Research America Inc. Enhanced video systems and methods
US9866913B1 (en) 2016-06-24 2018-01-09 TCL Research America Inc. Binary TV

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304808A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for digital assets and associated metadata
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US20190098371A1 (en) * 2017-09-27 2019-03-28 Podop, Inc. Media narrative presentation systems and methods with interactive and autonomous content selection
CN108920503A (zh) * 2018-05-28 2018-11-30 哈尔滨工程大学 一种基于社交网络信任度的微视频个性化推荐算法
CN109922373A (zh) * 2019-03-14 2019-06-21 上海极链网络科技有限公司 视频处理方法、装置及存储介质

Also Published As

Publication number Publication date
US11122335B2 (en) 2021-09-14
US20210160578A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
TWI524210B (zh) 基於自然姿勢之使用者介面方法及系統
JP7152528B2 (ja) フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器
KR20220115824A (ko) 콘텐츠를 공간 3d 환경에 매칭
RU2698158C1 (ru) Цифровая мультимедийная платформа для преобразования видеообъектов в представленные в игровой форме мультимедийные объекты
US11706485B2 (en) Display device and content recommendation method
CN107005741B (zh) 一种计算机实现的方法、系统及存储介质
US11250633B2 (en) Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time
JP4653251B2 (ja) 操作状態判定装置
CN109074404A (zh) 用于提供内容导航的方法和装置
US20150156545A1 (en) Method and system for providing media recommendations
JP2014522012A (ja) ビジュアル検索及び推奨ユーザインタフェース及び装置
CN108959320A (zh) 预览视频搜索结果的方法和装置
CN112839251A (zh) 一种电视及其与用户的交互方法
CN111760272B (zh) 游戏信息显示方法及装置、计算机存储介质、电子设备
US11418848B2 (en) Device and method for interactive video presentation
CN112752121A (zh) 一种视频封面生成方法及装置
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
KR20160016574A (ko) 영상 제공 방법 및 이를 위한 장치
CN114610198A (zh) 基于虚拟资源的交互方法、装置、设备和存储介质
US20230054388A1 (en) Method and apparatus for presenting audiovisual work, device, and medium
KR101944454B1 (ko) 정보처리프로그램 및 정보처리방법
CN113110770B (zh) 一种控制方法及装置
US11711573B1 (en) 1-click reversible story
CN115499672B (zh) 图像显示方法、装置、设备及存储介质
CN117768667A (zh) 画面配置方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination