CN107924414A - 促进在计算装置处进行多媒体整合和故事生成的个人辅助 - Google Patents

促进在计算装置处进行多媒体整合和故事生成的个人辅助 Download PDF

Info

Publication number
CN107924414A
CN107924414A CN201680048411.5A CN201680048411A CN107924414A CN 107924414 A CN107924414 A CN 107924414A CN 201680048411 A CN201680048411 A CN 201680048411A CN 107924414 A CN107924414 A CN 107924414A
Authority
CN
China
Prior art keywords
story
media
personages
event
theme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680048411.5A
Other languages
English (en)
Other versions
CN107924414B (zh
Inventor
S·萨海
L·纳赫曼
R·H·沃海比
O·U·弗洛瑞茲
G·拉法
R·C·沙阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107924414A publication Critical patent/CN107924414A/zh
Application granted granted Critical
Publication of CN107924414B publication Critical patent/CN107924414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/131Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

根据一个实施例,描述了一种用于促进在计算装置处进行多媒体整合和故事生成的个人辅助的机制。如本文描述的,一种实施例方法包括:由计算装置处的一个或多个捕获/感测部件接收与事件相关的一个或多个媒体项;以及从所述一个或多个媒体项捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项而被捕获的。所述方法可以进一步包括:形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪而形成的,其中,所述故事经由一个或多个显示装置向具有对所述一个或多个显示装置的访问权的一个或多个用户呈现。

Description

促进在计算装置处进行多媒体整合和故事生成的个人辅助
技术领域
本文所述的实施例总体上涉及计算机。更具体地,实施例涉及促进在计算装置处进行多媒体整合(curation)和故事生成的个人辅助。
背景技术
随着移动计算机和社交联网应用的使用和可用性的增加,在获取、组织和共享媒体(如相片、视频等)方面存在相应的用户兴趣增加。尽管存在声称提供用于组织媒体的解决方案的软件应用,但是这些常规技术受到严重限制,因为它们要求它们的用户对它们的媒体进行手动组织,如按照主题、事件等收集和组织图片。因此,这种常规技术要求部分用户作出较大的努力,并且是耗费时间的、低效的且易出错的。
附图说明
以示例性而非限制性方式在附图中展示实施例,在附图中,类似参考号指示类似元件。
图1展示了根据一个实施例的采用媒体整合和故事生成辅助机制的计算装置。
图2A展示了根据一个实施例的媒体整合和故事生成辅助机制。
图2B展示了根据一个实施例的具有语义分析器的语义分析逻辑。
图2C展示了根据一个实施例的架构布局。
图3展示了根据一个实施例的通过链路来连接人物的映射场景。
图4展示了根据一个实施例的用于促进自动和动态媒体整合以生成故事的方法。
图5展示了根据一个实施例的适用于实现本公开的实施例的计算机环境。
图6展示了根据一个实施例的用于促进动态瞄准用户并传达消息的方法。
具体实施方式
在下列描述中,陈述了众多具体细节。然而,如本文中所描述的,可以在不具有这些特定的细节的情况下实践实施例。在其他实例中,没有详细示出众所周知的电路、结构和技术,以免模糊本描述的理解。
实施例提供用作智能且高效的个人辅助的技术,以帮助用户进行自动和动态多媒体项(也被称为“媒体项”、“媒体资产”或简单地称为“媒体”)(例如,照片、现场或记录的视频、现场或记录的音频、用户间的现场聊天、语音消息、文本消息、用户在网站上发布的评论、从用户处接收的反馈、电视节目、电影、网页、在线发布、博客、表演、游戏、音乐会、演讲等)整合来创建能够被经历、分享和提供的故事。例如,基于图片的故事可以是所述图片成为故事中的表演者以展示目标驱动主题和情绪。
应注意的是,“整合”指的是或包括(但不限于)对任何数量和类型的媒体项的选择、观察、收集、保存、维护、组织、整理、筛选、存档等。可以进一步设想,所述媒体可以从任何数量和类型的媒体源或工具比如(但不限于)照相机、网站(例如社交媒体、社交联网网站、商业联网网站、新闻网站、博客等)、输入/输出装置(例如照相机、话筒、传感器(例如语音传感器、情境传感器、周围环境传感器、温度/天气传感器等)、检测器(例如全球定位系统(GPS)部件)、扬声器、高音扬声器投影机等)、计算装置、现场广播、记录广播、蓝光盘(BD)播放器、数字视频盘(DVD)播放器、光盘(CD)播放器、数据库、数据源、储存库和/或类似物)获得。
在一个实施例中,一系列预先计算的(也被称为“预定义的”或“预定的”)过滤器可以用于为用户选择所希望的目标,并且然后为将被用户消费的或被用户与可能有兴趣阅读所述体验的其他人分享的吸引人的体验自动生成图片、标题、故事主题标签等的实时动态集群。进一步地,在一个实施例中,可以采用任何数量和类型的认知技术以利用媒体的在创建相关故事中将使用的元数据(比如,一个人在图片中“微笑”)。
常规技术是手动的,并且因此不被提供用于媒体整合的自动化或甚至半自动化,并且替代地依靠试探选择以及图像的时间或时空顺序等中的至多一些。例如,大部分常规技术不允许用户与系统交互以创建使用用户媒体例如照片、视频等的故事,因为这种技术是手动的,其中需要用户做所有的艰苦工作或者被完全忽略。
实施例为自动的和动态的媒体整合提供综合方法,所述方法考虑并且从任何数量和类型的媒体源例如社交联网网站等相应地提取任何数量和类型的用户相关的因素,如目标、主题、情绪、喜好、信仰等,以及使用元数据(例如评论、点赞、标题、描述、位置、天气、事件和/或类似物)的情境的和语意的理解从各种媒体比如照片、视频等提取到达作者或共同作者媒体流的情境通道。实施例进一步提供来自各种通道的媒体比如图片的合并,以创建更多个性化的和综合的故事,交互地编辑这些故事,与其他用户分享这些故事,免费地作为模版或者为了金钱收益在市场中出版这些故事以便其他人使用或再使用和/或类似物。例如,如贯穿本文档将被参考的模版可以不是真实的故事(比如所有的图像等),而是由图1的媒体故事机制110所解释的元数据和元描述以为其他人生成相似的故事。进一步地,例如,用户可以不希望在市场中分享他们的孩子的图片,但是可以分享其他信息比如主题、路径等并且用于引导故事的创建等。
图1展示了根据一个实施例的采用媒体整合和故事生成辅助机制110的计算装置100。计算装置100为主媒体整合和故事生成辅助机制(“媒体故事机制”)110充当主机,所述故事生成辅助机制包括任何数量和类型的部件,如图2所示,以高效地采用一个或多个部件来促进媒体的自动和动态整合的个人辅助,如贯穿本文将进一步描述的。
计算装置100可以包括任何数量和类型的数据处理装置,比如大型计算系统,诸如服务器计算机、台式计算机等,并且可进一步包括机顶盒(例如,基于互联网的有线电视机顶盒等)、基于全球定位系统(GPS)的装置等。计算装置100可以包括充当通信装置的移动计算装置,诸如包括智能电话在内的蜂窝电话、个人数字助理(PDA)、平板计算机、膝上型计算机(例如,UltrabookTM系统等)、电子阅读器、媒体互联网装置(MID)、媒体播放器、智能电视、电视平台、智能装置、计算灰、媒体播放器、头戴式显示器(HMD)(例如,可佩戴眼镜例如glassTM、头戴式双目镜、游戏显示器、军事头戴物等),以及其他可穿戴装置(例如,智能手表、手镯、智能卡、首饰、衣物等)和/或类似物。
计算装置100可以包括充当计算装置100的硬件和/或物理资源与用户之间的接口的操作系统(OS)106。计算装置100还包括一个或多个处理器102、存储器装置104、网络装置、驱动器等、以及输入/输出(I/O)源108,诸如,触摸屏、触摸面板、触摸板、虚拟或常规键盘、虚拟或常规鼠标等。
应注意的是,贯穿本文档,可以可互换地使用类似“节点”、“计算节点”、“服务器”、“服务器装置”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机”、“装置”、“计算装置”、“计算机”、“计算系统”等术语。还应注意的是,贯穿本文档,可以可互换地使用类似“应用”、“软件应用”、“程序”、“软件程序”、“包”、“软件包”、“代码”、“软件代码”等术语。此外,贯穿本文档,可以可互换地使用类似“作业”、“输入”、“请求”、“消息”等术语。可以设想,术语“用户”可以指代使用或有权使用计算装置100的个体或个体群。
图2A展示了根据一个实施例的媒体整合和故事生成辅助机制110。在一个实施例中,媒体故事机制110可以包括任何数量和类型的部件,比如(但不限于):检测/接收逻辑201;监测逻辑203;人物解析引擎205;事件提取引擎207;情绪理解引擎209;以及故事分割引擎211;反馈和生成/呈现逻辑213;以及通信/兼容性逻辑215。在一个实施例中,计算装置100进一步包括输入/输出源108,所述输入/输出源包括捕获/感测部件261以及输出部件263。
进一步地,在一个实施例中,人物解析引擎205可以包括命名实体解析逻辑221、共指解析逻辑223、情境发现逻辑225以及角色分配逻辑227;事件提取引擎207可以包括位置解析逻辑231、时间解析逻辑233、话题建模235以及场景理解237;情绪理解引擎209可以包括情感分析逻辑241以及面部情绪分析逻辑243;并且故事分割引擎211可以包括目标标识逻辑251、交互编辑器253以及主题标签生成器255。
计算装置100可以通过通信媒介275(例如,通信信道或网络,诸如云网络、互联网、接近网络、蓝牙等)与(多个)媒体源270(例如,网站(诸如社交联网网站、商业联网网站、个人网站、公司网站等)、媒体播放器、照相机、数据库、数据源、储存库、计算装置(诸如第三方计算装置等)和/或类似物)进行通信,并且进一步通过通信媒介275与一个或多个计算装置(也被称为“客户端计算机”、“客户端装置”或简单地称为“个人装置”),比如个人装置280(例如,台式计算机、移动计算机、可穿戴计算装置等)进行通信。在一个实施例中,(多个)媒体源270(诸如媒体播放器、另一个计算装置等)可以被分离地定位并且通过通信媒介275与个人装置280进行远程通信。
在另一个实施例中,(多个)媒体源270(诸如照相机、网站等)可以是个人装置280的一部分或者通过所述个人装置进行访问。在又另一个实施例中,(多个)媒体源270可以是媒体馈送(例如,社交/商业联网网站,诸如等),所述媒体馈送由于在个人装置280处被媒体交互/辅助应用(“媒体应用”)281的媒体馈送接收/访问逻辑285促进,经由用户接口283可直接访问,或者通过一个或多个其他个人装置进行访问。可以进一步设想并且应注意的是,个人装置280可以指代或包括具有它们的所有部件(诸如,(多个)处理器102、存储器104、操作系统106等)的计算装置,如参照图1所展示的计算装置100。
如所图示,在一个实施例中,个人装置280可以主控媒体应用281,所述媒体应用包括用户接口283、媒体馈送接收/访问逻辑(“接收/访问逻辑”)285、提取逻辑287以及通信逻辑289。个人装置280,类似于计算装置100,还可包括任何数量和类型的输入元件291(例如,2D照相机、3D照相机、话筒、传感器、检测器等)和输出元件293(例如,显示屏幕、投影机、扬声器等)分别用于接收/捕获媒体输入和提供/播放媒体输出以辅助媒体应用281,进而与媒体故事机制110通信并工作以进行媒体项自动和动态整合和故事生成。
可以设想并且应注意的是,在一个实施例中,媒体故事机制110可以被整体主控在计算装置100(例如,服务器计算机、台式计算机、膝上型计算机、移动计算机等)处,并且通过通信媒介275(诸如云网络、接近网络、互联网等)与一个或多个个人装置(诸如个人装置280)进行通信。在另一个实施例中,媒体故事机制110可以被整体主控在个人装置280(例如,膝上型计算机、移动或可穿戴计算机,诸如平板计算机、智能手机、智能卡、可佩戴眼镜、智能首饰、智能衣物等)处,例如全部或部分地作为媒体引用281的一部分。
在又另一个实施例中,媒体故事机制110可以被部分地应用在计算装置100和个人装置280二者处,比如,媒体故事机制110的一个或多个部件可以由计算装置100主控,并且媒体故事机制110的一个或多个部件可以由个人装置280主控。例如,具有大量资源、能力、功率等的大型个人装置280(例如,台式计算机等)可以采用媒体故事机制110,而具有有限资源的小型个人装置280(例如,移动计算机,诸如智能手机、平板计算机等)可以不采用媒体故事机制110,并且替代地被限制于采用媒体应用281通过通信媒介275与媒体故事机制110进行通信。
在一个实施例中,计算装置100可以进一步与包括一个或多个储存库或数据源的一个或多个数据库265通信以获得、通信、存储和维护任何数量和类型的数据(例如,媒体项、元数据、实时数据、历史内容、用户和/或装置标识以及其他信息、资源、政策、标准、规则和规定、更新等)。在一个实施例中,(多个)媒体源280还可以包括一个或多个计算装置,比如第三方计算装置,以服务、获得、通信、存储和维护任何数量和类型的数据,比如媒体项、元数据、实时数据、历史内容、用户和/或装置标识以及其他信息等。在一个实施例中,通信媒介275可以包括任何数量和类型的通信信道或网络,比如云网络、互联网、内联网、物联网(“IoT”)、接近网络、蓝牙等。可以设想,实施例不限于任何特定数量或类型的计算装置、媒体源、数据库、个人装置、网络等。
计算装置100可以进一步包括I/O源108,所述I/O源具有任何数量和类型的捕获/感测部件261(例如,传感器阵列(诸如情境/情境感知传感器和环境传感器,例如照相机传感器、周围光传感器、红-绿-蓝(RGB)传感器等)、深度感测照相机、二维(2D)照相机、三维(3D)照相机、图像源、音频/视频/信号检测器、话筒、眼睛/视线跟踪系统、头部跟踪系统等)和输出部件263(例如,音频/视频/信号源、显示平面、显示面板、显示屏幕/装置、投影机、显示/投影区域、扬声器等)。
捕获/感测部件261可以进一步包括振动部件、触觉部件、电导元件、生物特征传感器、化学检测器、信号检测器、脑电图、功能近红外光谱、波检测器、力传感器(例如,加速度计)、照明器、眼睛跟踪或视线跟踪系统、头部跟踪系统等中的一个或多个,所述捕获/感测部件可以用于捕获任何数量和类型的视觉数据,例如图像(例如,照片、视频、电影、音频/视频流等),以及非视觉数据,比如音频流或信号(例如,声音、噪声、振动、超声波等)、无线电波(如,无线信号,诸如具有数据、元数据、符号等的无线信号))、化学变化或特性(例如,湿度、体温等)、生物特征读数(例如,图形打印等)、脑电波,脑循环、环境/天气状况、地图等。可以设想,贯穿本文档,可以可互换地引用“传感器”和“检测器”。可以进一步设想,一个或多个捕获/感测部件261可以进一步包括用于捕获和/或感测数据的一个或多个支持或补充装置,比如照明器(例如,红外(IR)照明器)、灯具、发电机、隔音器等。
可以进一步设想,在一个实施例中,捕获/感测部件261可以进一步包括用于感测或检测任何数量和类型的情境(例如,估计涉及移动计算装置的水平线、线性加速度等)的任何数量和类型的情境传感器(例如,线性加速度计)。例如,捕获/感测部件261可以包括任何数量和类型的传感器,比如(但不限于):加速度计(例如,用于测量线性加速度的线性加速度计等);惯性装置(例如,惯性加速度计、惯性陀螺仪、微机电系统(MEMS)陀螺仪、惯性导航仪等);用于研究和测量由重力引起的重力加速度变化的重力梯度仪等。
进一步地,例如,捕获/感测部件261可以包括(但不限于):音频/视觉装置(例如,照相机、话筒、扬声器等);情境感知传感器(例如,温度传感器、与音频/视觉装置的一个或多个照相机一起工作的面部表情和特征测量传感器、环境传感器(比如用于感测背景颜色、光等)、生物特征传感器(比如用于检测指纹等)、日历维护和阅读装置等);全球定位系统(GPS)传感器;资源请求器;以及可信执行环境(TEE)逻辑。TEE逻辑可以分开地使用或者作为资源请求器和/或I/O子系统的一部分等。捕获/感测部件可以进一步包括语音识别装置、照片识别装置、面部和其他身体识别部件、语音至文本转换部件等。
计算装置100可以进一步包括与一个或多个捕获/感测部件261通信的一个或多个输出部件263和用于促进播放和/或可视化不同内容(比如,图像、视频、文本、音频、动画、交互式表示、指纹的可视化、触摸、嗅觉和/或其他感觉相关体验的可视化)的媒体机制110中的一个或多个部件。例如,输出部件263可以进一步包括一个或多个遥现投影机以投影真实图像的虚拟表示,所述虚拟表示能够在交互的同时漂浮在半空中并且具有真实对象的深度。
进一步地,输出部件263可以包括触觉效应器作为呈现触摸的可视化的示例,其中,这种实施例可以是能够在空间中发送信号的超声波发生器,例如,当所述信号到达时,人类手指可以在手指上出现触摸感受或类似感觉。进一步地,例如,并且在一个实施例中,输出部件263可以包括(但不限于)以下各项中的一项或多项:光源、显示装置和/或屏幕、音频扬声器、触摸部件、电导元件、骨传导扬声器、嗅觉或气味视觉和/或非视觉呈现装置、触觉或触摸视觉和/或非视觉呈现装置、动画显示装置、生物特征显示装置、X射线显示装置、高分辨率显示器、高动态范围显示器、多视图显示器以及用于虚拟现实(VR)和增强现实(AR)中的至少一个的头戴式显示器(HMD)等。
如贯穿本文将进一步描述的,在一个实施例中,通过能够在个人装置280处访问的一个或多个媒体源270(例如,使用接收/访问逻辑285,和/或一个或多个其他个人装置等),可以从一个或多个社交媒体馈送(例如,社交联网网站,诸如等)获得媒体。进一步地,通过一个或多个输入元件291(比如,话筒等),可以捕获现场音频媒体(例如,评论、聊天、人们在拍照时讲话等)。类似地,通过一个或多个输入元件291(比如,阅读器、扫描仪、照相机等),可以捕获其他形式的媒体,例如文本、图片等。
在一个实施例中,一旦从使用用户接口281、输入元件291、输出元件293等中的一个或多个的媒体源270中的一个或多个接收或捕获到任何数量的媒体项(例如,照片、文本消息、语音聊天等),当被媒体逻辑285促进时,可以从使用提取逻辑287的媒体提取任何数量和类型的情境(例如,情绪、情感、心情、模式(比如,玩耍模式、工作模式和家庭模式等)、环境变化、周围气氛、事件、位置和/或类似物)。
在一个实施例中,通过观察媒体和与媒体相关的任何信息,比如数据、元数据等,可以经由提取逻辑287实时提取情境;例如,在若干张照片中微笑的人在度假期间可以暗示所述人在度假期间的一般心情,但是在十张照片之一中大笑并且在其他九张照片中显示沮丧的人可以暗示发生了一些尤其开心/高兴的事情使得所述人大笑(并且因此改变心情)。类似地,提取逻辑287可以用于从任何数量和类型的数据/元数据(例如音频聊天(例如,人们的大笑、玩笑、严肃、哭泣等)、文本中的情绪(例如,微笑的面部、皱眉的面部、生气的面部等)、符号(例如,感叹号、句号、逗号等)、照片或视频中的视觉指示(例如,人的微笑、跳跃、休息、饮酒、睁大双眼、露出牙齿、潮湿衣物、鞋上的沙子等)和/或类似物)提取这种情境。
在一个实施例中,这些被提取的情境然后可以在媒体故事机制110上通信以便进一步处理(比如通过情绪理解引擎209),其中,使用通信逻辑289和/或通信/兼容逻辑213,这些被提取的情境被实时通信。在一个实施例中,情境可以被提取和实时或按需或基于如在用户和/或系统偏好中阐述的预定的时间表进行通信。
如前面所述,常规技术不能与在视觉上创建和表达强度、情绪以及经由媒体感测/捕获技术捕获的时刻的潜在乐趣相关联。当前技术不能经由媒体体验表达丰富的情绪来完成成就、叙述、兴奋和其他自我表达的目标。
实施例提供目标驱动视觉故事生成个人辅助系统,所述系统经由社交媒体模态将人物、位置、时间和分享的体验和表达考虑在内,以允许基于个人媒体的视觉上生成的故事到达用户。例如,在一个实施例中,人物解析引擎205可以用于在记叙文中提取人物并分配角色,事件提取引擎207可以用于捕获插曲和话题主题和活动的集群,情绪理解引擎209可以用于通过各种事件中的人物捕获情绪和情感,并且故事分割引擎211可以用于拼接媒体元件以创建故事。
尽管可以设想实施例不限于任何特定的装置、用户、事件、情境等;但是,为了简洁、清楚和易于理解,贯穿本文,可以参考家庭度假事件,比如,两个成年人和两个儿童的家庭去夏威夷群岛之一度假旅行。他们游览了一些旅游景点,捕获了数百张图片并将它们发布在社交媒体网站上,在此他们已经接收到与所发布的图片相关的大量评论。它们食用了美味的食物,从事了诸如浮潜、观鲸、乘坐直升机、观看当地音乐表演、做晨间瑜伽等活动。为了简洁,贯穿本文,可以可互换地参考类似“用户”、“人物”、“表演者”等术语。
现在参考媒体故事机制110,在一个实施例中,每次用户请求、情境、实时数据、历史数据等可以在检测/接收逻辑201处接收时,可以触发和使用检测/接收逻辑201。进一步地,检测/接收逻辑201可以用于执行与捕获/感测部件261、输出部件263等中的一个或多个相关联的任何数量和类型的检测和/或接收任务,以通过通信媒介240检测来自个人装置280、(多个)媒体源270、(多个)数据库265等的各种内容。
在一个实施例中,一旦接收到相关的用户请求、情境和其他数据/元数据等,当由媒体故事机制110中的一个或多个部件执行时,监测逻辑203可以被触发以开始对与自动和动态的媒体整合相关联的一个或多个进程或任务进行监测。
如前面所述,在一个实施例中,人物解析引擎205可以用于标识故事(例如,度假故事)中的主要人物(例如,家庭成员)以及人物之间的关系。例如,人物可以被表示为图表中的节点,而他们的关系可以被表示为节点之间的链路,比如,表示丈夫的节点承载着与表示他的妻子的节点和表示两个孩子的节点等的链路。类似地,人物可以包括与度假家庭等有联系的其他个体。
例如,并且在一个实施例中,命名实体解析逻辑(“命名逻辑”)221可以用于从评论、描述等提取个人实体,而当被共指解析逻辑(“共指逻辑”)223促进时,任何代词和共指可以使用共指解析自然语言处理来解决。进一步地,命名逻辑221可以进一步用于从与人相关联的标签中或使用同一个人的图像和之前标签使用面部识别技术来建立与媒体中的元数据或者甚至物理接近度(如利用蓝牙元数据等)相关联的人物,所述物理接近度由情境发现逻辑225基于通信介质275的各种接近度网络(如蓝牙、Wi-Fi等)促进。
进一步地,在一个实施例中,角色分配逻辑227可以用于分析和角色分配,比如分析“谁向谁说了什么”以基于各种评论和描述等在与网络图表中的人物相关的链路上分配角色。可以设想,取决于所述技术并且由于视觉辨识和特征化技术的进步,可以从图像提取和评价附加的元数据。例如,如果一个人看上去经常微笑或者开玩笑,那么关于此人的这一数据可以被添加至他们的档案并且继续度假家庭的示例,四个主要人物和它们之间的关系在故事(例如,旅行的整个故事)中被识别。基于标题和关于图片发布的评论,故事中人物的任何互动被识别,并且例如,给定父亲和海洋中的鲸鱼的图片以及来自儿子的评论说“我记录下那个漂亮的镜头”,可以创建父亲和儿子之间的链路,如儿子(X)点击父亲(Y)的图片。这些关系链路可以引导先前种子的创建以便生成网络图表,比如,图3中所示的图表。
在一个实施例中,时间提取引擎207及其部件231-237可以使用实体、时间和位置信息来提取各种元件之间的关系以从媒体获取事件和活动。例如,各种词汇-句法模式和模板,比如,具有相关动词群等的特定实例的主语-动词-宾语模式,可以用于提取当地的时空关系以在媒体流中提取潜在的事件。例如,人物的位置可以由位置解析逻辑231使用一个或多个位置检测技术(比如,全球定位系统(GPS)坐标、由一个或多个人物发布/提供的实时位置信息等)来确定,其中,这种位置可以包括物理位置、语义位置等。类似地,在一个实施例中,时间解析逻辑233可以用于确定时间解析至已确定的序列,比如,30张图片中与食物相关的5张图片来反映对食物更多的强调,而1000张图片中与食物相关的3张图片来反映对食物更少的强调等。时间解析逻辑233还可以使用媒体序列中的统计相关性从文本以及媒体流中帮助标识和计算事件的时间间隔。
在一个实施例中,当例如由人物的一个或多个特写镜头确定时,话题建模逻辑235可以用于标识主题以探索媒体流的历史,比如,对应于商业旅行、度假、生日宴会等的主题。类似地,在一个实施例中,场景理解逻辑237可以使用等级分类和成像技术用于进一步放大它们,以揭示主题各个方面和场景,比如,湖边的美丽视图、日落或博物馆中的图画等。在一个实施例中,话题建模算法可以由话题建模逻辑235触发以分析媒体流的词汇来发现贯穿其中的各种主题以及这种主题如何与彼此相关联或随着时间改变。类似地,视觉算法可以由场景理解逻辑237来促进以获得可能情形的感觉,所述可能情形馈入模型以获得与一个或多个主题相关的各种场景。
此外,了解与主题相关的位置和时间,附加的当地事件信息(比如,由人物在网站上发布的任何信息)可以用于计算来自媒体流和当地事件(比如,如果相符合)的事件之间的相关性。进一步地,在检测到稀少的元数据(例如,未从社交联网网站捕获的图片等)的情况下,转移学习方法可以用于进一步推断媒体,从而使得所述推断被应用于分享共同日期、位置、图像的相似性等的图片的类似情境。
在一个实施例中,情绪理解引擎209包括情感分析逻辑241和面部情绪分析逻辑243,其中,情感分析逻辑241在故事中发现评论的作者的观点。例如,情感分析逻辑241,如在图2B中进一步公开的,包括任何数量和类型的部件以从相关联的文本和图像提取极性和偏差来确定文本中用户特定的情绪的不同程度。进一步地,情感分析逻辑241可以包括用于处理媒体流元数据和用户的状态消息的各种管线部件。
参考图2B,显示情感分析逻辑241包括语义分析器295,所述语义分析器包括任何数量和类型的模块(比如,句子检测器、分词器、词性(POS)标签器、词法分析器、组块器、言语行为分析器、极性检测器和总结结果生成器等)的管线以接收和处理状态、评论等,并且产生和发送媒体和用户情感,其中,语义分析器295进一步包括心理语言分析器297。例如,并且在一个实施例中,心理语言分析器297可以用于分析人物的面部表情中的一个或多个,比如,来自家庭旅行的人物之一、他们的音频聊天、图片中其他人物的面部表情、在所述图片邻近范围内(例如,在3张图片以内,在30分钟以内等)拍摄的相同或其他图片中的其他表情(例如,身体语言、衣物等)、来自社交网络网站上的各种发布的文本/评论等,以自动地对所述人物(例如,父亲/丈夫)进行心理分析,来确定他的可能的感受、思考、预期等,例如,感到焦急、思考工作问题、预期旅行中的困难等。
返回参考图2A,情绪理解引擎209可以进一步包括面部情绪分析逻辑243以与情感分析逻辑241中的一个或多个模块(如,心理语言分析器297)一起工作,来确定人物的面部表情和情绪,比如,生气、焦虑、沮丧、高兴、担心、不在乎等。进一步地,例如,当仅观察当前图片时,即使可以不提取表演者的心情,来自其他图片(关于当前图片)的数据可以被考虑在内以确定当前图片中的表演者的心情,因为,在许多情况下,未来的图片可以讲述附加的故事,所述故事可能从当前图片中不是那么明显。类似地,面部情绪分析逻辑243可以用于触发用于检测来自表演者的面部的情绪和兴奋程度的算法,以检测表演者和相关图片中任何其他人的心情的感觉。
人物解析引擎204、事件提取引擎207和情绪理解引擎209中的一个或多个的任何数据输出(例如,所提取的、推断的、确定的等)可以被转发至故事分割引擎211以便进一步处理。在一个实施例中,故事分割引擎211可以包括目标标识逻辑251、交互编辑器253以及主题标签生成器255,以执行以下任务中的一项或多项:获得数据输出,和为故事以及相关主题标签(当由主题标签生成器255生成时)和故事描述(当由交互编辑器253编辑时)编译总结媒体元件的序列。例如,交互编辑器253可以用于辅助从预先筛选的目标列表中进行选择(当由目标标识逻辑251标识时),以生成完整的和相关的故事。例如,目标可以包括“向我展示旅行中最高兴的时刻”、“旅行中最疯狂的时刻”、“Indiana冒险”、“乘坐直升机”和/或类似物。一旦指定了目标,故事分割引擎211可以选择满足由目标、人物、主题、事件和情感所设置的约束的媒体元件。进一步地,故事分割引擎211的目标标识逻辑251可以用于确定和计算故事的可能的路径,如参照图3所展示的。
在一个实施例中,一旦故事分割引擎211已经选择和/或准备了故事的各部分,反馈和生成/呈现逻辑213然后就可以被触发来生成最终故事或任意数量的故事以经由一个或多个个人装置(如个人装置280)呈现给一个或多个表演者和任何其他用户。例如,正在家庭度假的表演者/用户、妻子/母亲例如可以选择使用用户接口283来查看故事,但也可以选择通过将故事发电子邮件或简单地将其发布在社交网络网站(如)上而与朋友和家人分享故事。
在一个实施例中,反馈和生成/呈现逻辑213可以用于形成故事的其他呈现形式以供用户与其他用户分享,如有待发布在上的较短形式、有待发布在网站上以用于公众消费的博客、以及有待发布在故事市场网站的一个或多个故事模板以供任意数量和类型的用户下载和使用其自己的故事。设想这些模板可以被免费提供给所有的或选定的用户或者针对从市场网站购买一个或多个模板的用户收取一定价钱/费用。
进一步地,在一个实施例中,故事分割引擎211的交互编辑器253可以用于交互式地编辑故事,允许用户创造其自己的故事版本以供其他用户或大众媒体消费。进一步地,交互编辑器253可以用于对从不同媒体源270(例如,相机、网络等)获得的任意数量和类型的媒体图片271进行合并,以作为馈送输入为生成由反馈和生成/呈现逻辑213促进的故事。
在一个实施例中,故事的不同观看者/听众(包括朋友、家人、不相关读者、消费者等)可以提供反馈,所述反馈可以在监测/接收逻辑201处被接收并且由反馈和生成/呈现逻辑213处理以从听众视角学习和提取创作用户的偏好。这些偏好然后可以被馈送至由故事分割引擎211准备的故事生成模型,以便为更可能或可接受的故事添加更多针对未来生成的约束。
进一步地,在一个实施例中,可以由目标标识逻辑251使用从模板库中选择的(如在故事市场网站提供的)预定义模板来标识或限定和创建目标,可以使用一些其他用户的媒体和经验来创建所述目标。如上述,用户在生成故事之后可以选择在故事市场网站上公开一个或多个故事模板,在所述故事市场网站,一个或多个模板可以由其他用户用作预定义模板以生成其自己的故事并且进一步地,这些模板可以被免费公开和分享(例如,被下载),替代性地,这些模板可以收取一定费用/价钱被公开和分享(例如,被下载)。
在一个实施例中,另一个用户(例如,朋友、家人、不相关用户等)可以通过网络(如云网络)从市场网站下载所述用户的预定义故事模板,并且使用所下载的故事模板自动地生成其自己的在所下载故事模板界限或参数内的故事。例如,在一个实施例中,预定义的故事模板可以用主题(例如,《欢乐满人间》(Mary Poppins))、人物、对象等来预填充,所述故事模板然后可以由正在下载的用户通过简单地将其自己的媒体(例如,图片、视频、评论等)输入而用来生成其自己的具有相同主题(例如,《欢乐满人间》)、相同人物、对象中的一个或多个等的故事。在一个实施例中,预定义的故事模板还可以包含用于生成人物、对象、链接等的地图/图形的预定义映射标准,如图3所展示的,这样用户可以选择保持自动生成类似的地图或替代性地通过自动生成其自己的人物、对象、链接等的地图/图形来覆写预定义的映射标准。
通信/兼容性逻辑215可以用于促进计算装置100和个人装置280、(多个)媒体源270、(多个)数据库265等与任何数量和类型的其他计算装置(如可穿戴计算装置、移动计算装置、台式计算机、服务器计算装置等)、处理装置(如中央处理单元(CPU)、图形处理单元(GPU)等)、捕获/感测部件(例如,非视觉数据传感器/检测器,如音频传感器、嗅觉传感器、触觉传感器、信号传感器、振动传感器、化学检测器、无线电波检测器、力传感器、天气/温度传感器、身体/生物特征传感器、扫描器等一集视觉数据传感器/检测器,如相机等)、用户/情境感知部件和/或标识/验证传感器/装置(如生物特征传感器/检测器、扫描器等)、存储器或存储装置、数据源和/或(多个)数据库(如数据存储装置、硬盘驱动器、固态驱动器、硬盘、存储器卡或装置、存储器电路等)、(多个)网络(例如,云网络、互联网、内联网、蜂窝网络、接近网络,如蓝牙、低功耗蓝牙(BLE)、智能蓝牙、Wi-Fi接近、射频识别(RFID)、近场通信(NFC)、体域网(BAN)等)、无线或有线通信和相关协议(例如,WiMAX、以太网等)、连通性和位置管理技术、软件应用/网站(例如,社交和/或商业联网网站,商业应用,游戏和其他娱乐应用等)、编程语言等之间的动态通信和兼容性,同时确保与不断变化的技术、参数、协议、标准等的兼容性。
贯穿本文件,诸如“逻辑”、“部件”、“模块”、“框架”、“引擎”、“工具”等术语可以互换地引用,并且包括例如软件、硬件、和/或软件和硬件的任何组合(如固件)。进一步地,对特定商标、单词、术语、短语、名称和/或首字母缩略词(如“媒体”、“元数据”、“媒体整合”或“整合”、“个人助理”、“媒体源”、“媒体馈送”、“个人装置”、“故事”、“人物”或“表演者”、“情境”、“情绪”、“模板”、“社交网络网站”、“个人装置”、“只能装置”、“移动计算机”、“可穿戴装置”等)的任何使用应当不被解读为将携带所述标签的软件或装置的实施例限制在本文档外部的产品或文献中。
设想了任何数量和类型的组件可以被添加到媒体故事机制110和/或被从媒体故事机制中去除,以便促进各种实施例,包括添加、去除、和/或增强某些特征。为使媒体故事机制110简洁、清楚以及易于理解,此处未示出或讨论许多标准和/或已知的组件,诸如计算装置的组件。可以设想,如本文所述的实施例不限于任何特定的技术、拓扑、系统、架构、和/或标准,并且足够动态地采用并适配未来的任何变化。
图2C展示了根据一个实施例的架构布局299。作为初始问题,为了简明、清晰和易于理解,此后可以不重复或讨论以上参考图1至图2B所讨论的部件和过程中的许多部件和过程。设想并注意的是,实施例不限于所展示的架构布局299。
如所展示的,在一个实施例中,任意量和类型的媒体271(例如,社交媒体网站内容、照片/视频、其他社交媒体情境馈送等)是从一个或多个媒体源270获得的并且在人物解析引擎205、事件提取引擎207和情绪理解引擎209及其相应部件处接收且由其使用以用于处理,如参照图2A所描述的。例如并且在一个实施例中,人物解析引擎205可以包括命名实体解析逻辑221、共指解析逻辑223、情境发现逻辑225以及角色分配逻辑227。类似地,事件提取引擎207被示出为包括位置解析逻辑231、时间解析逻辑233、话题建模逻辑235以及场景理解逻辑237。如所展示的,情绪理解引擎209可以包括情感分析逻辑241以及面部情绪分析逻辑243。
如参照图2A描述的,从人物解析引擎205、事件提取引擎207和情绪理解引擎209输出的任何数据被转发到具有目标标识逻辑251、交互编辑器253和主题标签生成器255的故事分割引擎211上并在其处被接收以基于与媒体271和用户相关的所分析数据和元数据来生成故事。
图3展示了根据一个实施例的通过链路303A-L来连接人物301A-G的映射场景300。作为初始问题,为了简明、清晰和易于理解,此后可以不重复或讨论以上参考图1至图2C所讨论的部件和过程中的许多部件和过程。设想并注意的是,实施例不限于所展示的映射场景300。
在一个实施例中,与事件(如,商业旅行、度假、派对、婚礼等)相关的故事可以使用可用媒体(如事件期间所拍的照片)形成。设想的是,图片可以包括或者展示可能对与事件有关的故事有兴趣或者甚至关注的内容,其中,这种内容可以包括包含表演者或表演人物(例如,人、宠物等)的人物,如正在度假的家庭成员、婚礼中的新娘和新郎、出生期的宠物狗等。类似地,相关媒体(如图片)的内容还可以关注于作为非表演者或非表演人物(例如,植物、食物、历史兴趣点、自然风景、其他事物等)的对象,如品酒之旅中的红酒、晚餐派对或度假旅行中的食物、花园里的花朵、商业旅行中的公司或客户、埃及之旅的金字塔等。
在一个实施例中,故事或故事的一部分可以在周围被整合或者关注于非表演对象(如食物)、其如何基于从相关元数据提取的一个或多个因素与一个或多个表演者(如度假旅行中的家庭成员)进行相关,其中,这些因素可以包括(无限制地)受欢迎程度、重要性、性别、情感、关系等。
在一个实施例中,例如并且如所展示的,故事被整合并且被限定为图形/地图中的路径,如映射场景300,所述映射场景被示出为将来自事件的食物或食物相关项的各图片301A-G与类似的或相关的元数据进行连接。例如,映射场景300在图片301A-G中展示各食物相关的瞬间,以及其他分享的情境,如并且如上述(无限制地)受欢迎程度、重要性、性别、情感、关系等。
在一个实施例中,图2A的媒体故事机制110的一个或多个组成部分可以用于实现推荐算法,所述推荐算法学习每个元数据的重要性以将用户图片在其自己的社交网络网站圈中的受欢迎程度进行建模。用户可以使用媒体故事机制110来建议特定的元数据(如人物、主题、事件、混合搭配)以形成特定的推荐,从而使得所整合的故事1)表示如由将映射场景300中的图片301A-G联结的链路303A-L所表示的所有可能路径的个性化版本;以及2)根据预测受欢迎程度进行排名,从而使得用户还被建议与谁分享哪个故事或故事的哪部分。
在一个实施例中,图2A的故事分割引擎211可以用于通过筛选出具有低统计相关性的一个或多个属性来方便地去除链路303A-L中的一个或多个链路。例如,“食物活动”和“罗马”的低值可以指示“罗马的食物活动”不可能是用户的图片集(如图片301A-G)中的任何故事的一部分。进一步地,从映射场景300学习和提供的各重要属性可以表示例如朋友基于例如与图片301A-G中的每个图片相关的情境要素(例如,位置、对象等)的相关性等与图片集301A-G的交互的分配。以这种方式,朋友的偏好可以被研究并附加的故事可以被整合,以特定的听众为目标。
如参照图2A-C所展示和讨论的,任何事件(如商业旅行、度假、派对、婚礼等)可以包括任何数量的人物图片,如可能被呈现为事件中表演者的个人、以及可以形成事件焦点的其他人物、如旅行或派对上的食物、生日派对上的蛋糕、商业旅行中的公司或客户、埃及的金字塔、婚礼上的新娘和新郎等。例如,图片可以展示关注项,如与事件的一个或多个人物相关的食物。
在一个实施例中,表示人物的事件图片(如人物图片301A-G),可以被看作为是充当图形/地图(如映射场景300)中节点的表演者。当关注于食物时,在所展示的实施例中,人物301A-G表示或涉及食物。进一步地,如所展示的,在一个实施例中,人物301A-G使用各种链路(如链路303A-L)彼此连接或链接,其中,链路303A-L可以包括短链路、长链路、主链路、次链路、第三链路等。
图4展示了根据一个实施例的用于促进自动和动态媒体整合以生成故事的方法400。方法400可由包括硬件(如电路、专用逻辑、可编程逻辑等)、软件(如在处理设备上运行的指令)、或者它们的组合的处理逻辑实现。在一个实施例中,方法400可以由图2A的媒体故事机制110执行。为了呈现的简短和清晰,以线性序列展示了方法400的过程;然而,可以设想,任何数量的进程可以并行地、异步地或以不同的顺序执行。为了简明起见,此后可以不讨论或重复之前附图而讨论的细节中的许多细节。
方法400在框401处通过从一个或多个媒体源(例如,网站、相机、话筒、媒体播放器等)捕获媒体(例如,相片、视频、评论、语音聊天、文本消息、发布等)而开始,其中,捕获媒体表示事件,如度假旅行、商务旅行、生日派对、婚礼等。在框403处,媒体被监测以促进图2A的媒体故事机制110的一个或多个部件观察与所捕获媒体相关联的任何元数据,从而提取任意量和类型的情境,如面部表情、情绪状态、周围环境、气候等。
在一个实施例中,在框405处,图2A的媒体故事机制110的人物解析引擎205被触发以提取由媒体表示的事件的各个人物(例如,度假中的家人、派对上的朋友、婚礼上的新娘和新郎等)。因此,可以执行人物的情境发现以提取一个或多个位置,如人物的物理和其他位置可以与其关于事件所分配的角色一起被确定。在一个实施例中,可以在发现人物之后分配角色。
在一个实施例中,在框407处,图2A的媒体故事机制110的事件提取引擎207可以用于捕获与事件相关的各类插曲式和话题式主题,如执行位置和时间解析、话题建模以及场景理解等。在框409处,在一个实施例中,图2A的媒体故事机制110的情绪理解引擎209可以用于捕获媒体中涉及的每个人物的情绪和情感,如与所述事件以及任何其他相关事件相关的一系列图片。
在一个实施例中,在框411处,故事分割引擎211然后可以被触发以将由图2A的媒体故事机制110的其他部件确定的各媒体要素缝合在一起从而生成故事模型。在一个实施例中,在框413处,故事模型可以由反馈和生成/呈现逻辑213使用以生成故事,所述故事与涉及其人物的事件有关并且基于关于所述事件和所述人物提取的各种信息,其中,这种信息包括角色、位置、情绪、情感、表情、环境、气候、场合等中的一个或多个。
在一个实施例中,在生成故事之后,用户然后可以选择将所述故事呈现为由反馈和生成/呈现逻辑213促进,如(无限制):1)通过将故事发布在一个或多个社交网络网站上而与选定的朋友和家人分享故事;2)通过将故事发布在本质上是公开的一个或多个网站上而将其提供用于生成公开故事;3)在新闻相关网站上将故事分享为博客;以及4)在本质上是公益或商业的市场网站上提供故事模板;和/或类似的。类似地,如之前讨论的,在一些实施例中,这个故事可能已经使用用户可以通过网络从一个或多个网站(如市场网站)获得(如下载)的一个或多个预定义模板生成。
在一些实施例中,故事可以响应于其发布的一个或多个网站等来接收反馈,并且作为响应,用户可以选择更改故事,如去除攻击性的措辞或图片、详细阐述故事的一个或多个特征、与更多大众分享故事、发布故事的一个或多个模板等等。类似地,已经基于从之前的经验已经可获得的反馈(如在已发布故事上所接收的反馈)生成了故事。
图5展示了能够支持以上讨论的操作的计算系统500的实施例。计算系统500表示一系列计算和电子设备(有线的或无线的),包括例如,台式计算系统、膝上型计算系统、蜂窝式电话、个人数字助理(PDA)(包括启用蜂窝式的PDA)、机顶盒、智能电话、平板等。替代的计算系统可以包括更多、更少和/或不同的部件。计算装置500可以与参照图1所描述的计算装置100相同或类似,或者包括所述计算装置。
计算系统500包括总线505(或者例如,用于传递信息的链路、互连、或另一类型的通信装置或接口)以及可处理信息的、耦合至总线505的处理器510。虽然计算系统500被展示为具有单个处理器,但是其可以包括多个处理器和/或协处理器,诸如中央处理器、图像信号处理器、图形处理器和视觉处理器等中的一个或多个。计算系统500可以进一步包括耦合至总线505的随机存取存储器(RAM)或其他动态存储装置520(被称为主存储器),并且可以存储可由处理器510执行的信息和指令。主存储器520还可以用于在由处理器510执行指令期间存储临时变量或其他中间信息。
计算系统500还可以包括耦合至总线505的可以存储用于处理器510的静态信息和指令的只读存储器(ROM)和/或其他存储装置530。数据存储装置540可以耦合至总线505以存储信息和指令。数据存储装置540(诸如磁盘或光盘)和相应的驱动器可以耦合至计算系统500。
计算系统500还可以经由总线505耦合至显示装置550(诸如阴极射线管(CRT)、液晶显示器(LCD)或有机发光二极管(OLED)阵列)以向用户显示信息。包括字母数字键和其他键的用户输入装置560可以耦合至总线505以便将信息和命令选择传达至处理器510。另一类型的用户输入装置560是光标控件570(诸如鼠标、轨迹球、触摸屏、触摸板或光标方向键),所述光标控件用于将方向信息和命令选择传达至处理器510并且控制显示器550上的光标移动。计算机系统500的相机和话筒阵列590可以耦合至总线505以便观察姿态、记录音频和视频并接收和发射视觉命令和音频命令。
计算系统500可进一步包括(多个)网络接口580以提供对网络的访问,如,局域网(LAN)、广域网(WAN)、城域网(MAN)、个域网(PAN)、蓝牙、云网络、移动网络(例如,第3代(3G)等)、内联网、因特网等。(多个)网络接口580可以包括例如具有天线585的无线网络接口,所述天线可以表示一个或多个天线。(多个)网络接口580也可包括,例如与远程装置经由网络电缆587通信的有线网络接口,所述网络电缆可以是,例如以太网电缆、同轴电缆、光纤电缆、串行电缆或并行电缆。
(多个)网络接口580可以例如通过遵循IEEE 802.11b和/或IEEE 802.11g标准来提供对LAN的访问,和/或无线网络接口可以例如通过遵循蓝牙标准来提供对个域网的访问。也可以支持其他无线网络接口和/或协议(包括先前和后续版本的标准)。
除了(或代替)经由无线LAN标准的通信之外,(多个)网络接口580可以用例如以下各项来提供无线通信:时分多址(TDMA)协议、全球移动通信系统(GSM)协议、码分多址(CDMA)协议和/或任何其他类型的无线通信协议。
(多个)网络接口580可以包括一个或多个通信接口,诸如调制解调器、网络接口卡或其他众所周知的接口装置(诸如用于出于提供通信链路以支持例如LAN或WAN的目的而耦合至以太网、令牌环或其他类型的物理有线或无线附接的那些接口装置)。以这种方式,计算机系统也可以经由常规的网络基础设施(例如,包括内联网或因特网)而耦合至多个外围装置、客户机、控制面、控制台或服务器。
将领会,对于某些实现,比以上所描述的示例更少或更多地配备的系统可以是优选的。因此,取决于众多因素(如价格约束、性能要求、技术改进或其他情况)计算系统500的配置可以因实现不同而改变。电子装置或计算机系统500的示例可以包括但不限于:移动装置、个人数字助理、移动计算装置、智能电话、蜂窝式电话、手持装置、单向寻呼机、双向寻呼机、消息传送装置、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持式计算机、平板计算机、服务器、服务器阵列或服务器组、web服务器、网络服务器、互联网服务器、工作站、小型计算机、主机计算机、超级计算机、网络家电、web家电、分布式计算系统、多处理器系统、基于处理器的系统、消费电子设备、可编程消费电子设备、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、集线器、网关、桥接器、交换机、机器或以上各项的组合。
实施例可以实现为以下各项中的任何一项或组合:使用母板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器装置存储且由微处理器执行的软件、固件、应用专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。以示例的方式,术语“逻辑”可以包括软件或硬件以及/或者软件和硬件的组合。
可以将实施例作为例如计算机程序产品来提供,所述计算机程序产品可以包括其上存储有机器可执行指令的一种或多种机器可读介质,当由一个或多个机器(如计算机、计算机的网络或其他电子设备)执行这些机器可执行指令时,这些机器可执行指令可以使一个或多个机器执行根据本文中所描述的实施例的操作。机器可读介质可以包括但不限于:软盘、光盘、CD-ROM(CD盘-只读存储器)以及磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或者适用于存储机器可执行指令的其他类型的介质/机器可读介质。
此外,实施例可以作为计算机程序产品被下载,其中,可以经由通信链路(例如,调制解调器和/或网络连接),借助于在载波或其他传播介质中具体化和/或由载波或其他传播介质调制的一个或多个数据信号来将程序从远程计算机(例如,服务器)传输至请求计算机(例如,客户机)。
对“一个实施例(one embodiment)”、“实施例(an embodiment)”、“示例实施例(example embodiment)”、“各种实施例(various embodiments)”等的引用指示:如此描述的(多个)实施例可以包括特定的特征、结构或特性,但并非每一个实施例必定包括这些特定的特征、结构或特性。进一步地,一些实施例可具有针对其他实施例所描述的特征的一部分、全部、或不具有任何所述特征。
在以下说明书和权利要求书中,可以使用术语“耦合”及其衍生词。“耦合”用于指示两个或更多个元件彼此协作或相互作用,但是它们之间可以具有或不具有中间物理或电学部件。
如权利要求书中所使用的,除非另有说明,否则使用序数形容词“第一”、“第二”、“第三”等来描述公共元件,仅指示类似元件的不同实例被提及,并不意图暗示如此描述的要素必须在给定的序列,无论是时间、空间、等级或以任何其他方式。
图6展示了能够支持以上讨论的操作的计算环境600的实施例。可以在各种不同硬件架构中并且以包括图4所示的那些的形式因子实现所述模块和系统。
命令执行模块601包括用于缓存和执行命令且用于在所示其他模块和系统之间分配任务的中央处理单元。命令执行模块可以包括指令栈、用于存储中间结果和最终结果的缓存存储器、以及用于存储应用和操作系统的大容量存储器。命令执行模块还可以作为系统的中央协调和任务分配单元起作用。
屏幕渲染模块621在一个或多个屏幕上抽取对象以供用户查看。屏幕渲染模块可被适配成用于从下述虚拟对象行为模块604中接收数据,并且用于在合适的一个或多个屏幕上对虚拟对象和任何其他对象以及力进行渲染。因此,来自虚拟对象行为模块的数据将确定例如虚拟对象和相关联姿势、力和对象的位置和动态,并且屏幕渲染模块因此将在屏幕上描绘虚拟对象和相关联的对象和环境。屏幕渲染模块可以被进一步适配用于从下述相邻屏幕透视模块607接收数据,以在虚拟对象可以移动到与相邻屏幕透视模块相关联的装置的显示器上时,为虚拟对象描绘目标着陆区域。因此,例如,如果虚拟对象被从主屏幕移动到辅助屏幕,则相邻屏幕透视模块2可将数据发送到屏幕渲染模块,从而以例如影子形式为跟踪用户手部移动或眼睛移动的辅助屏幕上的虚拟对象建议一个或多个目标着陆区域。
对象和姿势识别系统622可以被适配用于识别和跟踪用户的手部和臂部姿势。这种模块可以用于识别手部、手指、手指姿势、手部移动以及手部相对于显示器的位置。例如,对象和姿势识别模块可以例如确定用户做出身体部位姿势以将虚拟对象弃掷或投掷到多个屏幕的一个或另一个屏幕上,或者用户做出身体部位姿势以将虚拟对象移动到多个屏幕的一个或另一个屏幕的边框处。对象和姿势识别系统可以耦合至相机或相机阵列、话筒或话筒阵列、触摸屏或触摸表面、或定点设备、或这些项的一些组合,以检测来自用户的姿势和命令。
对象和姿势识别系统的触摸屏或触摸表面可以包括触摸屏传感器。来自传感器的数据可以被馈送至硬件、软件、固件或其组合,以将用户手部在屏幕或表面上的触摸姿势映射成虚拟对象的相应动态行为。传感器数据可以用于动量和惯性因子,从而基于来自用户手部的输入(如用户手指相对于屏幕的滑动速率)而允许虚拟对象的各种动量行为。捏住姿势可以被解释为从显示屏幕将虚拟对象升高的命令,或者用于开始生成与虚拟对象相关联的虚拟绑定或者在显示器上放大或缩小的命令。类似的命令可以由对象和姿势识别系统在不受益于触摸表面的情况下使用一个或多个相机来生成。
关注方向模块623可以配备有相机或其他传感器以追踪用户面部或手部的位置或取向。当发出姿势或语音命名时,系统可以针对所述姿势确定合适的屏幕。在一个示例中,相机被安装在每个显示器附近以检测用户是否正面对所述显示器。若是,则关注方向模块信息被提供给对象和姿势识别模块622以确保姿势或命令与用于主动显示的合适库相关联。类似地,如果用户没有看向任何一个屏幕,则命令可以被忽视。
装置接近度检测模块625可以使用接近度传感器、罗盘、GPS(全球定位系统)接收器、个域网无线电设备、以及其他类型的传感器连同三角测量和其他技术一起来确定其他装置的接近度。一旦附近装置被检测到,其就可以注册到系统中并且其类型可以被确定为输入装置或显示装置或两者。对于输入装置,所接收的数据然后可以应用于对象姿势和识别系统622。对于显示装置,其可以被相邻屏幕透视模块607考虑。
虚拟对象行为模块604被适配用于从对象和速度以及方向模块接收输入,并将这种输入应用到显示器上所示出的虚拟对象。因此,例如,对象和姿势识别系统将通过映射捕捉到的用户手部移动而将用户姿势解释为识别的移动,虚拟对象跟踪器模块将使虚拟对象的位置和移动与对象和姿势识别系统所识别出的移动相关联,对象和速度以及方向模块将捕捉虚拟对象移动的动态,并且虚拟对象行为模块将接收来自对象和速度以及方向模块的输入以生成将引导虚拟对象的移动从而对应于来自对象和速度以及方向模块的输入的数据。
另一方面,虚拟对象跟踪器模块606可以被适配用于基于来自对象和姿势识别模块的输入来跟踪虚拟对象应该位于显示器附近的三维空间中的何处,以及用户的哪个身体部位持有虚拟对象。虚拟对象跟踪器模块606可以随着其穿过屏幕以及在屏幕之间移动而跟踪虚拟对象,并且跟踪用户的哪个身体部位正持有所述虚拟对象。跟踪正持有虚拟对象的身体部位允许持续了解身体部位的空气移动,并且因此偶尔了解虚拟对象是否已经被释放到一个或多个屏幕上。
观看姿势和屏幕同步模块608接收来自关注方向模块623的视图和屏幕或两者的选择,并且在一些情况下接收用于判定哪个视图是主动视图以及哪个屏幕是主动屏幕的语音命令。然后使相关的姿势库被加载用于对象和姿势识别系统622。应用在一个或多个屏幕上的各视图可以与给定视图的替代性姿势库或姿势模板集相关联。作为图1A的示例,捏住-释放姿势发射鱼雷,而在图1B中,相同的姿势发射深水炸弹。
可以包括或耦合至装置接近度检测模块625的相邻屏幕透视模块607可以被适配用于确定一个显示器相对于另一显示器的角度和位置。投影显示器例如包括投影到墙壁或屏幕上的图像。检测附近屏幕的接近度以及从其投影的显示器的对应角度或方向的能力可以例如用红外发射器和接收器或者电磁或光电检测感测能力来实现。对于允许以触摸输入投影的显示的技术,传入视频可被分析以确定投影显示的位置并校正通过以某角度显示引起的失真。加速计、磁强计、罗盘或相机可以用于确定持有装置的角度,同时红外发射器和相机可以允许确定屏幕装置相对于相邻装置上的传感器的取向。相邻屏幕透视模块607可以以这种方式确定相邻屏幕相对于其自己屏幕坐标的坐标。因此,相邻屏幕透视模块可以确定哪些装置在彼此附近,并进一步确定跨屏幕移动一个或多个虚拟对象的可能目标。相邻屏幕透视模块可以进一步允许屏幕的位置被校正为表示所有现有对象和虚拟对象的三围空间模型。
对象和速度以及方向模块603可以被适配用于通过接收来自虚拟对象跟踪器模块的输入,来估计正被移动的虚拟对象的动态,例如其轨迹、速度(是线性还是有角度的)、动量(是线性还是有角度的)等。对象和速度以及方向模块还可以被适配用于例如通过估计虚拟绑定的加速度、偏转、拉伸程度等来估计任何物理力的动态特性,以及一旦由用户身体部位释放则估计虚拟对象的动态行为。对象和速度以及方向模块还可以使用图像运动、大小和角度变化来估计对象的速度,如手部和手指的速度。
动量和惯性模块602可以使用对象在图像平面中或在三维空间中的图像运动、图像大小和角度变化来估计对象在空间中或在屏幕上的速度和方向。动量和惯性模块耦合至对象和姿势识别系统622,以估计由手部、手指和其他身体部位执行的姿势的速度并且然后将那些估计应用于确定虚拟对象的将受姿势影响的动量和速度。
3D图像交互和效果模块605跟踪与看上去伸出一个或多个屏幕的3D图像的用户交互。对象在z轴的影响(朝向或远离屏幕平面)可以与这些对象对彼此的相对影响一起被计算。例如,由用户姿势投掷的对象在虚拟对象到达屏幕平面处之前可以受前景中的3D对象影响。这些对象可以改变抛掷的方向或速度或者完全将其破坏。对象可以由3D图像交互和效果模块在一个或多个显示器上在前景中渲染。
下列条款和/或示例涉及进一步的实施例或示例。可以在一个或多个实施例中的任何地方使用示例中的细节。可以以各种方式将不同的实施例或示例的各种特征与所包括的一些特征以及被排除的其他特征组合以适应各种不同的应用。示例可以包括主题,如,方法;用于执行方法的动作的装置;包括指令的至少一种机器可读介质,所述指令当由机器执行时使机器执行方法或装置的动作;或用于促进根据本文中所述的实施例和示例的混合式通信的设备或系统。
一些实施例涉及示例1,所述示例包括一种用于促进在计算装置处进行多媒体整合和故事生成的个人辅助的设备,包括:检测/接收逻辑,用于接收与事件相关的一个或多个媒体项;事件提取引擎,用于从所述一个或多个媒体项中捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项而被捕获的;以及故事和场景分割引擎,用于形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪而形成的,其中,所述故事经由一个或多个显示装置向具有对所述一个或多个显示装置的访问权的一个或多个用户呈现。
示例2包括如示例1所述的主题,进一步包括:人物解析引擎,用于从所述一个或多个媒体项中提取所述一个或多个人物,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;情绪理解引擎,用于从所述一个或多个媒体项中确定所述一种或多种情绪,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情而确定的;以及反馈和生成/呈现逻辑,用于基于所述多个故事要素生成所述故事,其中,所述反馈和生成/呈现逻辑进一步用于促进在一个或多个网站发布所述故事。
示例3包括如示例1或2所述的主题,其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一项。
示例4包括如示例3所述的主题,其中,所述一个或多个故事模板能够由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
示例5包括如示例1所述的主题,进一步包括监测逻辑,所述监测逻辑用于监测通过通信媒介从一个或多个媒体源接收的所述一个或多个媒体项,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
示例6包括如示例1所述的主题,其中,所述人物解析引擎进一步包括:命名实体解析逻辑,用于从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项而被提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;共指解析逻辑,用于解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;情境发现逻辑,用于发现所述事件的一个或多个位置,其中,所述一个或多个位置是基于与所述一个或多个人物能够访问的一个或多个计算装置有关的全球定位系统(GPS)坐标而发现的;以及角色分配逻辑,用于确定与所述一个或多个人物相关联的所述一个或多个角色,其中,所述角色分配逻辑进一步用于基于与所述一个或多个人物中的人物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
示例7包括如示例1或6所述的主题,其中,所述事件提取引擎进一步包括:位置解析逻辑,用于提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息而形成的;时间解析逻辑,用于提取与所述一个或多个位置有关的时间相关信息;话题建模逻辑,用于以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语,其中,所述主题是基于以统计方式分析的词语而被确认的;以及场景理解逻辑,用于分析所述一个或多个媒体项中的可视项,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,其中,所述场景理解逻辑被进一步用于分析与所述可视项相关联的元数据或所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
示例8包括如示例1或6所述的主题,其中,所述情绪理解引擎进一步包括:情绪分析逻辑,用于确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情绪,其中,所述情绪是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及面部情绪分析逻辑,用于确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪。
示例9包括如示例1或6所述的主题,其中,所述故事分割引擎进一步包括:目标标识逻辑,用于提取所述故事的目标和要素序列;交互编辑器,用于促进编辑所述故事的内容;以及主题标签生成器,用于将一个或多个主题标签与所述故事进行关联。
一些实施例涉及示例10,所述示例包括一种用于促进在计算装置处进行多媒体整合和故事生成的个人辅助的方法,包括:由计算装置处的一个或多个捕获/感测部件接收与事件相关的一个或多个媒体项;从所述一个或多个媒体项中捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项捕获的;以及形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪生成的,其中,所述故事经由一个或多个显示装置向有权使用所述一个或多个显示装置的一个或多个用户呈现。
示例11包括如示例10所述的主题,进一步包括:从所述一个或多个媒体项中提取所述一个或多个人物,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;从所述一个或多个媒体项中确定所述一种或多种情绪,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情确定的;以及基于所述多个故事要素生成所述故事,其中,所述故事在一个或多个网站被发布。
示例12包括如示例10或11所述的主题,其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一项。
示例13包括如示例12所述的主题,其中,所述一个或多个故事模板可由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
示例14包括如示例10所述的主题,进一步包括:监测通过通信媒介从一个或多个媒体源接收的所述一个或多个媒体项,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
示例15包括如示例10所述的主题,进一步包括:从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;发现所述事件的一个或多个位置,其中,所述一个或多个位置是基于与所述一个或多个人物可访问的一个或多个计算装置有关的全球定位系统(GPS)坐标发现的;以及确定与所述一个或多个人物相关联的所述一个或多个角色,其中,基于与所述一个或多个人物中的一个人物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
示例16包括如示例10或15所述的主题,其中,进一步包括:提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息形成的;提取与所述一个或多个位置有关的时间相关信息;以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语,其中,所述主题是基于所述统计学上分析的词语确认的;以及分析所述一个或多个媒体项中的可视项,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,其中,分析进一步包括分析与所述可视项相关联的元数据或所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
示例17包括如示例10或15所述的主题,进一步包括:确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情绪,其中,所述情绪是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪。
示例18包括如示例10或15所述的主题,进一步包括:提取所述故事的目标和要素序列;促进编辑所述故事的内容;以及将一个或多个主题标签与所述故事进行关联。
一些实施例涉及示例19,所述示例包括一种系统,所述系统包括具有指令的存储装置以及用于执行指令的处理器,处理器执行指令以促进用于实现以下操作的机制:经由计算装置处的一个或多个捕获/感测部件接收与事件相关的一个或多个媒体项;从所述一个或多个媒体项中捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项而被捕获的;以及形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪而形成的,其中,所述故事经由一个或多个显示装置向具有对所述一个或多个显示装置的访问权的一个或多个用户呈现。
示例20包括如示例19所述的主题,其中,所述机制进一步用于:从所述一个或多个媒体项中提取所述一个或多个人物,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;从所述一个或多个媒体项中确定所述一种或多种情绪,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情确定的;以及基于所述多个故事要素生成所述故事,其中,所述故事在一个或多个网站被发布。
示例21包括如示例19或20所述的主题,其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一项。
示例22包括如示例21所述的主题,其中,所述一个或多个故事模板可由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
示例23包括如示例19所述的主题,其中,所述机制进一步用于:监测通过通信媒介从一个或多个媒体源接收的所述一个或多个媒体项,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
示例24包括如示例19所述的主题,其中,所述机制进一步用于:从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项而被提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;发现所述事件的一个或多个位置,其中,所述一个或多个位置是基于与所述一个或多个人物能够访问的一个或多个计算装置有关的全球定位系统(GPS)坐标而发现的;以及确定与所述一个或多个人物相关联的所述一个或多个角色,其中,基于与所述一个或多个人物中的物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
示例25包括如示例19或24所述的主题,其中,所述机制进一步用于:提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息而形成的;提取与所述一个或多个位置有关的时间相关信息;以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语,其中,所述主题是基于以统计方式分析的词语而被确认的;以及分析所述一个或多个媒体项中的可视项,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,其中,分析进一步包括分析与所述可视项相关联的元数据或所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
示例26包括如示例19或24所述的主题,其中,所述机制进一步用于:确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情绪,其中,所述情绪是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪。
示例27包括如示例19或24所述的主题,其中,所述机制进一步用于:提取所述故事的目标和要素序列;促进编辑所述故事的内容;以及将一个或多个主题标签与所述故事进行关联。
一些实施例涉及示例28,所述示例包括一种设备,所述设备包括:用于由计算装置处的一个或多个捕获/感测部件接收与事件相关的一个或多个媒体项的装置;用于从所述一个或多个媒体项中捕获主题的装置,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项捕获的;以及用于形成多个故事要素以生成与所述事件相关的故事的装置,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪生成的,其中,所述故事经由一个或多个显示装置向有权使用所述一个或多个显示装置的一个或多个用户呈现。
示例29包括如示例28所述的主题,进一步包括:用于从所述一个或多个媒体项中提取所述一个或多个人物的装置,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;用于从所述一个或多个媒体项中确定所述一种或多种情绪的装置,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情确定的;以及用于基于所述多个故事要素生成所述故事的装置,其中,所述故事在一个或多个网站被发布。
示例30包括如示例28或29所述的主题,其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一项。
示例31包括如示例28所述的主题,其中,所述一个或多个故事模板可由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
示例32包括如示例28所述的主题,进一步包括用于监测通过通信媒介从一个或多个媒体源接收的所述一个或多个媒体项的装置,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
示例33包括如示例28所述的主题,进一步包括:用于从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色的装置,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;用于发现所述事件的一个或多个位置的装置,其中,所述一个或多个位置是基于与所述一个或多个人物可访问的一个或多个计算装置有关的全球定位系统(GPS)坐标发现的;以及用于确定与所述一个或多个人物相关联的所述一个或多个角色的装置,其中,基于与所述一个或多个人物中的一个人物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
示例34包括如示例28或33所述的主题,其中,进一步包括:用于提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息的装置,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息形成的;用于提取与所述一个或多个位置有关的时间相关信息的装置;用于以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语的装置,其中,所述主题是基于所述统计学上分析的词语确认的;以及用于分析所述一个或多个媒体项中的可视项的装置,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,其中,分析进一步包括分析与所述可视项相关联的元数据或所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
示例35包括如示例28或33所述的主题,进一步包括:用于确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情绪的装置,其中,所述情绪是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及用于确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪的装置。
示例36包括如示例28或33所述的主题,进一步包括:用于提取所述故事的目标和要素序列的装置;用于促进编辑所述故事的内容的装置;以及用于将一个或多个主题标签与所述故事进行关联的装置。
示例37包括至少一种非暂态机器可读介质,所述至少一种非暂态机器可读介质包括多条指令,所述多条指令当在计算装置上执行时实施或执行如权利要求或示例10至18中任一项所述的方法。
示例38包括至少一种机器可读介质,所述至少一种机器可读介质包括多条指令,所述多条指令当在计算装置上执行时实施或执行如权利要求或示例10至18中任一项所述的方法。
示例39包括一种系统,所述系统包括用于实施或执行如权利要求和示例10-18中任一项所述的方法的机制。
示例40包括一种设备,所述设备包括用于执行如权利要求和示例10-18中任一项所述的方法的装置。
示例41包括一种计算装置,所述计算装置被安排成用于实施或执行如权利要求和示例10-18中任一项所述的方法。
示例42包括一种通信装置,所述通信装置被安排成用于实施或执行如权利要求和示例10-18中任一项所述的方法。
示例43包括至少一种机器可读介质,所述至少一种机器可读介质包括多条指令,所述多条指令当在计算装置上执行时实施或执行如任一前述权利要求或示例所述的方法或实现如任一前述权利要求或示例所述的设备。
示例44包括至少一种非暂态机器可读介质,所述至少一种非暂态机器可读介质包括多条指令,所述多条指令当在计算装置上执行时实施或执行如任一前述权利要求或示例所述的方法或实现如任一前述权利要求或示例所述的设备。
示例45包括一种系统,所述系统包括被安排成用于实施或执行如任一前述权利要求或示例所述的方法或实现如任一前述权利要求或示例所述的装置的机制。
示例46包括一种设备,所述设备包括用于执行如任一前述权利要求或示例所述的方法的装置。
示例47包括一种计算装置,所述计算装置被安排成用于实施或执行如任一前述权利要求或示例所述的方法或实现如任一前述权利要求或示例所述的设备。
示例48包括一种通信装置,所述通信装置被安排成用于实施或执行如任一前述权利要求或示例所述的方法或实现如任一前述权利要求或示例所述的设备。
附图和上述描述给出了实施例的示例。本领域技术人员将理解,所描述的元件中的一个或多个可以被良好地组合成单个功能元件。可替代地,某些元件可以分成多个功能元件。来自一个实施例的元件可以被添加到另一个实施例中。例如,本文中所描述的进程的顺序可以改变并且不限于本文中所描述的方式。而且,任何流程图的所述动作无需以示出的顺序被实现;也不一定必须执行所述动作的全部。此外,不依赖于其他动作的那些动作可以与其他动作并行地执行。实施例的范围决不限于这些特定示例。无论是否在说明书中明确给出,许多变化(诸如材料的结构、尺寸和用途上的差异)是可能的。实施例的范围至少与以下权利要求书所给出的范围一样宽。

Claims (25)

1.一种设备,包括:
检测/接收逻辑,用于接收与事件相关的一个或多个媒体项;
事件提取引擎,用于从所述一个或多个媒体项中捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项而被捕获的;以及
故事和场景分割引擎,用于形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪而形成的,其中,所述故事经由一个或多个显示装置向具有对所述一个或多个显示装置的访问权的一个或多个用户呈现。
2.如权利要求1所述的设备,进一步包括:
人物解析引擎,用于从所述一个或多个媒体项中提取所述一个或多个人物,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;
情绪理解引擎,用于从所述一个或多个媒体项中确定所述一种或多种情绪,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情而确定的;以及
反馈和生成/呈现逻辑,用于基于所述多个故事要素生成所述故事,其中,所述反馈和生成/呈现逻辑进一步用于促进在一个或多个网站发布所述故事。
3.如权利要求2所述的设备,其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一项。
4.如权利要求3所述的设备,其中,所述一个或多个故事模板能够由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
5.如权利要求1所述的设备,进一步包括监测逻辑,所述监测逻辑用于监测通过通信介质从一个或多个媒体源接收的所述一个或多个媒体项,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
6.如权利要求1所述的设备,其中,所述人物解析引擎进一步包括:
命名实体解析逻辑,用于从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项而被提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;
共指解析逻辑,用于解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;
情境发现逻辑,用于发现所述事件的一个或多个位置,其中,所述一个或多个位置是基于与所述一个或多个人物能够访问的一个或多个计算装置有关的全球定位系统(GPS)坐标而发现的;以及
角色分配逻辑,用于确定与所述一个或多个人物相关联的所述一个或多个角色,其中,所述角色分配逻辑进一步用于基于与所述一个或多个人物中的人物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
7.如权利要求1所述的设备,其中,所述事件提取引擎进一步包括:
位置解析逻辑,用于提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息而形成的;
时间解析逻辑,用于提取与所述一个或多个位置有关的时间相关信息;
话题建模逻辑,用于以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语,其中,所述主题是基于以统计方式分析的词语而被确认的;以及
场景理解逻辑,用于分析所述一个或多个媒体项中的可视项,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,
其中,所述场景理解逻辑被进一步用于分析与所述可视项相关联的元数据或所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
8.如权利要求1所述的设备,其中,所述情绪理解引擎进一步包括:
情感分析逻辑,用于确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情感,其中,所述情感是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及
面部情绪分析逻辑,用于确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪。
9.如权利要求1所述的设备,其中,所述故事分割引擎进一步包括:
目标标识逻辑,用于提取所述故事的目标和要素序列;
交互编辑器,用于促进编辑所述故事的内容;以及
主题标签生成器,用于将一个或多个主题标签与所述故事进行关联。
10.一种方法,包括:
由计算装置处的一个或多个捕获/感测部件接收与事件相关的一个或多个媒体项;
从所述一个或多个媒体项中捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项捕获的;以及
形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情感生成的,其中,所述故事经由一个或多个显示装置向有权使用所述一个或多个显示装置的一个或多个用户呈现。
11.如权利要求10所述的方法,进一步包括:
从所述一个或多个媒体项中提取所述一个或多个人物,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;
从所述一个或多个媒体项中确定所述一种或多种情绪,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情确定的;以及
基于所述多个故事要素生成所述故事,其中,所述故事在一个或多个网站被发布。
12.如权利要求11所述的方法,其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一者。
13.如权利要求12所述的方法,其中,所述一个或多个故事模板可由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
14.如权利要求10所述的方法,进一步包括:监测通过通信介质从一个或多个媒体源接收的所述一个或多个媒体项,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
15.如权利要求10所述的方法,进一步包括:
从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;
解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;
发现所述事件的一个或多个位置,其中,所述一个或多个位置是基于与所述一个或多个人物可访问的一个或多个计算装置有关的全球定位系统(GPS)坐标发现的;以及
确定与所述一个或多个人物相关联的所述一个或多个角色,其中,基于与所述一个或多个人物中的一个人物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
16.如权利要求10所述的方法,进一步包括:
提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息形成的;
提取与所述一个或多个位置有关的时间相关信息;
以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语,其中,所述主题是基于所述统计学上分析的词语确认的;以及
分析所述一个或多个媒体项中的可视项,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,
其中,分析进一步包括分析与所述可视项相关联的元数据或者所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
17.如权利要求10所述的方法,进一步包括:
确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情感,其中,所述情感是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及
确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪。
18.如权利要求10所述的方法,进一步包括:
提取所述故事的目标和要素序列;
促进编辑所述故事的内容;以及
将一个或多个主题标签与所述故事进行关联。
19.至少一种机器可读介质,包括多条指令,所述多条指令在计算装置上被执行而使所述计算装置:
经由计算装置处的一个或多个捕获/感测部件接收与事件相关的一个或多个媒体项;
从所述一个或多个媒体项中捕获主题,其中,所述主题是基于与所述事件相关联的活动、文本内容、以及场景中的至少一项而被捕获的;以及
形成多个故事要素以生成与所述事件相关的故事,其中,所述多个故事要素是基于一个或多个人物中的至少一个、与所述事件相关联的所述主题、以及与所述一个或多个人物相关联的一种或多种情绪而形成的,其中,所述故事经由一个或多个显示装置向具有对所述一个或多个显示装置的访问权的一个或多个用户呈现。
20.如权利要求19所述的机器可读介质,其中,所述计算装置进一步用于:
从所述一个或多个媒体项中提取所述一个或多个人物,其中,所述一个或多个人物已分配了表示与所述事件相关联的一个或多个个体的一个或多个角色;
从所述一个或多个媒体项中确定所述一种或多种情绪,其中,所述一种或多种情绪是基于与所述一个或多个人物相关联的一种或多种表情而确定的;以及
基于所述多个故事要素生成所述故事,其中,所述故事在一个或多个网站被发布,
其中,所述故事被发布为社交网络网站处的社交发布、新闻或博客网站处的博客发布、以及具有在慈善网站或商业网站处发布的一个或多个故事模板的模板发布中的至少一者,
其中,所述一个或多个故事模板能够由所述一个或多个用户下载以使用具有与所述故事相关联的所述多个要素的所述一个或多个故事模板来自动生成故事。
21.如权利要求19所述的机器可读介质,其中,所述计算装置进一步用于:监测通过通信介质从一个或多个媒体源接收的所述一个或多个媒体项,其中,所述一个或多个媒体源包括网站、媒体馈送、媒体播放器、计算装置、传感器阵列、相机和话筒中的至少一项,其中,所述一个或多个媒体项包括图片、视频、音频、现场聊天、文本消息、发布、评论、反馈和博客中的至少一项。
22.如权利要求19所述的机器可读介质,其中,所述计算装置进一步用于:
从所述一个或多个媒体项中提取与所述一个或多个人物相关联的一个或多个身份或者所述一个或多个角色,其中,所述一个或多个身份是基于与所述一个或多个人物相关联的评论或描述中的至少一项而被提取的,从而使得与人物相关联的身份是基于与所述人物相关联的角色、评论和描述中的至少一项而被检测到的,其中,所述身份指父母、孩子、亲属、朋友、邻居、队友、教练、老板、雇员和陌生人中的一项或多项;
解析与所述一个或多个人物相关的一个或多个指代,其中,所述一个或多个指代包括与所述一个或多个人物相关联的一个或多个代词;
发现所述事件的一个或多个位置,其中,所述一个或多个位置是基于与所述一个或多个人物能够访问的一个或多个计算装置有关的全球定位系统(GPS)坐标发现的;以及
确定与所述一个或多个人物相关联的所述一个或多个角色,其中,基于与所述一个或多个人物中的人物相关的评论为所述人物分配角色,其中,所述一个或多个角色进一步指两个或更多个人物之间的一种或多种关系,其中,所述一种或多种关系包括亲-子、兄-妹、叔-侄、祖-孙、队友-队友、教练-运动员、邻居-邻居、老板-下属、雇主-雇员、伙伴-伙伴、陌生人-陌生人中的一种或多种。
23.如权利要求19所述的机器可读介质,其中,所述计算装置进一步用于:
提取与基于所述GPS坐标发现的所述一个或多个位置有关的基于位置的信息,其中,所述基于位置的信息包括当地场景、当地文化、当地气候、当地语言、当地时间和当地历史中的至少一项,其中,所述基于位置的信息包括当地执行的本土事件或全球事件,从而使得所述当地场景包括农场主的市场、车库出售、啤酒节、新年庆祝、足球世界杯以及皇室加冕,其中,所述主题是基于所述位置相关的信息而形成的;
提取与所述一个或多个位置有关的时间相关信息;
以统计方式分析从所述一个或多个媒体项中的每个媒体项获得的词语,其中,所述主题是基于以统计方式分析的词语而被确认的;以及
分析所述一个或多个媒体项中的可视项,其中,所述可视项包括在所述媒体项中的每个媒体项中的物体、衣物、其他个体、动物、植物、天气、前景和背景中的至少一个,其中,所述背景包括基于通用景色或摄影技术的配色方案、天气模式、墙壁阴影、以及意象心情中的一项或多项,其中,所述可视项被分析以从所述主题中确定场景,
其中,分析进一步包括分析与所述可视项相关联的元数据或者所述一个或多个媒体项中的所述一个或多个人物,实时捕获的所述元数据指示关于所述可视项中的每个可视项、所述一个或多个人物、以及与所述一个或多个人物相关联的所述一个或多个角色或所述一个或多个身份的相关信息。
24.如权利要求19所述的机器可读介质,其中,所述计算装置进一步用于:
确定与所述一个或多个人物中的每个人物相关联的并且在所述一个或多个媒体项中的每个媒体项中的情感,其中,所述情感是基于与一个或多个人物有关的所述元数据的语义分析而确定的,其中,语义分析包括所述一个或多个人物的心理语言分析;以及
确定在所述一个或多个媒体项的每个媒体项中在一个或多个设置中与所述一个或多个人物中的每个人物相关联的面部情绪。
25.如权利要求19所述的机器可读介质,其中,所述计算装置进一步用于:
提取所述故事的目标和要素序列;
促进编辑所述故事的内容;以及
将一个或多个主题标签与所述故事进行关联。
CN201680048411.5A 2015-09-16 2016-07-22 促进在计算装置处进行多媒体整合和故事生成的个人辅助 Active CN107924414B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/855,910 US9781392B2 (en) 2015-09-16 2015-09-16 Facilitating personal assistance for curation of multimedia and generation of stories at computing devices
US14/855,910 2015-09-16
PCT/US2016/043588 WO2017048359A1 (en) 2015-09-16 2016-07-22 Facilitating personal assistance for curation of multimedia and generation of stories at computing devices

Publications (2)

Publication Number Publication Date
CN107924414A true CN107924414A (zh) 2018-04-17
CN107924414B CN107924414B (zh) 2022-10-28

Family

ID=58237542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680048411.5A Active CN107924414B (zh) 2015-09-16 2016-07-22 促进在计算装置处进行多媒体整合和故事生成的个人辅助

Country Status (4)

Country Link
US (1) US9781392B2 (zh)
CN (1) CN107924414B (zh)
DE (1) DE112016004208T5 (zh)
WO (1) WO2017048359A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595436A (zh) * 2018-04-28 2018-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
CN108900923A (zh) * 2018-07-20 2018-11-27 广州华多网络科技有限公司 推荐直播模板的方法和装置
CN109145128A (zh) * 2018-08-15 2019-01-04 东北大学 一种大规模数据在线可视化方法
CN110750996A (zh) * 2018-07-18 2020-02-04 广州阿里巴巴文学信息技术有限公司 多媒体信息的生成方法、装置及可读存储介质
CN111353314A (zh) * 2020-02-28 2020-06-30 长沙千博信息技术有限公司 一种用于动漫生成的故事文本语义分析方法
CN111428549A (zh) * 2019-10-31 2020-07-17 深圳市睿洋图志科技有限公司 一种基于社交活动图像大数据的人物信息分析方法及系统
CN111737961A (zh) * 2020-06-28 2020-10-02 网易(杭州)网络有限公司 一种故事生成的方法、装置、计算机设备和介质
CN112183025A (zh) * 2020-10-09 2021-01-05 上海电力大学 一种基于深度学习的可控多人物心理导向故事生成方法
CN112307269A (zh) * 2020-08-24 2021-02-02 山东理工职业学院 一种小说中人物关系的智能分析系统和方法
CN113348451A (zh) * 2019-01-30 2021-09-03 索尼集团公司 信息处理系统、信息处理方法和信息处理设备
US11962455B2 (en) 2021-11-29 2024-04-16 T-Mobile Usa, Inc. Prioritizing multiple issues associated with a wireless telecommunication network

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
AU2013222215B2 (en) * 2012-02-22 2017-12-21 Master Lock Company Llc Safety lockout systems and methods
US9710447B2 (en) * 2014-03-17 2017-07-18 Yahoo! Inc. Visual recognition using social links
EP3211585A1 (en) * 2014-10-24 2017-08-30 Agoop Corp. Population estimation device, program, and population estimation method
US10380256B2 (en) * 2015-09-26 2019-08-13 Intel Corporation Technologies for automated context-aware media curation
US20170127128A1 (en) * 2015-11-02 2017-05-04 Stephen Vollentine Seger Social Post Roll Up and Management System and Method of Use
US10969748B1 (en) * 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US10068211B2 (en) 2016-01-04 2018-09-04 Bank Of America Corporation Reallocation of resources system
US10506641B2 (en) 2016-01-04 2019-12-10 Bank Of America Corporation Resource optimization allocation system
US10021672B2 (en) * 2016-01-04 2018-07-10 Bank Of America Corporation Resource allocation based on available resources via interactive interface
US10853784B2 (en) 2016-01-04 2020-12-01 Bank Of America Corporation Real-time determination of resource availability for usage
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
US10430835B2 (en) * 2016-04-14 2019-10-01 Google Llc Methods, systems, and media for language identification of a media content item based on comments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US20180052838A1 (en) * 2016-08-22 2018-02-22 International Business Machines Corporation System, method and computer program for a cognitive media story extractor and video composer
US10198076B2 (en) 2016-09-06 2019-02-05 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
US10831805B1 (en) 2016-11-03 2020-11-10 United Services Automobile Association (Usaa) Virtual secure rooms
CN110521213B (zh) * 2017-03-23 2022-02-18 韩国斯诺有限公司 故事影像制作方法及系统
US10489510B2 (en) * 2017-04-20 2019-11-26 Ford Motor Company Sentiment analysis of product reviews from social media
CN107220352B (zh) * 2017-05-31 2020-12-08 北京百度网讯科技有限公司 基于人工智能构建评论图谱的方法和装置
CN107577672B (zh) * 2017-09-19 2021-07-06 网智天元科技集团股份有限公司 基于舆情设定剧本的方法和装置
US10585956B2 (en) * 2017-09-20 2020-03-10 International Business Machines Corporation Media selection and display based on conversation topics
US10719545B2 (en) * 2017-09-22 2020-07-21 Swarna Ananthan Methods and systems for facilitating storytelling using visual media
US10909321B2 (en) * 2017-11-14 2021-02-02 Microsoft Technology Licensing, Llc Automated travel diary generation
KR102570279B1 (ko) 2018-01-05 2023-08-24 삼성전자주식회사 감정 인식을 위한 학습 방법, 감정을 인식하는 방법 및 장치
WO2019140129A1 (en) 2018-01-11 2019-07-18 End Cue, Llc Pre-production tools and improved operation of same
WO2019140120A1 (en) * 2018-01-11 2019-07-18 End Cue, Llc Script writing and content generation tools and improved operation of same
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
US11539712B2 (en) * 2018-03-29 2022-12-27 Snapwise Inc. Event verification engine
CN108563620A (zh) * 2018-04-13 2018-09-21 上海财梵泰传媒科技有限公司 文本自动写作方法和系统
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11983183B2 (en) * 2018-08-07 2024-05-14 Disney Enterprises, Inc. Techniques for training machine learning models using actor data
US10346541B1 (en) * 2018-10-05 2019-07-09 Capital One Services, Llc Typifying emotional indicators for digital messaging
US11086907B2 (en) * 2018-10-31 2021-08-10 International Business Machines Corporation Generating stories from segments classified with real-time feedback data
CN109284298A (zh) * 2018-11-09 2019-01-29 上海晏鼠计算机技术股份有限公司 一种基于机器学习和大数据处理的内容生产系统
CN110018738B (zh) * 2019-03-04 2021-09-21 华南理工大学 一种基于真实场景情感表达的情感转换系统
US11170035B2 (en) * 2019-03-29 2021-11-09 Snap Inc. Context based media curation
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
KR20210030106A (ko) * 2019-09-09 2021-03-17 엘지전자 주식회사 서버
US11200366B2 (en) * 2019-12-16 2021-12-14 International Business Machines Corporation Using classifications from text to determine instances of graphical element types to include in a template layout for digital media output
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
KR20210095291A (ko) * 2020-01-22 2021-08-02 삼성전자주식회사 스토리를 생성하는 전자 장치 및 그의 동작 방법
US11194971B1 (en) 2020-03-05 2021-12-07 Alexander Dobranic Vision-based text sentiment analysis and recommendation system
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
WO2021209978A1 (en) * 2020-04-16 2021-10-21 Cimpress Schweiz Gmbh Technologies for modifying design templates across online services
US11543939B2 (en) * 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US20230290381A1 (en) * 2022-03-09 2023-09-14 James Albert Ionson Autonomous Cognitive Audiovisual Editing System and Method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101568969A (zh) * 2006-12-20 2009-10-28 伊斯曼柯达公司 故事共享自动化
CN101601030A (zh) * 2007-01-29 2009-12-09 索尼在线娱乐有限公司 基于游戏事件的博客、网页或共享站点的自动条目创建的系统和方法
US20110080410A1 (en) * 2008-01-25 2011-04-07 Chung-Ang University Industry-Academy Cooperation Foundation System and method for making emotion based digital storyboard
CN103092465A (zh) * 2013-01-22 2013-05-08 华为技术有限公司 一种情感化记事背景的生成方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
US20030117651A1 (en) * 2001-12-26 2003-06-26 Eastman Kodak Company Method for using affective information recorded with digital images for producing an album page
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
US8666819B2 (en) 2007-07-20 2014-03-04 Yahoo! Overture System and method to facilitate classification and storage of events in a network
US8237742B2 (en) * 2008-06-12 2012-08-07 International Business Machines Corporation Simulation method and system
WO2011127140A1 (en) 2010-04-06 2011-10-13 Statsheet, Inc. Systems for dynamically generating and presenting narrative content
US20120082401A1 (en) * 2010-05-13 2012-04-05 Kelly Berger System and method for automatic discovering and creating photo stories
US8345934B2 (en) * 2010-07-19 2013-01-01 Telefonica, S.A. Method for automatic storytelling for photo albums using social network context
US9106812B1 (en) 2011-12-29 2015-08-11 Amazon Technologies, Inc. Automated creation of storyboards from screenplays
US8821271B2 (en) 2012-07-30 2014-09-02 Cbs Interactive, Inc. Techniques for providing narrative content for competitive gaming events
WO2014078449A2 (en) 2012-11-13 2014-05-22 Chen Steve Xi Intelligent information summarization and display
US9298744B2 (en) * 2014-03-31 2016-03-29 Adobe Systems Incorporated Method and apparatus for ordering images in an image set based on social interactions and viewer preferences
US8923551B1 (en) * 2014-07-16 2014-12-30 Interactive Memories, Inc. Systems and methods for automatically creating a photo-based project based on photo analysis and image metadata

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101568969A (zh) * 2006-12-20 2009-10-28 伊斯曼柯达公司 故事共享自动化
CN101601030A (zh) * 2007-01-29 2009-12-09 索尼在线娱乐有限公司 基于游戏事件的博客、网页或共享站点的自动条目创建的系统和方法
US20110080410A1 (en) * 2008-01-25 2011-04-07 Chung-Ang University Industry-Academy Cooperation Foundation System and method for making emotion based digital storyboard
CN103092465A (zh) * 2013-01-22 2013-05-08 华为技术有限公司 一种情感化记事背景的生成方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595436A (zh) * 2018-04-28 2018-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
CN108595436B (zh) * 2018-04-28 2021-09-28 合肥工业大学 情感对话内容的生成方法和系统、存储介质
CN110750996A (zh) * 2018-07-18 2020-02-04 广州阿里巴巴文学信息技术有限公司 多媒体信息的生成方法、装置及可读存储介质
CN110750996B (zh) * 2018-07-18 2024-04-12 阿里巴巴(中国)有限公司 多媒体信息的生成方法、装置及可读存储介质
CN108900923A (zh) * 2018-07-20 2018-11-27 广州华多网络科技有限公司 推荐直播模板的方法和装置
CN108900923B (zh) * 2018-07-20 2021-03-09 广州方硅信息技术有限公司 推荐直播模板的方法和装置
CN109145128B (zh) * 2018-08-15 2021-06-29 东北大学 一种大规模数据在线可视化方法
CN109145128A (zh) * 2018-08-15 2019-01-04 东北大学 一种大规模数据在线可视化方法
CN113348451A (zh) * 2019-01-30 2021-09-03 索尼集团公司 信息处理系统、信息处理方法和信息处理设备
CN111428549A (zh) * 2019-10-31 2020-07-17 深圳市睿洋图志科技有限公司 一种基于社交活动图像大数据的人物信息分析方法及系统
CN111353314A (zh) * 2020-02-28 2020-06-30 长沙千博信息技术有限公司 一种用于动漫生成的故事文本语义分析方法
CN111737961B (zh) * 2020-06-28 2021-08-10 网易(杭州)网络有限公司 一种故事生成的方法、装置、计算机设备和介质
CN111737961A (zh) * 2020-06-28 2020-10-02 网易(杭州)网络有限公司 一种故事生成的方法、装置、计算机设备和介质
CN112307269A (zh) * 2020-08-24 2021-02-02 山东理工职业学院 一种小说中人物关系的智能分析系统和方法
CN112307269B (zh) * 2020-08-24 2022-09-30 山东理工职业学院 一种小说中人物关系的智能分析系统和方法
CN112183025A (zh) * 2020-10-09 2021-01-05 上海电力大学 一种基于深度学习的可控多人物心理导向故事生成方法
CN112183025B (zh) * 2020-10-09 2022-06-21 上海电力大学 一种基于深度学习的可控多人物心理导向故事生成方法
US11962455B2 (en) 2021-11-29 2024-04-16 T-Mobile Usa, Inc. Prioritizing multiple issues associated with a wireless telecommunication network

Also Published As

Publication number Publication date
DE112016004208T5 (de) 2018-09-06
WO2017048359A1 (en) 2017-03-23
US20170078621A1 (en) 2017-03-16
CN107924414B (zh) 2022-10-28
US9781392B2 (en) 2017-10-03

Similar Documents

Publication Publication Date Title
CN107924414A (zh) 促进在计算装置处进行多媒体整合和故事生成的个人辅助
Park et al. A metaverse: Taxonomy, components, applications, and open challenges
US9916002B2 (en) Social applications for augmented reality technologies
CN109155136A (zh) 从视频自动检测和渲染精彩场面的计算机化系统和方法
EP2929412A1 (en) Method and apparatus for developing and playing natural user interface applications
US11846981B2 (en) Extracting video conference participants to extended reality environment
Carre et al. Mixed-reality demonstration and training of glassblowing
CN115552472A (zh) 用于为社交世界提供关系地形的系统和方法
Schulz et al. The digitalization of motion picture production and its value chain implications
US20230351711A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
Du Fusing multimedia data into dynamic virtual environments
US20240112408A1 (en) User-customized location based content presentation
Huang A method of evaluating user visual attention to moving objects in head mounted virtual reality
US11948263B1 (en) Recording the complete physical and extended reality environments of a user
Burnett Designing digital and physical interactions for the Digital Public Space
WO2024069534A1 (en) Adaptive extended reality content presentation in multiple physical environments
US20240119682A1 (en) Recording the complete physical and extended reality environments of a user
Uskenbayeva CHINIBAYEV YERSAIN GULISLAMOVICH
US20240020920A1 (en) Incremental scanning for custom landmarkers
Mubarak Designing and Modeling Collective Co-located Interactions for Art Installations
WO2023146837A2 (en) Extended reality for collaboration
Ferracani Exploiting Digital Traces and Human Factors to Design and Improve HCI Systems for Online, Outdoor and Indoor Environments
Tsai et al. Combining generative art and physiological information for new situation of garden restaurant
KR20230121153A (ko) 라벨들에 기초하는 관여 분석
CN116710911A (zh) 基于标注的参与分析

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant