CN109155836B - 再现装置、再现方法、信息生成装置和信息生成方法 - Google Patents

再现装置、再现方法、信息生成装置和信息生成方法 Download PDF

Info

Publication number
CN109155836B
CN109155836B CN201780030632.4A CN201780030632A CN109155836B CN 109155836 B CN109155836 B CN 109155836B CN 201780030632 A CN201780030632 A CN 201780030632A CN 109155836 B CN109155836 B CN 109155836B
Authority
CN
China
Prior art keywords
reproduction
image
importance
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780030632.4A
Other languages
English (en)
Other versions
CN109155836A (zh
Inventor
小川浩司
岛田博文
村田雄太
小室雅子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109155836A publication Critical patent/CN109155836A/zh
Application granted granted Critical
Publication of CN109155836B publication Critical patent/CN109155836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在本发明中，关注位置检测单元34检测用户对视频数据的再现图像的关注位置。与视频数据相关联的是指示通过虚拟地划分再现图像获得的虚拟划分区域的位置以及虚拟划分区域的重要度的图像相关信息。再现控制单元37识别与在关注位置检测单元34处检测到的关注位置对应的虚拟划分区域的重要度，并且根据识别的重要度通过随着重要度下降而在再现操作中设置更多要稀疏的图像并且提高再现速度来控制视频数据的再现操作。用户可以仅通过移动关注位置来控制再现操作，并且可以容易地执行最佳再现操作。

Description

再现装置、再现方法、信息生成装置和信息生成方法
技术领域
本技术涉及再现装置、再现方法、信息生成装置和信息生成方法，并且允许执行适当的再现控制。
背景技术
在过去，在运动图像数据的再现装置中，已经允许执行再现速度被设置成比普通速度更快的速度的再现操作(快进操作、搜索操作)。在这样的再现操作中，例如，根据再现速度使帧稀疏(thin)，并且仅再现帧的一部分。此外，在PTL 1中，为了容易地再现期望的场景，在场景标记被划分为成多个组的情况下管理场景标记。允许给出场景标记，以便用户之间不会混淆。
引用列表
专利文献
专利文献1 JP 2010-074617A
发明内容
技术问题
其中，在运动图像数据的再现中，为了执行用户期望的再现操作，例如，在每次切换再现操作时需要重复以下操作，在该操作中，选择和操作用于从再现装置或遥控装置的操作部切换再现操作的操作按钮等。因此，难以容易地执行适当的再现操作。此外，在佩戴在头部上的显示部上显示再现图像的装置中，例如，在头戴式显示装置等中，难以观看再现装置或遥控装置的操作部。因此，为了执行期望的再现操作，需要安装和拆卸显示部等，并且到期望的再现操作的切换更加复杂。
为了解决上述问题，本技术的目的是提供用于容易地执行适当的再现操作的再现装置、再现方法、信息生成装置和信息生成方法。
问题的解决方案
本技术的第一方面涉及一种再现装置，该再现装置包括：关注位置检测部，其被配置成检测用户对运动图像数据的再现图像的关注位置；以及再现控制部，其被配置成基于与运动图像数据相关联的指示再现图像被虚拟地划分成的虚拟划分区域的位置和重要度的图像相关信息，来确定与由关注位置检测部检测到的关注位置相对应的虚拟划分区域的重要度，并且根据所确定的重要度来控制对运动图像数据的再现操作。
在本技术中，关注位置检测部由传感器配置，该传感器检测例如观看运动图像数据的再现图像的用户的头部方向或视线方向。此外，关注位置检测部基于传感器的检测结果来检测相对于再现图像的头部方向或视线方向的位置作为关注位置。指示再现图像被虚拟地划分成的虚拟划分区域的位置和重要度的图像相关信息与运动图像数据相关联。再现控制部基于图像相关信息和关注位置检测部的检测结果，根据与检测到的关注位置对应的虚拟划分区域的重要度来控制运动图像数据的再现操作。例如，再现控制部根据与关注位置对应的虚拟划分区域的重要度，通过使用再现图像的时间信息来设置下一个再现图像。然后，再现控制部设置下一个再现图像，使得随着重要度变低，存在更多的在再现操作中被稀疏的图像。此外，运动图像数据是编码数据，并且再现控制部根据重要度来控制运动图像数据的解码处理。
此外，再现控制部将信息显示区域设置成与具有低重要度的虚拟划分区域对应的图像显示区域。在与包括在虚拟划分区域中的对象有关的区域对象信息包括在图像相关信息中的情况下，再现控制部显示指示包括在与由关注位置检测部检测到的关注位置相对应的虚拟划分区域中的对象的区域对象信息。此外，在图像相关信息中通过使用与再现图像有关的时间信息来按时间指示虚拟划分区域的位置和重要度以及与包括在虚拟划分区域中的对象有关的区域对象信息的情况下，再现控制部基于图像相关信息将时间、对象和虚拟划分区域相关联地显示在显示部上，并且根据用户对时间和虚拟划分区域的选择结果来控制运动图像数据的再现操作。此外，再现控制部可以基于区域对象信息来确定包括期望对象的虚拟划分区域并且基于确定结果来控制运动图像数据的再现操作。此外，在包括期望对象的虚拟划分区域和与关注位置对应的虚拟划分区域彼此不同的情况下，再现控制部呈现包括期望对象的虚拟划分区域的位置。
此外，再现控制部可以在显示部上显示运动图像数据的再现操作历史以及图像相关信息。此外，再现控制部可以存储运动图像数据的再现操作历史以便重复使用，并且在基于再现操作历史再现运动图像数据的情况下，在再现图像中将与关注位置对应的虚拟划分区域设置到预定位置。
本技术的第二方面涉及一种再现方法，该再现方法包括：通过使用关注位置检测部检测用户对运动图像数据的再现图像的关注位置；以及通过使用再现控制部，基于与运动图像数据相关联的指示再现图像被虚拟地划分成的虚拟划分区域的位置和虚拟划分区域的重要度的图像相关信息，来确定与通过使用关注位置检测部检测到的关注位置对应的虚拟划分区域的重要度，并且根据所确定的重要度来控制运动图像数据的再现操作。
本技术的第三方面涉及一种信息生成装置，该信息生成装置包括：图像相关信息生成部，其被配置成对运动图像数据的图像被虚拟地划分成的每个虚拟划分区域设置重要度，并且与运动图像数据相关联地生成指示图像中的虚拟划分区域的位置和重要度的图像相关信息。
根据本技术，图像相关信息生成部对运动图像数据的图像被虚拟地划分成的每个虚拟划分区域设置重要度。基于每次对虚拟划分区域设置的图像处理的处理结果或基于每次对虚拟划分区域设置的多个图像处理的处理结果来设置重要度。图像相关信息生成部通过使用给予图像的时间信息来按时间生成指示运动图像数据的图像中的虚拟划分区域的位置与重要度之间的关系的图像相关信息。此外，图像相关信息生成部可以将与包括在虚拟划分区域中的对象有关的区域对象信息包括在图像相关信息中。可以通过使用图像来执行特定区域识别处理，并且可以基于识别处理结果来执行图像的虚拟划分。
本技术的第四方面涉及一种信息生成方法，该信息生成方法包括：通过使用图像相关信息生成部对运动图像数据的图像被虚拟地划分成的每个虚拟划分区域设置重要度，并且与运动图像数据相关联地生成指示图像中的虚拟划分区域的位置和重要度的图像相关信息。
本发明的有益效果
根据本技术，通过使用关注位置检测部来检测用户对运动图像数据的再现图像的关注位置。此外，通过使用再现控制部，基于与运动图像数据相关联的指示再现图像被虚拟地划分成的虚拟划分区域的位置和重要度的图像相关信息，来确定与由关注位置检测部检测到的关注位置对应的虚拟划分区域的重要度，并且根据所确定的重要度来控制运动图像数据的再现操作。因此，用户可以仅通过移动关注位置来控制再现操作并且容易地执行适当的再现操作。注意，在本说明书中描述的效果仅是说明性的而非限制性的，并且可能存在在本说明书中未描述的附加效果。
附图说明
图1是示出图像处理系统的配置的图。
图2是示出信息生成装置的配置的图。
图3是示出划分区域配置信息的图。
图4是示出与划分区域定义1对应的划分区域定义信息的图。
图5是示出与划分区域定义1对应的虚拟划分状况的图。
图6是示出与划分区域定义2对应的划分区域定义信息的图。
图7是示出与划分区域定义2对应的虚拟划分状况的图。
图8是示出重要度定义信息的图。
图9是示出其他重要度定义信息的图。
图10是示出重要度转换信息的图。
图11是示出区域重要度信息的图。
图12是示出信息生成装置的操作的流程图。
图13是示出信息生成装置的其他配置的图。
图14是示出重要度划分区域定义信息的图。
图15是示出信息生成装置的其他操作的流程图。
图16是描述信息生成装置的其他操作的图。
图17是示出再现装置的配置的图。
图18是示出操作设置信息的图。
图19是示出再现装置的操作的流程图。
图20是示出根据重要度的关键帧图像数据的获取操作的流程图。
图21是示出与关注位置对应的虚拟划分区域的重要度与获取图像数据的关键帧之间的关系的图。
图22是示出根据重要度的关键帧图像数据的获取操作的图。
图23是描述仅显示由运动图像数据指示的图像的一部分的情况的图。
图24是示出GUI图像的图。
图25是示出再现操作历史被叠加在图像相关信息上以进行显示的情况的图。
具体实施方式
在下文中，将描述用于执行本技术的方式。将按以下顺序进行描述。
1.关于图像处理系统
2.信息生成装置的配置和操作
3.信息生成装置的其他配置和操作
4.再现装置的配置和操作
5.再现装置的其他操作
<1.关于图像处理系统>
图1示出了图像处理系统的配置。图像处理系统10的信息生成装置20生成与运动图像数据相关联的图像相关信息。图像相关信息具有区域重要度信息。区域重要度信息指示要再现的图像被虚拟地划分成的每个虚拟划分区域的位置和重要度。此外，图像相关信息可以具有指示包括在虚拟划分区域中的对象的区域对象信息。注意，关联意味着图像相关信息仅需要在再现运动图像数据时是可用的。此外，该关联意味着图像相关信息包括在运动图像数据的文件中，运动图像数据的文件和图像相关信息的文件被记录在同一记录介质中，图像相关信息可以通过通信路径从例如由运动图像数据的附属信息指示的图像相关信息的提供源来获取，等等。
再现装置30基于与运动图像数据相关联的图像相关信息来控制再现操作。例如，再现装置30在以不同于普通速度的速度执行再现的特定再现操作时间处根据与用户对再现图像的关注位置对应的虚拟划分区域的重要度来控制再现速度。该处理允许容易地执行适当的再现操作。
在下文中，将描述信息生成装置20的配置和操作，并且揭示了与运动图像数据相关联的图像相关信息是什么类型的信息。然后，将描述通过使用图像相关信息对运动图像数据进行再现的再现装置30的配置和操作。
<2.信息生成装置的配置和操作>
图2示出了信息生成装置的配置。信息生成装置20具有划分区域设置部21、划分区域信息存储部22、重要度设置控制部23和图像相关信息生成部25。
划分区域设置部21对运动图像数据的每个图像设置虚拟划分区域并且生成指示虚拟划分区域的设置状态的划分区域信息。此外，划分区域设置部21使得划分区域信息存储部22能够存储划分区域信息。划分区域设置部21例如根据由图像相关信息提供者进行的划分指令操作将图像虚拟地划分为划分区域信息。此外，划分区域设置部21基于划分结果来生成划分区域配置信息和划分区域定义信息。划分区域配置信息是指示对运动图像数据的每个图像设置的虚拟划分区域的定义的信息。此外，划分区域定义信息是指示由划分区域配置信息指示的定义处于何种虚拟划分状况下的信息。
划分区域设置部21例如通过使用给予运动图像数据的每个图像的时间码来按时间生成指示划分区域定义ID的信息作为划分区域配置信息。
图3示出了划分区域配置信息。在时间码指示时段“00：00：00：00～00：09：59：59”的情况下，划分区域配置信息指示“划分区域定义1”用作划分区域定义ID。此外，在时间码指示时段“00：10：00：00～结束”的情况下，划分区域配置信息指示“划分区域定义2”被用作划分区域定义ID。
划分区域设置部21生成例如通过表示划分区域ID和指示由划分区域ID指示的虚拟划分区域中的图像中的位置的区域坐标而获得的信息作为划分区域配置信息。图4示出了与划分区域定义1对应的划分区域定义信息。图5示出了与划分区域定义1对应的虚拟划分状况。划分区域定义1指示设置了四个虚拟划分区域并且“A到D”被设置为四个虚拟划分区域的划分区域ID。此外，指示划分区域ID例如是“A”的虚拟划分区域是由区域坐标“(0，0)、(0，2160)、(960，2160)和(960，0)围绕的区域。类似地，划分区域定义信息也指示在划分区域ID为“B到D”的虚拟划分区域中的区域坐标。
图6示出了与划分区域定义2对应的划分区域定义信息。此外，图7示出了与划分区域定义2对应的虚拟划分状况。在划分区域定义2中，指示在画面的中心设置虚拟划分区域，并且“A”作为划分区域ID被设置给虚拟划分区域。此外，指示划分区域ID为“A”的虚拟划分区域是由区域坐标“(960，500)、(960，1660)、(2880，1660)和(2880，500)围绕的区域。注意，如下面所描述的那样，未设置划分区域ID的区域属于落入“其他”的虚拟划分区域。
划分区域信息存储部22存储由划分区域设置部21生成的划分区域信息。此外，划分区域信息存储部22将存储的划分区域信息输出至重要度设置控制部23和图像相关信息生成部25。
重要度设置控制部23生成针对由划分区域信息指示的虚拟划分区域的重要度确定规则以及指示根据使用重要度确定规则的确定结果分配的重要度的重要度定义信息。重要度设置控制部23定义可分配给虚拟划分区域的重要度。重要度设置控制部23将多个等级定义为重要度，例如，诸如“1(低等级)、2(中等等级)和3(高等级)”的等级。此外，重要度设置控制部23设置用于确定将所定义的重要度中的哪个等级分配给虚拟划分区域的重要度确定规则。在重要度确定规则中，通过使用虚拟划分区域中的运动图像数据来执行图像处理，并且由下面描述的图像相关信息生成部25根据图像处理结果来执行重要度的分配。在图像处理中，例如，计算用于确定移动的可移动体是否包括在虚拟划分区域中的帧差异。此外，在图像处理中，执行用于确定预定的特定形状模板图像(例如，模板面部图像)是否包括在虚拟划分区域中的模板匹配。注意，可以预先设置重要度的定义或重要度确定规则。可替选地，图像相关信息提供者可能能够设置重要度的定义或重要度确定规则。此外，图像相关信息提供者可能能够根据再现操作选择重要度的定义、重要度确定规则等。
此外，在基于多个重要度确定规则执行重要度的分配的情况下，重要度设置控制部23可以使得能够对重要度确定规则中的每一个设置例如点。此外，重要度设置控制部23可以使得能够从重要度确定规则中的每一个的点总值分配重要度。
图8示出了重要度定义信息。在重要度定义信息中，指示了目标、重要度确定规则和重要度。目标是由划分区域信息指示的每个图像中的虚拟划分区域，并且重要度确定规则指示通过使用虚拟划分区域中的图像执行的图像处理。此外，重要度指示在满足重要度确定规则的情况下分配给虚拟划分区域的重要度。例如，在指示时段“00：00：00：00～00：09：59：59”的时间码中，在划分区域ID为“A到D”的虚拟划分区域中计算帧差异，并且将重要度“2”分配给差异量等于或大于阈值的虚拟划分区域。此外，在指示时段“00：10：00：00～结束”的时间码中，确定是否基于对划分区域ID为“A”的虚拟划分区域的面部检测而检测到人员。如果检测到人员，则将重要度“3”分配给该虚拟划分区域。注意，尽管在图中未进行图示；然而，如果不满足重要度确定规则，则分配重要度“1”。
图9示出了其他重要度定义信息。在重要度定义信息中，指示目标、多个重要度确定规则和点。目标指示由划分区域信息指示的每个图像中的虚拟划分区域，并且重要度确定规则指示通过使用虚拟划分区域中的图像执行的图像处理。此外，该点指示在满足重要度确定规则的情况下获取的点的数目。例如，在时间码指示“00：00：00：00～00：09：59：59”的时段中，在划分区域ID为“A到D”的虚拟划分区域中计算帧差异，并且允许差异量等于或大于阈值的虚拟划分区域获取点“2pt”。此外，在时间码指示“00：00：00：00～00：09：59：59”的时段中，确定是否基于划分区域ID为“A到D”的虚拟划分区域中的面部检测而检测到人员，并且允许检测到人员的虚拟划分区域获取点“3pt”。
在时间码指示“00：10：00：00～结束”的时段中，确定是否基于划分区域ID为“A”的虚拟划分区域中的面部检测而检测到人员，并且如果检测到人员，则允许在该虚拟划分区域中获取点“2pt”。此外，在时间码指示“00：10：00：00～结束”的时段中，确定是否基于在划分区域ID为“A”的虚拟划分区域中的模板匹配而检测到汽车。此处，如果检测到汽车，则允许在该虚拟划分区域中获取点“1pt”。注意，如果不满足重要度确定规则，则禁止获取点。
此外，在基于所获取的点执行重要度的分配的情况下，将重要度转换信息设置成重要度定义信息。图10示出了重要度转换信息。在重要度转换信息中，指示了根据每个虚拟划分区域中的点总值分配的重要度。例如，对点总值为“1pt或更小”的虚拟划分区域分配重要度“1”。此外，对点总值为“2pt到4pt”的虚拟划分区域分配重要度“2”，并且对点总值为“5pt或更大”的虚拟划分区域分配重要度“3”。
如上所述，重要度设置控制部23生成指示由从划分区域信息存储部22获取的划分区域信息表示的每个图像中的虚拟划分区域中的重要度确定规则和可分配重要度的重要度定义信息，并且将重要度定义信息输出至图像相关信息生成部25。
图像相关信息生成部25基于存储在划分区域信息存储部22中的划分区域信息以及由重要度设置控制部23生成的重要度定义信息，对运动图像数据的每个图像中的虚拟划分区域执行由重要度确定规则指示的图像处理。此外，图像相关信息生成部25根据由重要度确定规则指示的图像处理的处理结果来执行重要度的分配。此外，图像相关信息生成部25生成指示由划分区域信息指示的每个虚拟划分区域的重要度的区域重要度信息。图11示出了区域重要度信息。例如，在时间码指示“00：00：00：00～00：09：59：59”的时段中，重要度“1”被分配给划分区域ID为“A”和“D”的虚拟划分区域。此外，重要度“2”被分配给划分区域ID为“B”和“C”的虚拟划分区域。此外，在时间码指示“00：10：00：00～结束”的时段中，重要度“3”被分配给划分区域ID为“A”的虚拟划分区域。注意，“其他”的区域是没有由划分区域定义信息定义的虚拟划分区域，并且被分配有重要度“1”。
图像相关信息生成部25与运动图像数据相关联地输出指示划分区域信息和区域重要度信息的图像相关信息。此外，图像相关信息生成部25可以对每个图像中的虚拟划分区域执行对象识别等。此外，图像相关信息生成部25可以生成指示与包括在虚拟划分区域中的对象有关的信息的区域对象信息。此外，图像相关信息生成部25可以使图像相关信息提供者能够输入与对象有关的信息。图像相关信息生成部25将所生成的区域对象信息包括在图像相关信息中以进行输出。
图12是示出信息生成装置的操作的流程图。在步骤ST1中，信息生成装置生成划分区域信息。信息生成装置20的划分区域设置部21生成指示每个图像中的虚拟划分区域的设置状态的划分区域信息。然后，处理进行到步骤ST2。
在步骤ST2中，信息生成装置生成重要度定义信息。信息生成装置20的重要度设置控制部23生成指示根据对虚拟划分区域的重要度确定规则以及确定结果分配的重要度的重要度定义信息。然后，处理进行到步骤ST3。
在步骤ST3中，信息生成装置生成图像相关信息。信息生成装置20的图像相关信息生成部25基于由在步骤ST2中生成的重要度定义信息所指示的重要度确定规则，对运动图像数据执行图像处理。此外，图像相关信息生成部25根据处理结果将重要度分配给虚拟划分区域。此外，图像相关信息生成部25生成指示在步骤ST1中生成的划分区域信息和分配给由划分区域信息指示的虚拟划分区域的重要度的图像相关信息。此外，图像相关信息生成部25与运动图像数据相关联地输出图像相关信息。
如上所述，信息生成装置基于图像相关信息提供者的设置操作和运动图像数据来生成指示每个图像中的虚拟划分区域的设置状况和虚拟划分区域的重要度的图像相关信息。此外，信息生成装置与运动图像数据相关联地输出图像相关信息。注意，包括在图像相关信息中的区域重要度信息不限于区域重要度信息由重要度设置信息以及由划分区域配置信息和划分区域定义信息组成的划分区域信息组成的情况。例如，由划分区域配置信息、划分区域定义信息和重要度设置信息指示的信息可以共同组成一个组。
<3.信息生成装置的其他配置和操作>
接下来，将描述允许自动执行虚拟划分区域的设置的信息生成装置作为信息生成装置的其他配置和操作。
图13示出了信息生成装置的其他配置。信息生成装置20a具有重要度划分区域设置控制部24和图像相关信息生成部25a。
重要度划分区域设置控制部24设置重要度划分区域定义信息。重要度划分区域定义信息指示用于执行区域划分的区域确定规则和分配给通过区域划分被虚拟地划分成的虚拟划分区域的重要度。区域确定规则是指示由例如模式匹配等的图像处理识别的特定区域的信息。重要度指示例如1(低)、2(中等)、3(高)等的等级。注意，可以预先将重要度划分区域定义信息设置给信息生成装置，并且图像相关信息提供者可以对重要度划分区域定义进行改变或添加。
图14示出了重要度划分区域定义信息。在重要度划分区域定义信息中，指示目标、区域确定规则和重要度。目标指示图像的时间，并且区域确定规则指示通过使用基于运动图像数据的图像执行的图像处理。此外，重要度指示分配给满足区域确定规则的虚拟划分区域的重要度。例如，在时间码指示“00：00：00：00～00：09：59：59”的时段中，符合模式A的区域中的检测和符合模式B的区域中的检测被执行作为特定区域中的识别处理。此处，将重要度“2”分配给作为虚拟划分区域“A”的符合模式A的区域。此外，将重要度“1”分配给作为虚拟划分区域“B”的符合模式B的区域。此外，在时间码指示“00：10：00：00～结束”的时段中，执行符合模式C的区域中的检测作为特定区域中的识别处理。此外，将重要度“3”分配给作为虚拟划分区域“C”的符合模式C的区域。其中，尽管在图中不进行图示；然而，将重要度“1”分配给不满足重要度划分区域确定规则的区域。
图像相关信息生成部25a基于由重要度划分区域设置控制部24生成的重要度划分区域定义信息，对运动图像数据的每个图像中的由区域确定规则指示的特定区域执行识别处理。此外，图像相关信息生成部25a根据特定区域中的识别处理结果执行区域划分。此外，图像相关信息生成部25a将重要度分配给虚拟划分区域。此外，图像相关信息生成部25a基于根据特定区域中的识别处理结果的区域划分，生成划分区域信息以及指示由划分区域信息指示的虚拟划分区域的重要度的区域重要度信息。此外，图像相关信息生成部25a与运动图像数据相关联地输出划分区域信息和区域重要度信息作为图像相关信息。此外，图像相关信息生成部25a可以在每个图像中的虚拟划分区域中执行对象识别等。此外，图像相关信息生成部25a可以生成指示与包括在虚拟划分区域中的对象有关的信息的区域对象信息。此外，图像相关信息生成部25a可以使图像相关信息提供者能够输入与对象有关的信息。图像相关信息生成部25a将所生成的区域对象信息包括在图像相关信息中以进行输出。
图15是示出信息生成装置的其他操作的流程图。此外，图16是描述信息生成装置的其他操作的图。
在步骤ST11中，信息生成装置设置重要度划分区域定义信息。信息生成装置20的重要度划分区域设置控制部24设置重要度划分区域定义信息，该重要度划分区域定义信息指示用于执行区域划分的区域确定规则和分配给通过区域划分被虚拟地划分成的虚拟划分区域的重要度。然后，处理进行到步骤ST12。
在图16中，示出了：基于重要度划分区域定义信息，将重要度“2”分配给符合模式A的虚拟划分区域，将重要度“1”分配给符合模式B的虚拟划分区域，并且将重要度“3”分配给符合模式C的虚拟划分区域。
在步骤ST12中，信息生成装置生成图像相关信息。信息生成装置20的图像相关信息生成部25a基于由在步骤ST11中生成的重要度划分区域定义信息所指示的区域确定规则，对运动图像数据执行图像处理。此外，图像相关信息生成部25a基于图像处理结果进行区域划分以及将重要度分配给通过区域划分被虚拟地划分成的虚拟划分区域。此外，图像相关信息生成部25a基于根据图像处理的处理结果的区域划分，生成划分区域信息以及指示由划分区域信息指示的虚拟划分区域的重要度的区域重要度信息。此外，图像相关信息生成部25a与运动图像数据相关联地输出划分区域信息和区域重要度信息作为图像相关信息。
在图16中，在时间码“HH’:MM’:SS’:FF’”的输入图像中由坐标(x1，y1)、(x2，y2)和(x3，y3)包围的区域GPA是符合模式A的区域的情况下，区域GPA是例如作为划分区域ID“A”的虚拟划分区域的符合模式A的区域，并且重要度“2”被分配给区域GPA。因此，基于由图像相关信息生成部25a生成的图像相关信息，在时间码“HH'：MM'：SS'：FF'”中，指示了划分区域ID“A”的区域是由坐标(x1，y1)、(x2，y2)和(x3，y3)包围的区域，并且重要度是“2”。
由信息生成装置执行这样的处理，由此使得能够基于重要度划分区域定义信息自动进行区域划分和对虚拟划分区域的重要度分配。
注意，在信息生成装置20(20a)中，在运动图像数据是例如由多个图像拾取装置捕获的图像接合并且生成的具有广视角的合成图像的情况下，每个图像拾取装置的图像捕获范围可以用作虚拟划分区域。在这种情况下，每个图像拾取装置的图像捕获范围和合成图像的图像区域可以彼此相关联。因此，在合成每个捕获图像之前，对每个虚拟划分区域分配重要度，并且可以根据合成处理生成划分区域信息。
<4.再现装置的配置和操作>
接下来，将描述再现运动图像数据的再现装置的配置和操作。在通过使用运动图像数据执行要以与普通速度不同的速度再现的特定再现的情况下，图1所示的再现装置30基于与运动图像数据相关联的图像相关信息来控制再现操作。注意，在以下描述中，示出了运动图像数据是编码数据的情况。
图17示出了再现装置的配置。再现装置30具有信息获取部31、信息存储部32、用户接口部33、关注位置检测部34、再现位置管理部35、操作设置信息存储部36、再现控制部37、解码处理部38、信息显示处理部39和显示部40。注意，显示部40可以与再现装置30分开配置。
信息获取部31获取运动图像数据和与运动图像数据相关联的图像相关信息。信息获取部31基于来自再现控制部37的指令，通过通信路径从外部设备获取运动图像数据和图像相关信息。此外，信息获取部31可以基于来自再现控制部37的指令获取来自记录介质的运动图像数据和图像相关信息。信息获取部31允许信息存储部32存储所获取的运动图像数据和图像相关信息。
信息存储部32存储由信息获取部31获取的运动图像数据和图像相关信息。存储在信息存储部32中的运动图像数据和图像相关信息由再现控制部37读出。
用户接口部33接收使用再现装置的用户的操作并且根据用户操作向再现控制部37输出操作信号。
关注位置检测部34设置有诸如加速度传感器或陀螺仪传感器的头部跟踪传感器。关注位置检测部34检测用户头部的移动并且将相对于再现图像的头部方向的位置确定为用户的关注位置。此外，关注位置检测部34可以设置有捕获眼球的图像拾取部。关注位置检测部34可以基于从由图像拾取部获取的图像检测到的眼睛(瞳孔)的移动来检测用户的视线方向。此外，关注位置检测部34可以将相对于再现图像的视线方向的位置确定为用户的关注位置。关注位置检测部34将指示所确定的关注位置的关注位置检测结果输出至再现控制部37。
再现位置管理部35存储经历由解码处理部38进行的解码处理的运动图像数据的帧号或时间码作为再现位置信息。此外，在编码数据包括双向预测编码图像的情况下，帧图像的解码顺序和显示顺序彼此不同。因此，再现位置管理部35可以通过使用按显示顺序的图像如下所述的那样检测关注位置。此外，再现位置管理部35可以将显示时间码添加到再现位置信息，使得可以根据与检测到的关注位置对应的虚拟划分区域的重要度来获取关键帧的图像数据。存储在再现位置管理部35中的再现位置信息由再现控制部37读出。
操作设置信息存储部36存储操作设置信息，该操作设置信息包括用于在特定再现操作时执行根据由图像相关信息指示的重要度的操作的信息。操作设置信息可以预先存储在操作设置信息存储部36中。此外，用户可以操作用户接口部33并且执行操作设置信息的输入、改变等。存储在操作设置信息存储部36中的操作设置信息由再现控制部37读出。
图18示出了操作设置信息。例如，在特定再现操作是快进操作的情况下，根据重要度的关键帧再现间隔被设置在操作设置信息中。注意，在运动图像数据是编码数据的情况下，关键帧被设置成帧内图像(intra image)中的帧，使得可以在不使用不同时间处的帧图像的情况下执行解码处理。此外，虽然未在图中示出，但是用于指定作为再现候选的关键帧的时间码信息、与帧号的信息等可以用作操作设置信息。
例如，如果重要度是“1”，则设置关键帧再现间隔，使得以帧间隔“THL”再现关键帧。此外，如果重要度是“2”，则设置关键帧再现间隔，使得以帧间隔“THM(<THL)”再现关键帧。此外，如果重要度为“3”，则设置关键帧再现间隔，使得以帧间隔“THS(<THM)”再现关键帧。
再现控制部37基于来自用户接口部33的操作信号来控制每个部，使得在再现装置中执行根据用户操作的操作。此外，再现控制部37基于图像相关信息来确定与由关注位置检测部34检测到的关注位置对应的虚拟划分区域的重要度。此外，再现控制部37根据确定的重要度来控制运动图像数据的再现操作。例如，在执行特定再现操作的情况下，再现控制部37基于图像相关信息、关注位置检测结果、操作设置信息等，根据与用户的关注位置对应的虚拟划分区域的重要度，来控制来自信息存储部32的运动图像数据的读出。再现控制部37将读出的运动图像数据输出至解码处理部38。此外，再现控制部37可以控制解码处理部的操作作为再现操作的控制。
解码处理部38对由再现控制部37读出的运动图像数据执行解码处理。此外，解码处理部38将通过对运动图像数据进行解码处理获得的图像数据输出至信息显示处理部39。此外，解码处理部38可以根据来自再现控制部37的指令切换解码处理。
信息显示处理部39生成显示数据，例如与菜单图像、GUI(图形用户接口)图像、广告图像和运动图像数据有关的补充信息。此外，信息显示处理部39将显示数据与从解码处理部38提供的图像数据一起输出至显示部40。信息显示处理部39可以在通过对运动图像数据进行解码获得的再现图像上叠加诸如菜单或GUI的图像，以生成输出数据并且将输出数据输出至显示部40。此外，信息显示处理部39可以生成用于在与再现图像不同的区域中显示诸如菜单或GUI的图像的输出数据，并且将输出数据输出至显示部40。此外，信息显示处理部39可以将信息显示区域设置在具有低重要度的虚拟划分区域中。此外，信息显示处理部39可以生成在信息显示区域中显示各种信息的输出数据，以将输出数据输出至显示部40。显示部40基于来自信息显示处理部39的输出数据来显示图像，诸如运动图像数据的再现图像、与运动图像数据有关的补充信息、菜单或GUI。
图19是示出再现装置的操作的流程图。在再现装置30中，运动图像数据存储在信息存储部32中。此外，在再现装置30中，包括用于在特定再现操作时执行根据图像相关信息中指示的重要度的操作的信息的操作设置信息存储在操作设置信息存储部36中。
在步骤ST21中，再现装置获取操作设置信息。再现装置30的再现控制部37从操作设置信息存储部36获取操作设置信息并且执行再现操作的设置。然后，处理进行到步骤ST22。
在步骤ST22中，再现装置确定要再现的运动图像数据。再现装置30的再现控制部37使得例如显示部40能够显示可再现的运动图像数据的列表。此外，再现控制部37基于来自用户接口部33的操作信号，确定用户从显示在显示部40上的列表中指定的运动图像数据。此外，再现控制部37将所确定的运动图像数据设置为要再现的运动图像数据。此外，再现控制部37将关键帧通过数KFS设置成“KFS＝1”。然后，处理进行到步骤ST23。
注意，可再现的运动图像数据不限于存储在信息存储部32中的运动图像数据。例如，在与用于通过通信路径提供运动图像数据的提供目的地有关的信息(例如，URL(统一资源定位符)等)是明显的情况下，能够从提供目的地获取的运动图像数据可以包括在可再现运动图像数据中。此外，在选择能够从提供目的地获取的运动图像数据作为要再现的运动图像数据的情况下，再现控制部37控制信息获取部31以从提供目的地获取要再现的运动图像数据并且控制信息存储部分32以存储该运动图像数据。
在步骤ST23中，再现装置获取图像相关信息。在与要再现的运动图像数据相关联的图像相关信息未存储在信息存储部32中的情况下，再现装置30的再现控制部37控制信息获取部31以获取与运动图像数据相关联的图像相关信息。信息获取部31使得信息存储部32能够存储所获取的图像相关信息。然后，处理进行到步骤ST24。
在步骤ST24中，再现装置确定是否执行了快进操作。如果再现装置30的再现控制部37基于来自用户接口部33的操作信号确定没有执行快进操作，则处理进行到步骤ST25。否则，如果再现控制部37确定执行了快进操作，则处理进行到步骤ST26。
在步骤ST25中，再现装置30获取运动图像数据。再现装置30的再现控制部37获取运动图像数据，使得可以在由存储在再现位置管理部35中的再现位置信息指示的帧中显示下一帧的图像。此外，再现控制部37将所获取的运动图像数据输出至解码处理部38。然后，处理进行到步骤ST30。
在步骤ST26中，再现装置获取关注位置检测结果。再现装置30的再现控制部37从关注位置检测部34获取关注位置检测结果。然后，处理进行到步骤ST27。注意，可以在执行了快进操作的情况下执行关注位置的检测，并且还可以不管快进操作如何始终执行关注位置的检测。如下所述，例如，在诸如头戴式显示器的显示部上显示来自通过捕获完整天球(full celestial sphere)获得的图像的区域的一部分中的图像，并且要根据头部方向显示的图像的区域移动。在这种情况下，无论是否存在快进操作，均检测关注位置，并且显示关注位置方向上的图像。因此，在始终执行关注位置的检测的情况下，再现装置30获取在执行快进操作时的关注位置检测结果。
在步骤ST27中，再现装置获取重要度。再现装置30的再现控制部37基于图像相关信息从其中执行关注位置的检测的图像的区域重要度信息获取与由关注位置检测结果指示的关注位置对应的虚拟划分区域的重要度。然后，处理进行到步骤ST28。
在步骤ST28中，再现装置根据重要度执行关键帧图像数据的获取控制。再现装置30的再现控制部37执行图20所示的流程图的操作并且根据重要度获取关键帧图像数据。
在步骤ST281中，再现控制部确定所获取的重要度是否是“3”。如果再现控制部37确定所获取的重要度是“3”，则处理进行到步骤ST282。否则，如果再现控制部37确定所获取的重要度不是“3”，则处理进行到步骤ST283。
在步骤ST282中，再现控制部确定关键帧通过数KFS是否等于或大于帧间隔“THS”。如果再现控制部37确定关键帧通过数KFS等于或大于帧间隔“THS”，处理进行到步骤ST286。否则，如果再现控制部37确定关键帧通过数KFS小于帧间隔“THS”，则处理进行到步骤ST288。
当处理从步骤ST281进行到步骤ST283时，再现控制部确定所获取的重要度是否是“2”。如果再现控制部37确定所获取的重要度是“2”，则处理进行到步骤ST284。否则，如果再现控制部37确定所获取的重要度不是“2”，则处理进行到步骤ST285。
在步骤ST284中，再现控制部确定关键帧通过数KFS是否等于或大于关键帧再现间隔“THM”。如果再现控制部37确定关键帧通过数KFS等于或大于帧间隔“THM”，则处理进行到步骤ST286。否则，如果再现控制部37确定关键帧通过数KFS小于帧间隔“THM”，则处理进行到步骤ST288。
当处理从步骤ST283进行到步骤ST285时，再现控制部确定关键帧通过数KFS是否等于帧间隔“THL”。如果再现控制部37确定关键帧通过数KFS等于帧间隔“THL”，则处理进行到步骤ST286。否则，如果再现控制部37确定关键帧通过数KFS与帧间隔“THL”不同，则处理进行到步骤ST288。
在步骤ST286中，再现控制部获取下一个关键帧图像数据。再现控制部37从信息存储部32获取具有根据重要度的关键帧再现间隔的下一个关键帧图像数据。然后，处理进行到步骤ST287。
在步骤ST287中，再现控制部将关键帧通过数KFS设置为“KFS＝1”。然后，处理进行到图20所示的步骤ST289。
在步骤ST288中，再现控制部将关键帧通过数KFS更新为“KFS＝KFS+1”。然后，处理进行到步骤ST289。
在步骤ST289中，再现控制部更新再现位置信息。每次执行步骤ST28的处理时，将作为数据读出的候选的关键帧的位置更新为时间方向。因此，再现控制部37使得再现位置管理部35能够存储根据更新的关键帧的位置的再现位置信息。然后，处理进行到图19所示的步骤ST29。
图21示出了与关注位置对应的虚拟划分区域的重要度和其中获取图像数据的关键帧之间的关系。注意，图21示出了“THL＝3、THM＝2并且THS＝1”的情况。在重要度为“3”的情况下，当关键帧通过数KFS是“KFS＝1”时，获取关键帧图像数据。即，在再现装置中，按顺序获取关键帧KF1至KF10的数据。此外，在重要度为“2”的情况下，当关键帧通过数KFS是“KFS＝2”时，获取关键帧图像数据。即，在再现装置中，执行以一个关键帧的间隔获取关键帧图像数据的处理。例如，按顺序获取关键帧KF1、KF3、KF5、KF7和KF9的数据。此外，在重要度为“1”的情况下，当关键帧通过数KFS是“KFS＝3”时，获取关键帧图像数据。即，在再现装置中，执行以两个关键帧的间隔获取关键帧图像数据的处理。例如，按顺序获取关键帧KF1、KF4、KF7和KF10的数据。
图22示出了根据重要度的关键帧图像数据的获取操作。图22(a)按时间顺序示出了区域“A”、“B”和“C”中的每个帧的重要度。此外，图22(a)示出了关键帧通过数KFS和先前解码的帧号。图22(b)是关键帧表并且示出了关键帧的帧号。注意，关键帧表可以如图22(c)所示的那样指示关键帧的时间码。
在再现装置中，例如，假设在再现帧号“15”时执行快进操作。在这种情况下，在再现装置中，当关注位置是区域“A”时，区域“A”的重要度是“1”。因此，再现装置基于关键帧表使具有帧号“30”和“60”的关键帧图像数据稀疏并且获取具有帧号“90”的关键帧图像数据。
此外，在再现装置中，当关注位置是区域“B”时，区域“B”的重要度是“2”。因此，再现装置使具有帧号“30”的关键帧图像数据稀疏并且获取具有帧号“60”的关键帧图像数据。此外，在再现装置中，如果帧号是“30”并且关注位置是区域“C”，则区域“C”的重要度是“3”。因此，再现装置获取作为在时间通过方向上最近的关键帧的具有帧号“30”的关键帧图像数据。
此外，再现装置根据关键帧的位置的更新来更新再现位置信息。当关键帧通过数KFS例如是“KFS＝2”时，再现装置存储帧号“30”作为再现位置信息。当关键帧通过数KFS例如是“KFS＝3”时，再现装置存储帧号“60”作为再现位置信息。如上所述，通过更新再现位置信息，即使快进操作在获取下一个关键帧图像数据之前结束，再现装置也使得再现位置能够前进。例如，当快进操作在获取具有帧号“90”的关键帧图像数据之前结束时，再现装置使得能够从与帧号“15”相比时间前进的帧号“30”或帧号“60”的下一帧起以普通速度开始再现操作。
在步骤ST29中，再现装置确定是否已经获取了关键帧图像数据。在步骤ST28中获取关键帧图像数据的情况下，再现装置30的再现控制部37将获取的数据输出至解码处理部38。此外，再现控制部37使得再现位置管理部35能够存储与要由解码处理部38处理的数据有关的再现位置信息。然后，处理进行到步骤ST30。如图22(a)所示，例如，在当再现帧号“15”时执行快进操作时关注位置是区域“A”的情况下，再现控制部37使得再现位置管理部35能够存储所获取数据的帧号“90”作为再现位置信息。否则，如果再现控制部37尚未获取关键帧图像数据，则处理返回到步骤ST24。
在步骤ST30中，再现装置30执行解码处理。再现装置30的解码处理部38对在步骤ST25中获取的运动图像数据或在步骤ST28中获取的关键帧图像数据执行解码处理。此外，解码处理部38输出再现图像的一个帧的图像数据。然后，处理进行到步骤ST31。
在步骤ST31中，再现装置确定再现是否结束。再现装置30的再现控制部37确定是由用户接口部33执行再现结束操作还是执行运动图像数据的再现直到结束。如果再现控制部37确定直到结束都没有执行再现结束操作和运动图像数据的再现，则处理返回到步骤ST24。否则，如果再现控制部37确定执行了再现结束操作或者执行运动图像数据的再现直到结束，则再现操作结束。
如果在执行快进操作的情况下执行如上所述的这样的处理，例如，可以根据用户关注的虚拟划分区域的重要度来改变快进速度。因此，在仅显示由运动图像数据指示的图像的一部分的情况下，例如，如图23所示，在与通过捕获完整天球获得的图像GP相比诸如头戴式显示器的显示部中的显示尺寸较小并且显示区域DS根据头部方向移动的情况下，即使不通过使用遥控装置等执行快进速度的切换操作，头部方向移动到具有低重要度的虚拟划分区域，由此可以以快的速度再现与头部方向对应的显示区域中的图像。此外，头部方向移动到具有高重要度的区域，由此可以以低于头部指向具有低重要度的区域的情况下的速度的速度再现与头部方向对应的显示区域中的图像。
此外，在检测到视线方向的情况下，视线移动到具有低重要度的区域，由此使得快进速度高。相比之下，视线移动到具有高重要度的区域，由此与视线移动到具有低重要度的区域的情况相比使得快进速度较低。
注意，不仅在显示部上仅显示图像的一部分的情况下，而且在显示部上显示整个图像的情况下，都可以显示运动图像数据的图像。此外，每个重要度的帧间隔可以被预先设置，或可以由用户设置或改变。此外，当可以改变作为再现候选的关键帧的间隔时，可以根据每个重要度共同地改变再现速度。此外，当在反向时间方向上执行关键帧的再现时，可以根据关注位置的重要度改变倒带操作的速度。
如上所述，在再现装置中，基于与运动图像数据相关联的图像相关信息，根据与关注位置对应的虚拟划分区域的重要度来控制再现操作。因此，移动头部方向或视线方向，由此可以容易地执行适当的再现操作。
<5.再现装置的其他操作>
接下来，将描述再现装置的其他操作。再现装置可以根据与关注位置对应的虚拟划分区域的重要度来控制解码处理。例如，在具有高重要度的区域中执行解码处理，并且在重要度低的情况下，执行部分解码处理。可替选地，在重要度低的情况下，可以不执行解码处理。再现装置根据重要度来控制解码处理，从而有效地执行解码处理。
在部分解码处理中，可以在区域的一部分中执行解码处理。可替选地，可以通过简化解码处理来生成具有低分辨率的再现图像。例如，在JPEG 2000等的编码系统中，图像被划分成图块(tile)，并且在每个图块中执行编码处理。此外，在每个图块的编码处理中，通过小波变换执行子带划分。因此，再现装置例如基于关注位置执行图块的选择并且对所选择的图块执行解码处理。此外，选择性地使用子带的一部分，从而简化解码处理。执行这样的部分解码处理，从而可以在再现装置中减轻解码处理所需的负荷。
此外，在再现装置中使用的图像相关信息中，指示了分配给每个图像中的虚拟划分区域的重要度。因此，当信息显示区域被设置为具有低重要度的虚拟划分区域并且例如诸如与运动图像数据有关的补充信息、菜单、GUI或广告的图像的各种信息叠加在运动图像数据的图像上以进行显示时，再现控制部可以防止隐藏具有高重要度的图像。此外，当信息显示区域被设置为具有高重要度的虚拟划分区域时，可以使针对在信息显示区域中显示的信息的关注度高，并且例如，可以有效地执行广告等。
此外，在区域对象信息包括在图像相关信息中的情况下，再现控制部可以显示如图24所示的GUI图像，其中，时间、虚拟划分区域和包括在虚拟划分区域中的区域对象信息被制成表格。此外，再现控制部可以根据用户对显示时间和虚拟划分区域的选择结果来控制运动图像数据的再现操作。例如，再现控制部再现运动图像数据，其中，由用户选择的时间和虚拟划分区域的图像被设置到预定位置(例如，前面位置)。当执行这样的再现操作时，可以从用户期望的时间将用户期望的对象设置到预定位置，并且可以执行再现操作。此外，在用户的关注位置和所选择的虚拟划分区域的位置彼此不同的情况下，可以相对于关注位置呈现所选择的虚拟划分区域中的位置。例如，再现控制部形成导航显示，例如指示所选择的虚拟划分区域所位于的方向的箭头。形成这样的导航显示，并且用户基于导航显示移动关注位置，从而观看所选择的虚拟划分区域的图像。
此外，在区域对象信息包括在图像相关信息中的情况下，再现控制部可以确定与由关注位置检测部检测到的关注位置对应的虚拟划分区域。此外，再现控制部可以显示指示包括在所确定的虚拟划分区域中的对象的区域对象信息。例如，在如图24所示的那样包括区域对象信息的情况下，在用户在再现时间码“00:30:00:00”的图像时的关注位置是划分区域ID“B”的虚拟划分区域的情况下，显示与“演员C”有关的信息。注意，区域对象信息可以叠加在基于运动图像数据的再现图像上以进行显示，或者可以显示在与再现图像的显示区域不同的显示区域中。
此外，再现控制部可以基于区域对象信息确定包括期望对象的虚拟划分区域。此外，再现控制部可以基于确定结果控制运动图像数据的再现操作。例如，再现控制部选择包括由用户选择的对象的虚拟划分区域。此外，再现控制部根据分配给所选择的虚拟划分区域的重要度来设置特定再现操作的再现速度。在这种情况下，再现装置可以再现运动图像数据，其中，包括由用户选择的对象的虚拟划分区域中的显示图像被设置到预定位置。此外，在用户的关注位置与所选择的虚拟划分区域中的位置彼此不同的情况下，再现装置可以如上所述的那样相对于关注位置呈现所选择的虚拟划分区域中的位置。当执行这样的再现操作时，可以在特定再现操作时显示由用户选择的对象。此外，可以根据包括由用户选择的对象的虚拟划分区域的重要度来控制特定再现操作时的再现速度。
此外，再现装置存储与再现操作时的用户的关注位置对应的虚拟划分区域的时间转变和操作历史作为再现操作历史。此外，再现装置显示再现操作历史以及图像相关信息。如上所述，例如，当再现操作历史与图像相关信息一起显示时，用户可以容易地确定关注哪种对象以执行再现。图25示出了将再现操作历史叠加在图像相关信息上以进行显示的情况。用户从时间t1到时间t4执行再现操作，其中，划分区域ID为“C”的虚拟划分区域被设置为关注位置。然后，用户执行快进操作，其中，划分区域ID为“E”的虚拟划分区域被设置为关注位置。此外，用户以普通速度执行再现操作，其中，在时间t6处划分区域ID为“A”的虚拟划分区域被设置为关注位置。此外，用户结束再现操作，其中，在时间t10处划分区域ID为“C”的虚拟划分区域被设置为关注位置。注意，在时间t7处执行临时停止操作。如上所述，显然在图25的情况下，当再现操作历史与图像相关信息一起显示时，用户执行再现操作，使得显示“演员B”的图像。
此外，再现装置存储再现操作历史以便重新使用，由此再现过去的再现操作。此外，在通过使用再现操作历史再现过去的再现操作的情况下，如果控制与关注位置对应的虚拟划分区域中的图像以在预定位置处显示，则再现操作中的显示位置可以被控制，使得期望的对象存在于预定位置。例如，在使用图25所示的再现操作历史的情况下，可以执行再现操作，使得包括“演员B”的虚拟划分区域中的图像存在于前面位置。
在说明书中描述的一系列处理可以通过硬件、软件或其组合来实现。在通过软件执行一系列处理的情况下，可以通过将记录有处理序列的程序安装到内置于专用硬件中的计算机中的存储器来执行该程序。可替选地，可以通过将程序安装到能够执行各种处理任务的通用计算机来执行程序。
该程序可以预先记录在例如作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。可替选地，程序可以被临时或永久存储(记录)在诸如软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能光盘)、BD(蓝光盘(注册商标))、磁盘或半导体存储卡的可移除记录介质中。可以将这样的可移除记录介质设置为所谓的软件包。
此外，程序可以从可移除记录介质安装到计算机，并且另外，程序可以通过诸如LAN(局域网)或因特网的网络无线地或有线地从下载站点传送到计算机。计算机可以接收如上所述的那样传送的程序并且将程序安装在诸如内置硬盘的记录介质中。
应当注意，在本说明书中描述的效果仅是说明性的而非限制性的，并且可能存在在本说明书中未描述的附加效果。此外，本技术不应被解释为对上述技术的实施方式的限制。本技术的实施方式以说明的形式公开了本技术，并且明显的是，本领域的技术人员可以在不背离本技术的主旨的情况下对实施方式进行修改和替换。即，为了确定本技术的主旨，应该查看权利要求书。
此外，根据本技术的再现装置可以具有以下配置。
(1)
一种再现装置，包括：
关注位置检测部，其被配置成检测用户对运动图像数据的再现图像的关注位置；以及
再现控制部，其被配置成基于与所述运动图像数据相关联的指示所述再现图像被虚拟地划分成的虚拟划分区域的位置和重要度的图像相关信息，来确定与由所述关注位置检测部检测到的关注位置相对应的所述虚拟划分区域的重要度，并且根据所确定的重要度来控制所述运动图像数据的再现操作。
(2)
根据上述(1)所述的再现装置，其中，
所述图像相关信息通过使用与所述再现图像有关的时间信息来按时间指示所述虚拟划分区域的位置和重要度，并且
所述再现控制部通过使用所述时间信息根据所确定的重要度来设置下一个再现图像。
(3)
根据上述(2)所述的再现装置，其中，
所述再现控制部设置所述下一个再现图像，使得随着所述重要度变低，存在更多的在所述再现操作中被稀疏的图像。
(4)
根据上述(1)所述的再现装置，其中，
所述运动图像数据是编码数据，并且
所述再现控制部根据所述重要度来控制所述运动图像数据的解码处理。
(5)
根据上述(1)至(4)中任一项所述的再现装置，其中，
所述再现控制部将信息显示区域设置成与具有低重要度的虚拟划分区域对应的图像显示区域。
(6)
根据上述(1)至(5)中任一项所述的再现装置，其中，
所述图像相关信息通过使用与所述再现图像有关的时间信息来按时间指示所述虚拟划分区域的位置和重要度以及与包括在所述虚拟划分区域中的对象有关的区域对象信息，并且
所述再现控制部基于所述图像相关信息将时间、对象和虚拟划分区域相关联地显示在显示部上，并且根据用户对时间和虚拟划分区域的选择结果来控制所述运动图像数据的再现操作。
(7)
根据上述(1)至(6)中任一项所述的再现装置，其中，
所述图像相关信息包括与包括在所述虚拟划分区域中的对象有关的区域对象信息，并且
所述再现控制部确定与由所述关注位置检测部检测到的关注位置对应的所述虚拟划分区域，并且显示指示包括在所确定的所述虚拟划分区域中的对象的区域对象信息。
(8)
根据上述(1)至(6)中任一项所述的再现装置，其中，
所述图像相关信息包括与包括在所述虚拟划分区域中的对象有关的区域对象信息，并且
所述再现控制部基于所述区域对象信息来确定包括期望对象的所述虚拟划分区域，并且基于确定结果来控制所述运动图像数据的再现操作。
(9)
根据上述(8)所述的再现装置，其中，
在包括所述期望对象的虚拟划分区域和与所述关注位置对应的虚拟划分区域彼此不同的情况下，所述再现控制部呈现包括所述期望对象的虚拟划分区域的位置。
(10)
根据上述(1)至(9)中任一项所述的再现装置，其中，
所述再现控制部使得显示部能够显示所述运动图像数据的再现操作历史以及所述图像相关信息。
(11)
根据上述(1)至(10)中任一项所述的再现装置，其中，
所述再现控制部可重复使用地存储所述运动图像数据的再现操作历史，并且在基于所述再现操作历史再现所述运动图像数据的情况下，在所述再现图像中将与所述关注位置对应的虚拟划分区域设置到预定位置。
(12)
根据上述(1)至(11)中任一项所述的再现装置，其中，
所述关注位置检测部包括传感器，所述传感器检测观看所述再现图像的用户的头部方向或视线方向，并且所述关注位置检测部将基于所述传感器的检测结果所确定的相对于所述再现图像的所述头部方向或所述视线方向的位置设定成所述关注位置。
此外，根据本技术的信息生成装置可以具有以下配置。
(1)
一种信息生成装置，包括：
图像相关信息生成部，其被配置成对运动图像数据的图像被虚拟地划分成的每个虚拟划分区域设置重要度，并且与所述运动图像数据相关联地生成指示所述图像中的所述虚拟划分区域的位置和重要度的图像相关信息。
(2)
根据上述(1)所述的信息生成装置，其中，
所述图像相关信息生成部生成所述图像相关信息，以使得通过使用添加到所述图像的时间信息来按时间指示所述虚拟划分区域的位置和重要度。
(3)
根据上述(2)所述的信息生成装置，其中，
所述图像相关信息生成部基于对所述虚拟划分区域设置的图像处理的处理结果来设置重要度。
(4)
根据上述(3)所述的信息生成装置，其中，
所述图像相关信息生成部在对所述虚拟划分区域设置多个图像处理的情况下，基于所述多个图像处理的处理结果来设置重要度。
(5)
根据上述(1)至(4)中任一项所述的信息生成装置，其中，
所述图像相关信息生成部将与包括在所述虚拟划分区域中的对象有关的区域对象信息包括在所述图像相关信息中。
(6)
根据(1)至(5)中任一项所述的信息生成装置，其中
所述图像相关信息生成部通过使用所述图像来执行特定区域识别处理并且基于识别处理结果虚拟地划分所述图像。
工业应用
根据本技术的再现装置、再现方法、信息生成装置和信息生成方法，通过使用关注位置检测部来检测用户对运动图像数据的再现图像的关注位置。此外，通过使用再现控制部，基于与运动图像数据相关联的指示再现图像被虚拟地划分成的虚拟划分区域的位置和重要度的图像相关信息，确定与由关注位置检测部检测到的关注位置相对应的虚拟划分区域的重要度，并且根据所确定的重要度来控制运动图像数据的再现操作。因此，用户可以仅通过移动关注位置来控制再现操作并且容易地执行适当的再现操作。因此，本技术的再现装置适合于在佩戴在头部上的显示部上显示再现图像的再现装置、再现具有宽视角的运动图像的再现装置等。
附图标记列表
10…图像处理系统
20,20a…信息生成装置
21…划分区域设置部
22…划分区域信息存储部
23…重要度设置控制部
24…重要度划分区域设置控制部
25,25a…图像相关信息生成部
30…再现装置
31…信息获取部
32…信息存储部
33…用户接口部
34…关注位置检测部
35…再现位置管理部
36…操作设置信息存储部
37…再现控制部
38…解码处理部
39…信息显示处理部
40…显示部

Claims (18)

1.一种再现装置，包括：
关注位置检测部，其被配置成检测用户对运动图像数据的再现图像的关注位置；以及
再现控制部，其被配置成基于与所述运动图像数据相关联的指示所述再现图像被虚拟地划分成的虚拟划分区域的位置和重要度的图像相关信息，来确定与由所述关注位置检测部检测到的关注位置相对应的所述虚拟划分区域的重要度，并且根据所确定的重要度来控制所述运动图像数据的再现操作，
其中，所述图像相关信息是通过如下方式、与所述运动图像数据相关联地生成的：通过使用所述运动图像数据的图像来执行重要度划分区域定义信息所指示的特定区域识别处理并且基于识别处理结果虚拟地划分所述图像；以及基于所述识别处理结果和所述重要度划分区域定义信息所指示的重要度对所述图像被虚拟地划分成的每个虚拟划分区域设置重要度。
2.根据权利要求1所述的再现装置，其中，
所述图像相关信息通过使用与所述再现图像有关的时间信息来按时间指示所述虚拟划分区域的位置和重要度，并且
所述再现控制部通过使用所述时间信息根据所确定的重要度来设置下一个再现图像。
3.根据权利要求2所述的再现装置，其中，
所述再现控制部设置所述下一个再现图像，使得随着所述重要度变低，存在更多的在所述再现操作中被稀疏的图像。
4.根据权利要求1所述的再现装置，其中，
所述运动图像数据是编码数据，并且
所述再现控制部根据所述重要度来控制所述运动图像数据的解码处理。
5.根据权利要求1所述的再现装置，其中，
所述再现控制部将信息显示区域设置成与具有低重要度的虚拟划分区域对应的图像显示区域。
6.根据权利要求1所述的再现装置，其中，
所述图像相关信息通过使用与所述再现图像有关的时间信息来按时间指示所述虚拟划分区域的位置和重要度以及与包括在所述虚拟划分区域中的对象有关的区域对象信息，并且
所述再现控制部基于所述图像相关信息将时间、对象和虚拟划分区域相关联地显示在显示部上，并且根据用户对时间和虚拟划分区域的选择结果来控制所述运动图像数据的再现操作。
7.根据权利要求1所述的再现装置，其中，
所述图像相关信息包括与包括在所述虚拟划分区域中的对象有关的区域对象信息，并且
所述再现控制部确定与由所述关注位置检测部检测到的关注位置对应的所述虚拟划分区域，并且显示指示包括在所确定的所述虚拟划分区域中的对象的区域对象信息。
8.根据权利要求1所述的再现装置，其中，
所述图像相关信息包括与包括在所述虚拟划分区域中的对象有关的区域对象信息，并且
所述再现控制部基于所述区域对象信息来确定包括期望对象的所述虚拟划分区域，并且基于确定结果来控制所述运动图像数据的再现操作。
9.根据权利要求8所述的再现装置，其中，
在包括所述期望对象的虚拟划分区域和与所述关注位置对应的虚拟划分区域彼此不同的情况下，所述再现控制部呈现包括所述期望对象的虚拟划分区域的位置。
10.根据权利要求1所述的再现装置，其中，
所述再现控制部使得显示部能够显示所述运动图像数据的再现操作历史以及所述图像相关信息。
11.根据权利要求1所述的再现装置，其中，
所述再现控制部可重复使用地存储所述运动图像数据的再现操作历史，并且在基于所述再现操作历史再现所述运动图像数据的情况下，在所述再现图像中将与所述关注位置对应的虚拟划分区域设置到预定位置。
12.根据权利要求1所述的再现装置，其中，
所述关注位置检测部包括传感器，所述传感器检测观看所述再现图像的用户的头部方向或视线方向，并且所述关注位置检测部将基于所述传感器的检测结果所确定的相对于所述再现图像的所述头部方向或所述视线方向的位置设置为所述关注位置。
13.一种再现方法，包括：
通过使用关注位置检测部来检测用户对运动图像数据的再现图像的关注位置；以及
通过使用再现控制部，基于与所述运动图像数据相关联的指示所述再现图像被虚拟地划分成的虚拟划分区域的位置和所述虚拟划分区域的重要度的图像相关信息，来确定与通过使用所述关注位置检测部检测到的关注位置对应的所述虚拟划分区域的重要度，并且根据所确定的重要度来控制所述运动图像数据的再现操作，
其中，所述图像相关信息是通过如下方式、与所述运动图像数据相关联地生成的：通过使用所述运动图像数据的图像来执行重要度划分区域定义信息所指示的特定区域识别处理并且基于识别处理结果虚拟地划分所述图像；以及基于所述识别处理结果和所述重要度划分区域定义信息所指示的重要度对所述图像被虚拟地划分成的每个虚拟划分区域设置重要度。
14.一种信息生成装置，包括：
图像相关信息生成部，其被配置成通过使用运动图像数据的图像来执行重要度划分区域定义信息所指示的特定区域识别处理，基于识别处理结果虚拟地划分所述图像，基于所述识别处理结果和所述重要度划分区域定义信息所指示的重要度对所述图像被虚拟地划分成的每个虚拟划分区域设置重要度，并且与所述运动图像数据相关联地生成指示所述图像中的所述虚拟划分区域的位置和重要度的图像相关信息，
其中，所述重要度用于在所述运动图像数据的再现时、基于用户对所述运动图像数据的再现图像的关注位置来控制所述运动图像数据的再现操作，以及
其中，控制所述运动图像数据的再现操作包括：根据与所述关注位置对应的虚拟划分区域的重要度来控制所述运动图像数据的再现操作。
15.根据权利要求14所述的信息生成装置，其中，
所述图像相关信息生成部生成所述图像相关信息，以使得通过使用添加到所述图像的时间信息来按时间指示所述虚拟划分区域的位置和重要度。
16.根据权利要求15所述的信息生成装置，其中，
所述图像相关信息生成部在对所述虚拟划分区域设置多个图像处理的情况下基于所述多个图像处理的处理结果来设置重要度。
17.根据权利要求14所述的信息生成装置，其中，
所述图像相关信息生成部将与包括在所述虚拟划分区域中的对象有关的区域对象信息包括在所述图像相关信息中。
18.一种信息生成方法，包括：
通过使用图像相关信息生成部，通过使用运动图像数据的图像来执行重要度划分区域定义信息所指示的特定区域识别处理，基于识别处理结果虚拟地划分所述图像，基于所述识别处理结果和所述重要度划分区域定义信息所指示的重要度对所述图像被虚拟地划分成的每个虚拟划分区域设置重要度，并且与所述运动图像数据相关联地生成指示所述图像中的所述虚拟划分区域的位置和重要度的图像相关信息，
其中，所述重要度用于在所述运动图像数据的再现时、基于用户对所述运动图像数据的再现图像的关注位置来控制所述运动图像数据的再现操作，以及
其中，控制所述运动图像数据的再现操作包括：根据与所述关注位置对应的虚拟划分区域的重要度来控制所述运动图像数据的再现操作。
CN201780030632.4A 2016-05-24 2017-02-24 再现装置、再现方法、信息生成装置和信息生成方法 Active CN109155836B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-103314 2016-05-24
JP2016103314 2016-05-24
PCT/JP2017/007062 WO2017203768A1 (ja) 2016-05-24 2017-02-24 再生装置と再生方法および情報生成装置と情報生成方法

Publications (2)

Publication Number Publication Date
CN109155836A CN109155836A (zh) 2019-01-04
CN109155836B true CN109155836B (zh) 2021-11-05

Family

ID=60412873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780030632.4A Active CN109155836B (zh) 2016-05-24 2017-02-24 再现装置、再现方法、信息生成装置和信息生成方法

Country Status (6)

Country Link
US (1) US10930317B2 (zh)
JP (1) JP6882634B2 (zh)
KR (1) KR102592594B1 (zh)
CN (1) CN109155836B (zh)
DE (1) DE112017002665T5 (zh)
WO (1) WO2017203768A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP7140527B2 (ja) * 2018-03-30 2022-09-21 キヤノン株式会社 電子機器及びその制御方法
JP2020036261A (ja) * 2018-08-31 2020-03-05 シャープ株式会社 情報処理システムおよび操作履歴の確認方法
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039797A (ja) * 2009-08-11 2011-02-24 Sony Ericsson Mobile Communications Ab タイトル自動付加装置、タイトル自動付加方法、タイトル自動付加プログラム、及び携帯端末装置
CN102045566A (zh) * 2009-10-20 2011-05-04 佳能株式会社 图像处理装置及图像处理装置的控制方法
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
CN105578258A (zh) * 2015-12-11 2016-05-11 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115151B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
JP5142828B2 (ja) * 2008-05-29 2013-02-13 キヤノン株式会社 送信装置、送信方法及びプログラム
JP2010074617A (ja) 2008-09-19 2010-04-02 Toshiba Corp 映像記録再生装置
US9838744B2 (en) * 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
JP2011223097A (ja) * 2010-04-05 2011-11-04 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
US20140168277A1 (en) * 2011-05-10 2014-06-19 Cisco Technology Inc. Adaptive Presentation of Content
JP2013125191A (ja) * 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
US10152796B2 (en) * 2014-02-24 2018-12-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039797A (ja) * 2009-08-11 2011-02-24 Sony Ericsson Mobile Communications Ab タイトル自動付加装置、タイトル自動付加方法、タイトル自動付加プログラム、及び携帯端末装置
CN102045566A (zh) * 2009-10-20 2011-05-04 佳能株式会社 图像处理装置及图像处理装置的控制方法
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
CN105578258A (zh) * 2015-12-11 2016-05-11 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置

Also Published As

Publication number Publication date
US10930317B2 (en) 2021-02-23
KR102592594B1 (ko) 2023-10-24
JPWO2017203768A1 (ja) 2019-03-22
KR20190008858A (ko) 2019-01-25
WO2017203768A1 (ja) 2017-11-30
CN109155836A (zh) 2019-01-04
DE112017002665T5 (de) 2019-03-14
US20190139574A1 (en) 2019-05-09
JP6882634B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
CN109155836B (zh) 再现装置、再现方法、信息生成装置和信息生成方法
US11184558B1 (en) System for automatic video reframing
KR102126868B1 (ko) 영상 처리 장치 및 방법
CN105872452B (zh) 浏览摘要图像的系统及方法
US7853897B2 (en) Information processing apparatus and method, and program
JP4525558B2 (ja) 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
US9014537B2 (en) Information processing apparatus and method, and program
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
JP5370170B2 (ja) 要約映像生成装置および要約映像生成方法
JP2014096757A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2007241496A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2012151796A (ja) 画像処理装置と画像処理方法およびプログラム
WO2010113666A1 (ja) ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
JP2013162333A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20200349355A1 (en) Method for determining representative image of video, and electronic apparatus for processing the method
JP2019186689A (ja) 情報処理装置、システム、分析方法、コンピュータプログラム、及び記憶媒体
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
US20180350404A1 (en) Video splitter
JP2008203756A (ja) 映像信号処理装置、映像表示装置、映像信号処理方法
JP2017126899A (ja) 画像処理装置および画像処理方法
JP2008118232A (ja) 映像再生装置
JP2007166545A (ja) 動きベクトル検出装置及び方法
JP2010193026A (ja) 画像再生装置、画像再生方法およびプログラム
JP5082732B2 (ja) 映像処理装置、表示制御方法およびプログラム
JP2006352879A (ja) 映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant