CN110637458A - 信息处理装置、信息处理方法以及信息处理程序 - Google Patents

信息处理装置、信息处理方法以及信息处理程序 Download PDF

Info

Publication number
CN110637458A
CN110637458A CN201880031712.6A CN201880031712A CN110637458A CN 110637458 A CN110637458 A CN 110637458A CN 201880031712 A CN201880031712 A CN 201880031712A CN 110637458 A CN110637458 A CN 110637458A
Authority
CN
China
Prior art keywords
moving image
information processing
image
frame
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880031712.6A
Other languages
English (en)
Other versions
CN110637458B (zh
Inventor
卜部和孝
平中大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110637458A publication Critical patent/CN110637458A/zh
Application granted granted Critical
Publication of CN110637458B publication Critical patent/CN110637458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种信息处理装置在设置有显示单元的设备中操作，并使显示单元显示构成运动图像的多个特定帧图像，该运动图像的数据大小小于由与所述设置有显示单元的设备不同的另一设备捕获的运动图像的数据大小。

Description

信息处理装置、信息处理方法以及信息处理程序
技术领域
本发明涉及信息处理装置、信息处理方法以及信息处理程序。
背景技术
当前，许多用户编辑使用成像装置等拍摄的运动图像，以使该运动图像成为视频作品，上传该运动图像以用于互联网上的服务，并向朋友示出该运动图像。
通常在个人计算机、终端装置等中运行的运动图像编辑和再现程序用于这种运动图像编辑(专利文献1)。通常，在这种运动图像编辑程序的用户界面中，显示构成运动图像的所有连续的帧图像，并且通过滚动操作来搜索期望的场景。
引文列表
专利文件
专利文献1：日本专利申请特开No.2016-208444
发明内容
本发明要解决的问题
然而，在记录时间长的运动图像或相似场景连续的运动图像被编辑的情况下，存在这样的方法需要花费时间来搜索期望场景的问题。
鉴于这样的问题而设计了本技术，并且本技术的目的是提供能够容易且快速地在运动图像中搜索期望场景的信息处理装置、信息处理方法和信息处理程序。
问题的解决方案
实现上述目的的第一技术涉及一种信息处理装置，该信息处理装置在包括显示单元的装置中进行操作，并且使所述显示单元显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
此外，第二技术涉及一种信息处理方法，该信息处理方法包括：在包括显示单元的装置中的所述显示单元上显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
此外，第三技术涉及一种信息处理程序，该信息处理程序使计算机执行以下信息处理方法：在包括显示单元的装置中的所述显示单元上显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
发明的效果
根据本技术，可以容易且快速地在运动图像中搜索期望的场景。同时，本文描述的效果不一定是限制性的，并且可以包括说明书中描述的任何效果。
附图说明
图1是示出根据本技术的运动图像编辑系统的成像装置的配置的框图。
图2是示出运动图像编辑的概要的图。
图3是示出运动图像编辑系统的终端装置的配置的框图。
图4是示出用于运动图像编辑的用户界面的配置的图。
图5是示出所显示的帧图像之间的时间间隔的改变的图。
图6是示出所显示的帧图像之间的时间间隔的改变的图。
图7是示出入点和出点的指定的图。
图8是示出编辑列表的概要的图。
图9是示出使用终端装置的处理流程的流程图。
图10是示出第二实施例中的成像装置的配置的框图。
图11是示出第二实施例中的用于运动图像编辑的用户界面的配置的图。
图12是示出第三实施例中的用于运动图像编辑的用户界面的配置的图。
图13是示意性地表示手术室系统的整体配置的图。
图14是示出集中式操作面板的操作画面图像的显示示例的图。
图15是示出应用手术室系统的手术状态的示例的图。
图16是示出图15所示的相机头和相机控制单元(CCU)的功能配置的示例的框图。
图17是示出在手术室系统中捕获的运动图像的帧图像和元信息的显示模式的图。
图18是示出在手术室系统中捕获的运动图像的帧图像和元信息的显示模式的图。
图19是示出在手术室系统中捕获的多个运动图像的帧图像的显示模式的图。
图20是示出根据修改示例的用于运动图像编辑的用户界面的配置的图。
具体实施方式
在下文中，将参考附图描述本技术的实施例。同时，将按以下顺序给出描述。
<1.第一实施例>
[1-1.运动图像编辑系统的配置]
[1-2.运动图像编辑的用户界面配置]
<2.第二实施例>
[2-1.运动图像编辑系统的配置]
[2-2.运动图像编辑的用户界面配置]
<3.第三实施例>
[3-1.运动图像编辑系统的配置]
[3-2.运动图像编辑的用户界面配置]
<4.应用实例>
<5.修改示例>
<1.第一实施例>
[1-1.运动图像编辑系统的配置]
首先，将参照图1描述根据本实施例的运动图像编辑系统的配置。运动图像编辑系统包括成像装置100和终端装置200。在运动图像编辑系统中，首先，成像装置100捕获运动图像，并且作为具有小于运动图像(以下称为原始运动图像)数据的文件大小的运动图像数据的代理文件被发送到终端装置200。接下来，在终端装置200中显示构成由代理文件构成的运动图像(以下称为代理运动图像)的多个帧图像，并将其呈现给用户，并从用户接收运动图像编辑操作。此外，运动图像编辑操作的结果被发送到成像装置100，并且成像装置100执行运动图像编辑处理。
成像装置100包括控制单元101、成像光学系统102、透镜驱动驱动器103、成像元件104、图像信号处理单元105、存储器106、存储单元107、显示单元108、输入单元109、通信单元110、麦克风111、运动图像创建单元112和运动图像编辑单元113。
控制单元101包括中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)等。由CPU读取和操作的程序等被存储在ROM中。RAM用作CPU的工作存储器。CPU根据存储在ROM中的程序执行各种处理，并发出命令以控制整个成像装置100。
成像光学系统102包括用于将来自被摄体的光会聚到成像元件104中的成像透镜，用于移动成像透镜以执行聚焦和变焦的驱动机构、快门机构、光圈机构等。基于从成像装置100的主体的控制单元101和透镜驱动驱动器103接收的控制信号来驱动这些。通过成像光学系统102获得的被摄体的光图像形成在包括在成像装置100的主体中的成像元件104上。
包括例如微型计算机等的透镜驱动驱动器103在成像装置100的主体的控制单元101的控制下使成像透镜在光轴方向上移动预定量以执行自动聚焦以聚焦于目标被摄体。此外，在控制单元101的控制下控制成像光学系统102的驱动机构、快门机构、光圈机构等的操作。由此，执行曝光时间(快门速度)的调整和光圈值(F值)的调整等。
成像元件104对从被摄体入射的光进行光电转换，以将光转换成电荷量并输出像素信号。此外，成像元件104将像素信号输出到相机处理电路。作为成像元件104，使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等。
图像信号处理单元105通过对从成像元件104输出的成像信号的相关双采样(CDS)处理、自动增益控制(AGC)处理、模拟/数字(A/D)转换等来执行用以令人满意地保持信噪比(S/N)的样本保持，以创建图像信号。
此外，图像信号处理单元105可以对图像信号执行预定的信号处理，诸如去马赛克处理、白平衡调整处理、颜色校正处理、伽马校正处理、Y/C转换处理、自动曝光(AE)处理或分辨率转换处理。
存储器106是易失性存储器，例如，由动态随机存取存储器(DRAM)构成的缓冲存储器。存储器106临时存储已经由图像信号处理单元105执行了预定处理的图像数据。
存储单元107例如是诸如硬盘或SD存储卡的大容量存储介质。由成像装置100捕获的静止图像和运动图像被存储在存储单元107中。运动图像例如以诸如运动图像专家组2(MPEG2)或MPEG4的格式被存储。
显示单元108是由例如液晶显示器(LCD)、等离子显示面板(PDP)或有机电致发光(EL)面板等构成的显示装置。在显示单元108上显示成像装置100的用户界面、菜单屏幕、正在捕获的监视图像、存储在存储单元107中的捕获的图像和捕获的运动图像等。
输入单元109将成像指令、各种设置等输入到成像装置100的主体。当用户向输入单元109的执行对输入时，响应于该输入的控制信号被生成并且被输出到控制单元101。此外，控制单元101执行与控制信号相对应的算术处理并控制成像装置100。除了硬件按钮(诸如释放按钮、成像开始指示按钮、用于接通和断开电源的电源按钮以及用于变焦调节的操作器)之外，输入单元109的示例还包括与显示单元108整体形成的触摸面板。
通信单元110是用于成像装置100和终端装置200以发送和接收诸如代理文件和编辑列表的各种数据的通信模块。与终端装置200的通信可以是诸如通用串行总线(USB)通信的有线通信，或者诸如包括Wi-Fi、蓝牙或ZigBee的无线局域网(LAN)的无线通信。
麦克风111在捕获运动图像时收集声音，并将声音信号提供给控制单元101。
运动图像创建单元112将由图像信号处理单元105处理的一系列帧图像配置为运动图像，并将运动图像与声音数据相关联以创建原始运动图像。此外，将从原始运动图像创建代理文件。
运动图像创建单元112创建代理文件，使得该代理文件的文件大小小于原始运动图像数据的文件大小。减小代理文件的大小的方法包括减小原始运动图像的帧速率、减小比特率、减小分辨率、减小图像大小、稀疏帧图像等。在这些方法中，可以执行任何一种方法，或者可以通过这些方法的组合来减小代理文件的大小。
此外，可以根据运动图像的类型来选择减小代理文件的大小的方法。例如，当编辑通过记录电视节目获得的运动图像时，可以将分辨率降低到在仅需要区分演播室场景、中继场景以及商业广告的情况下不能区分被摄体人物的程度，从而可以进一步降低比特率。
当代理文件的大小大时，将代理文件从成像装置100发送到终端装置200花费很长时间，并且从成像终止到运动图像编辑开始的时间增加。通过减小代理文件的大小，可以减少代理文件从成像装置100到终端装置200的发送时间，并且可以减少从成像终止到运动图像编辑开始的时间。
此外，尽管稍后将描述细节，但是在根据本技术的用于运动图像编辑的用户界面中，一次在终端装置200的显示单元108上显示构成代理运动图像的多个帧图像。因此，代理文件的大小增加导致担心由于存储器用于显示的容量的压力而可能使显示延迟或者在显示中可能出现缺陷，因此优选地发送文件大小减小的代理文件。
运动图像编辑单元113接收从终端装置200发送的运动图像编辑操作的结果以执行运动图像编辑处理。如图2所示，运动图像编辑包括相对于构成运动图像的帧图像指定作为期望场景的起点的入点和作为终点的出点，并创建其中参照入点和出点仅将用户期望的场景彼此连接的运动图像。在本实施例中，终端装置200接收用户指定的入点和出点以创建入点和出点的列表(在下文中，称为编辑列表)，并且成像装置100参考编辑列表执行运动图像编辑处理。该编辑列表等效于权利要求中的编辑点信息。
运动图像创建单元112和运动图像编辑单元113由程序构成，并且该程序可以预先安装在成像装置100中，或者可以下载或分发在存储介质等上以由用户安装。通过执行程序，控制单元101可以起运动图像创建单元112和运动图像编辑单元113的作用。此外，运动图像创建单元112和运动图像编辑单元113不仅可以通过程序来实现，而且可以通过使用具有该功能的硬件的专用装置、电路等的组合来实现。
接下来，将参照图3描述构成运动图像编辑系统的终端装置200。终端装置200的示例包括个人计算机、平板终端、智能电话等。在本实施例中，假设终端装置200是包括触摸面板并且可以被用户的触摸操作使用的平板终端。
终端装置200包括控制单元201、存储单元202、通信单元203、解码单元204、存储器205、显示单元206、输入单元207和信息处理单元208。
控制单元201由CPU、RAM、ROM等构成。由CPU读取和操作的程序等被存储在ROM中。RAM用作CPU的工作存储器。CPU根据存储在ROM中的程序执行各种处理，并发出命令以控制整个终端装置200。
存储单元202例如是诸如硬盘或SD存储卡的大容量存储介质。通信单元203接收到的代理文件被存储在存储单元202中。
通信单元203是用于终端装置200和成像装置100发送和接收诸如代理文件和编辑列表的各种数据的通信模块。与终端装置200的通信可以是诸如USB通信的有线通信或者诸如包括Wi-Fi、蓝牙或ZigBee的无线LAN的无线通信。通过通信单元203中的通信将代理文件从成像装置100发送到终端装置200。
解码单元204对从成像装置100发送的代理文件进行解码以配置代理运动图像。构成由解码单元204解码的代理运动图像的帧图像和声音在存储器205中展开。
存储器205用作执行要由信息处理单元208执行的运动图像编辑处理的工作存储器。
显示单元206是由例如LCD、PDP、有机EL面板等构成的显示装置。在显示单元206上显示终端装置200的用户界面、菜单屏幕、用于根据本技术的运动图像编辑的用户界面等。
输入单元207接收诸如用于运动图像编辑的对终端装置200的用户操作和对用户界面的操作的输入。当用户对输入单元207执行输入时，生成与该输入相对应的控制信号，并将其输出到控制单元201和信息处理单元208。此外，控制单元201响应于该控制信号执行算术处理，并控制终端装置200。此外，信息处理单元208控制用于运动图像编辑的用户界面。输入单元207的示例包括与显示单元206一体地构成的触摸面板，用于使用手指追踪和操作未与显示单元206一体且被称为轨迹板或触摸面板的平板状传感器的指点装置、键盘、鼠标等。在本实施例中，输入单元207是与显示单元206一体构成的触摸面板。
在触摸面板中，可以检测到在作为操作面的屏幕上的多个位置处同时执行的每个操作，并且可以输出指示接触位置的信息。此外，在触摸面板中，还可以检测在操作面上反复执行的每个操作，并输出知识每个接触位置的信息。
从而，触摸面板从用户接收各种输入和操作，诸如所谓的轻敲操作、双击操作、长按操作、滑动操作、轻拂操作和捏合操作，并且可以检测到这些操作。
轻敲操作是使用户的手指等在短时间段内仅与操作面接触一次的输入操作。双击操作是使手指等以短时间间隔连续两次与操作面接触的输入操作。这些操作主要用于决策等的输入。长按操作是使用户的手指等与操作面接触并将接触状态保持预定时间段的输入操作。
划动操作也称为追踪操作，并且是在用户的手指等与操作面接触的同时移动手指等的输入操作。轻拂操作是用用户的手指等指示操作面上的一个点，然后在任何方向上快速轻拂它的输入操作。从而，例如，当在显示单元108上显示多个图像并且通过移动不在一个屏幕内的长内容的显示范围而观看所述多个图像时，可以切换并翻转图像。
捏合操作是首先使用户的两个手指等同时与操作面接触，然后张开两个手指等或闭合它们以捏合操作面的输入操作。例如，可以通过捏合操作执行用于放大或缩小指示在显示单元206上显示的区域的框的输入。同时，在捏合操作中，将与操作面接触的两个手指等张开的操作被称为拉大(pinch-out)操作，而将两个手指等闭合的操作称为捏小(pinch-in)操作。
当在用作输入单元207的触摸面板上执行输入时，指示接触位置的输入信息从输入单元207被提供给控制单元201和信息处理单元208。
信息处理单元208执行运动图像编辑应用，以执行在用于运动图像编辑的用户界面中显示帧图像的处理、与用户的输入相对应的处理等。稍后将描述信息处理单元208执行的处理的细节。信息处理单元208等同于权利要求中的信息处理装置。
信息处理单元208由程序构成，并且该程序可以预先安装在终端装置200中，或者可以下载或分发在存储介质等上以由用户安装。通过执行程序，控制单元201可以起信息处理单元208的作用。此外，信息处理单元208不仅可以通过程序来实现，而且可以通过使用具有该功能的硬件的专用装置、电路等的组合来实现。
如上所述配置构成运动图像编辑系统的成像装置100和终端装置200。
[1-2.运动图像编辑的用户界面配置]
接下来，将描述在终端装置200的显示单元206上显示的用于运动图像编辑的用户界面和用户的运动图像编辑操作。此处执行的运动图像编辑操作用于创建编辑列表，该编辑列表是作为场景的代理运动图像中的用户期望场景的起点的入点和作为终点的出点的列表。通过信息处理单元208执行用于运动图像编辑的用户界面的显示以及根据用户输入的用户界面的操作处理和改变处理。
首先，当成像装置100对运动图像的捕获终止时，运动图像创建单元112自动地或者响应于用户的指令来创建代理文件，并且通过通信单元110和通信单元203之间的通信将代理文件发送到终端装置200。
同时，在下面的描述中，假定终端装置200的输入单元207是与显示单元206一体地配置的触摸面板，并且通过使手指与触摸面板接触来执行用户的输入。
图4示出了根据第一实施例的用于运动图像编辑的用户界面。用户界面包括帧显示区域300、指示符301、滚动条302、滑块303和决定按钮304。
帧显示区域300显示构成代理运动图像的帧图像，并且被划分为垂直方向上三个区域乘以水平方向上四个区域的总共十二个区域。在帧显示区域300中，将左上端设置为开始位置，并且显示帧图像以按时间顺序前进到右上端，移动到左中端，前进到右中端，移动到左下端，然后前进到右下端。
同时，通过帧显示区域300的划分而获得的区域数目不限于十二，并且可以等于或大于或可以等于或小于十二，并且通过划分而获得的区域数目可以根据构成代理运动图像的帧图像的数量而改变。同时，在图4中，为了方便描述，在帧显示区域300中显示的每个帧图像下的措词“……分钟后的帧”并不表示这样的字符串未在帧显示区域300中显示，而是示出了所显示的帧图像的类型。
在构成代理运动图像的帧图像的数量等于或大于通过划分在一个屏幕上显示的帧显示区域300而获得的区域的数量的情况下(在图4的示例中，在帧图像的数量等于或大于十二的情况下)，指示符301被显示在显示单元206上的帧显示区域300的上方和下方。
指示符301指示除了当前在帧显示区域300中显示的帧图像之外，还有构成代理运动图像的帧图像。用户在触摸面板上执行划动操作或轻拂操作，因此可以在存在指示符301的方向上滚动帧显示区域300。由此，除了显示在帧显示区域300中的帧图像之外，还可以显示帧图像。
滚动条302显示在帧显示区域300的右侧，并且滑块303以重叠的方式显示在滚动条302上。滑块303的位置指示当前在帧显示区域300中显示的帧图像在整个运动图像中的位置。
滑块303在垂直方向上的宽度指示构成代理运动图像的所有帧图像以及显示范围中当前显示在帧显示区域300中的帧图像的比例和显示范围。在用户通过在触摸面板上执行划动操作或轻拂操作来滚动帧显示区域300的情况下，滑块303在与滚动方向相似的方向上移动。
决定按钮304是用于在用户终止所有入点和出点的指定的情况下指示用户将入点和出点注册为编辑列表的按钮。
在本实施例中，并非在帧显示区域300中按时间顺序显示构成代理运动图像的所有帧图像，并且以预定时间间隔提取的特定帧图像并排显示。
在图4A所示的帧显示区域300中显示的帧图像中，左上端的帧图像是当开始再现代理运动图像时的帧图像，并且在再现开始后10分钟要再现的帧图像、在再现开始后20分钟要再现的帧图像……和再现开始后110分钟要再现的帧图像并排显示。
当帧显示区域300从图4A所示的状态向下滚动时，该状态转变为图4B所示的状态，并且显示作为与在再现开始110分钟之后将要再现的帧图像连续的再现开始120分钟之后要再现的帧图像到再现开始150分钟之后将要再现的帧图像。在再现开始之后145分钟要再现的帧图像之后存在帧图像的情况下，通过进一步向下滚动帧显示区域300来显示帧图像。
当在图4B所示的状态下将帧显示区域300向上滚动时，图4A所示的状态被设置。
以此方式，在本实施例中，并非在帧显示区域300中显示构成代理运动图像的所有帧图像，并且仅显示特定帧图像。在图4所示的示例中，特定帧图像是从运动图像再现开始以固定时间间隔(10分钟)从构成代理运动图像的多个连续帧图像中提取的帧图像。
以这种方式，仅提取和显示特定帧图像而不显示构成代理运动图像的所有帧图像，因此，用户可以一眼或通过减少帧显示区域300的滚动操作的数量来容易地确定整个运动图像、场景过渡等的构成。此外，即使在长的运动图像中，也可以利用少量的滚动操作在运动图像中搜索期望的场景。
当显示构成代理运动图像的所有帧图像时，用户必须进行很多次滚动操作，以便确定整个运动图像和场景转换的构成并搜索期望的场景，从而导致时间的增加。该问题可以在本技术中解决。
可以通过用户的输入来改变在帧显示区域300中显示的帧图像之间的时间间隔。在这点上，将参考图5和图6给出描述。同时，在图5和图6中，为了便于描述，省略了在帧显示区域300中显示的帧图像中的被摄体，并且描述了从运动图像的再现开始经过的时间。
例如，考虑在运动图像的再现开始后50分钟要再现的帧图像附近存在期望由用户设置为入点的帧图像的情况。在这种情况下，用户需要检查从再现开始后40分钟要再现的帧图像到再现开始后50分钟要再现的帧图像的范围以及从再现开始后50分钟再现的帧图像到再现开始后60分钟再现的帧图像的范围中包括的帧图像。由于在图5A所示的状态下以10分钟的间隔显示帧图像，因此有必要以更短的时间间隔显示帧图像以便检查帧图像。
在这种情况下，如图5B和5C所示，当用户以在开始再现后50分钟要再现的帧图像为中心执行捏小操作时，要显示的帧图像之间的时间间隔如图6A所示改变。在捏小操作的情况下，在图6A中，将帧图像之间的时间间隔改变为减小，并且显示在再现开始后以5分钟的时间间隔(诸如25分钟、30分钟、35分钟……和80分钟)提取的帧图像。
同时，作为大致捏小操作的中心的在再现开始之后50分钟要再现的帧图像的显示位置被固定，并且其位置不变。
此外，当用户在捏小操作中加宽手指之间的间隔时，如图6B所示，帧图像之间的时间间隔进一步减小，并且显示在再现开始后以一分钟的时间间隔(诸如45分钟、46分钟、47分钟……和56分钟)提取的帧图像。同样在该状态下，作为大致捏小操作的中心的在再现开始之后50分钟要再现的帧图像的显示位置被固定，并且其位置不变。
此外，当用户在捏小操作中加宽手指之间的间隔时，如图6C所示，帧图像之间的时间间隔进一步减小，并且最终以时间序列显示所有帧图像的状态被设置。同样在该状态下，作为大致捏小操作的中心的在再现开始之后50分钟要再现的帧图像的显示位置被固定，并且其位置不变。
另一方面，相比之下，用户以要在再现开始之后50分钟再现的帧图像为大致中心来进行拉大操作，因此可以减小帧图像之间的时间间隔。在图6C所示的状态下，以再现开始后50分钟要再现的帧图像为大致中心执行缩放操作导致图6B所示的状态，并且进一步地，减小拉大操作中手指之间的间隔导致过渡到图6A和5A所示的状态。同样在拉大操作的情况下，作为拉大操作的大致中心的在再现开始后50分钟要再现的帧图像的显示位置被固定，并且其位置不变。
智能电话或平板终端中的捏小操作通常是用于通过放大对象来确认详情/细节的操作，并且拉大操作通常是用于通过减小对象来确认整体/宽范围的操作。因此，可以通过根据捏小操作减小时间间隔直观地改变帧图像之间的时间间隔来确认代理运动图像的细节，并且根据拉大操作放大时间间隔来确认代理运动图像的整体/宽范围。从而，可以容易地搜索要设置为入点或出点的期望帧图像。
同时，在以上描述中，帧图像之间的时间间隔根据捏小操作和拉大操作而变为10分钟、5分钟和1分钟。然而，这仅是示例，并且时间间隔的变化不限于这种变化幅度，并且可以具有任何变化幅度。此外，用户可能能够设置时间间隔的变化幅度。此外，不管在捏小操作和捏合操作中手指之间的间隔如何，当执行一次捏小操作或一次拉大操作时，帧图像之间的时间间隔可以以固定的变化幅度改变。
如上所述，在捏小操作和拉大操作中基本上位于手指的中心的用作时间间隔的改变的基准的帧图像(图5和图6中再现开始之后50分钟要再现的帧图像)的显示位置即使在时间间隔改变时也不会改变。因此，即使当改变帧图像之间的时间间隔时基准帧图像也不会消失，因此可以提高搜索用作入点或出点的帧图像的效率。
在用户搜索用作入点或出点的帧图像的情况下，用户执行用于将帧图像指定为入点或出点的输入操作。点击操作或双击操作优选作为用于指定的输入操作。当通过用户执行指定入点或出点的操作时，如图7A所示执行用于强调指定帧图像的显示，并且保持指定状态。强调显示可以是任何显示(诸如，如图7A所示的用粗框包围帧图像、使帧图像闪烁、突出显示帧图像或更改帧图像的颜色)，只要用户可以识别指定即可。
此外，接下来，在用户搜索用作入点或出点的另一帧图像的情况下，用户类似地执行用于指定帧图像的输入操作。当两个帧图像被指定时，如图7B所示，突出显示所指定的两个帧图像之间的所有帧图像，并且具有较早再现时间的帧图像用作入点，并且具有较晚再现时间的帧图像用作出点。以这种方式，根据入点和出点来指定用户的期望场景。
同时，可以根据使手指与用作入点的帧图像接触然后将手指跟踪到用作出点的帧图像的划动操作(跟踪操作)来执行入点和出点的指定。
用户执行这样的输入，直到指定了所有的入点和出点为止。再现开始之后120分钟要再现的帧图像在图7C中进一步指定为入点，并且再现开始之后130分钟要再现的帧图像在图7D中指定为出点。以这种方式，可以指定多个入点和出点，而不限制代理运动图像的入点和出点的数量。
同时，除了上述方法之外，作为指定入点和出点的方法，可以将首先指定的帧图像设置为入点，并且将接下来指定的帧图像设置为出点。此外，用户可以首先输入指定了入点或出点中的哪一个，然后执行用于指定帧图像的输入。
当用户指定了所有的入点和出点并且在确定按钮304上执行输入时，所有的入点和出点都被注册在编辑列表中。如图8A所示，作为编辑点信息的编辑列表是其中从由用户指定为入点和出点的帧图像再现开始起经过的时间被描述为列表的信息。同时，如图8B中所示，编辑列表可以由指示从再现开始起被设置为入点或出点的帧图像是哪个帧图像的数值构成。每次指定时，各个入点和出点都可以被注册在编辑列表中。编辑列表可以由任何信息构成，只要可以指定被指定为入点和出点的帧图像即可。
当所有入点和出点的指定终止并且创建了编辑列表时，终端装置200将编辑列表发送到成像装置100。已经接收到编辑列表的成像装置100参考编辑列表执行图2所示的移动图像编辑处理。此外，编辑的运动图像数据被存储在成像装置100的存储单元107中，并且被发送到除终端装置200之外的另一设备等和终端装置200。由于编辑的运动图像是通过由用户仅提取期望的场景并组合场景而获得的运动图像，因此运动图像的数据大小小于原始运动图像数据的数据大小。因此，与发送原始运动图像数据本身相比，可以在更短的时间内执行发送和各种处理。
图9是示出上述终端装置200中的处理流程的流程图。首先，在步骤S101中，在帧显示区域300中显示构成代理运动图像的帧图像。接着，在步骤S102中，确定用户是否已经执行了捏小操作。在用户已经执行了捏小操作的情况下，处理进入步骤S103(步骤S102中为“是”)。此外，在步骤S103中，如上所述，以减小帧图像之间的时间间隔的状态显示帧图像。
在步骤S102中未执行捏小操作的情况下，处理进入步骤S104(步骤S102中为“否”)。在步骤S104中，确定用户是否已经执行了拉大操作。在用户已经执行了拉大操作的情况下，处理进入步骤S105(步骤S104中为“是”)。此外，在步骤S105中，如上所述，以帧图像之间的时间间隔增加的状态显示帧图像。同时，步骤S102和步骤S104的顺序可以相反。
在步骤S104中用户未执行拉大操作的情况下，处理进入步骤S106(步骤S104中为“否”)，并且确定用户是否已经指定了入点和出点。在未输入入点和出点的情况下，重复步骤S102至步骤S106，直到指定了入点和出点为止(步骤S106中为“否”)。
在步骤S106中已经由用户指定了入点和出点的情况下，处理进入步骤S107(步骤S106中为“是”)，并且确定用户是否已经对决定按钮304进行了输入。在尚未对决定按钮304进行输入的情况下，重复步骤S102至步骤S106，直到执行了输入为止(步骤S107中为“否”)。
在用户已经对决定按钮304执行了输入的情况下，处理进入步骤S108(步骤S107中为“是”)，并且将入点和出点登记在编辑列表中。此外，在步骤S109中，将编辑列表从终端装置200发送到成像装置100。
以这种方式，具有减小的数据大小的代理文件被发送到用于用户的运动图像编辑工作的终端装置200，而无需发送和接收原始运动图像数据本身，因此可以减少数据的发送和接收所需的时间。由此，可以减少从运动图像捕获到运动图像编辑工作的时间。此外，由于仅将编辑列表从用于用户的运动图像编辑工作的终端装置200发送到执行运动图像编辑处理的成像装置100，因此还可以减少从运动图像编辑工作终止到运动图像编辑处理的时间。此外，即使在通信速度低的环境下，也可以在成像装置100和终端装置200之间执行运动图像编辑工作。
同时，例如，在帧显示区域300中显示构成代理运动图像的帧图像的状态下，对期望的帧图像执行长按操作，从而可以再现从期望的帧图像到下一帧图像的运动图像。可以对已经经过了长按操作的帧图像执行再现，或者可以执行到另一画面的转变，从而在该画面上执行再现。在运动图像的再现中，也可以同时再现声音。
<2.第二实施例>
[2-1.运动图像编辑系统的配置]
接下来，将描述本技术的第二实施例。图10是构成第二实施例中的运动图像编辑系统的成像装置400的框图。根据第二实施例的成像装置400与第一实施例的不同之处在于，成像装置包括元信息获取单元401。同时，除元信息获取单元401之外的组件与第一实施例中的组件相似，因此将省略其描述。
元信息获取单元401获取各种元信息并将所获取的信息提供给运动图像创建单元112。元信息的示例包括从再现开始起的经过时间、成像时间、被摄体识别信息、场景检测信息、成像位置信息、声音信息、标签信息等。
在元信息是经过时间或成像时间的情况下，元信息获取单元401具有时钟功能。在元信息是被摄体识别信息的情况下，元信息获取单元401具有已知的被摄体识别功能。在元信息是场景检测信息的情况下，元信息获取单元401具有已知的场景检测功能。在元信息是成像位置信息的情况下，元信息获取单元401具有诸如全球定位系统(GPS)的位置获取功能。在元信息是声音信息的情况下，元信息获取单元401对由麦克风111记录的声音执行预定的信号处理，以生成运动图像的声音。在元信息是标签信息的情况下，元信息获取单元401具有从用户接收标签的输入的功能。
从运动图像再现开始起经过的时间是指示在将开始运动图像的时间设置为“00:00”的情况下从运动图像开始起经过的时间的信息。成像时间是指示运动图像被捕获的时间的信息。被摄体识别信息包括作为使用已知的被摄体识别技术识别的运动图像中的被摄体的人物的位置信息、该人物的面部的位置信息、该人物的面部的朝向信息、该人物的面部的面部表情信息、瞳孔检测信息等。场景检测信息是指示基于运动图像中的颜色、直方图、亮度、被摄体的移动等检测到的运动图像中的场景的切换位置(改变点)的信息。成像位置信息包括指示捕获通过GPS获取的运动图像的位置的纬度和经度信息等。
同时，元信息不限于上述信息，并且可以是任何信息，只要元信息是与捕获的运动图像有关的信息即可。
接收到从元信息获取单元401提供的元信息的运动图像创建单元112将从元信息获取单元提供的元信息添加到原始运动图像文件和代理文件。
此外，在终端装置200中，解码单元204解码从成像装置400发送的代理文件以创建代理运动图像，并且在存储器205中开发构成由解码单元204解码的代理运动图像的帧图像、声音和元信息。
[2-2.用于运动图像编辑的用户界面的配置]
接下来，将参照图11描述第二实施例中的用于运动图像编辑的用户界面。在第二实施例中，除了帧图像之外，与帧图像相对应的元信息还显示在元信息显示区域305中。同时，指示符301、滚动条302、滑块303和决定按钮304与第一显示模式下的那些相同，因此将省略其描述。此外，第二实施例与第一实施例的相似之处还在于，运动图像创建单元112在成像装置100对运动图像的捕获终止之后创建代理文件，并且该代理文件被发送到终端装置200。
与第一模式相似，帧显示区域300被划分为垂直方向上三个区域乘以水平方向上四个区域总共十二个区域，并且在十二个区域的每个区域下方设置用于显示与帧图像相对应的元信息的元信息显示区域305。
在图11A的示例中，指示从代理运动图像的再现开始起的经过时间的经过时间信息被显示为元信息。经过时间信息被设置为用于搜索期望的帧图像的标记，因此可以容易地搜索用作入点或出点的期望的帧图像。基于元信息提取要在帧显示区域300中显示的帧图像，因此用户可以通过查看元信息从元信息中搜索期望的帧图像。
在图11B的示例中，被摄体识别信息和场景检测信息被显示为元信息。在图11B中，指示人物是否被成像、图像是在室内还是室外被捕获、时隙、以及图像是亮还是暗的信息被显示为场景检测信息。
在图11C的示例中，作为元信息，代理运动图像的声音被显示为波形。同时，类似于第一实施例，显示了以时间间隔提取的帧图像。但是，关于声音波形，包括与未显示的帧图像对应的声音波形在内，连续不中断地显示构成运动图像的所有声音波形。在每个帧图像下方显示的声音波形是与从帧图像到下一帧图像的场景相对应的声音。
同时，与在声音波形中显示的帧图像相对应的声音的位置由标记306指示。以这种方式显示声音波形，因此除了显示的帧图像外，还可以基于声音的变化来搜索期望的帧图像。
以这种方式，根据第二实施例，除了构成代理运动图像的帧图像之外，还与帧图像相关联地显示元信息，因此，用户可以在参考该元信息的同时执行运动图像编辑工作。
同时，可以在元信息显示区域305中显示多条元信息。例如，在元信息显示区域305中显示声音波形和从再现开始起的经过时间。
图11所示的元信息仅是示例，并且本技术不限于仅元信息的显示。
<3.第三实施例>
[3-1.运动图像编辑系统的配置]
接下来，将描述本技术的第三实施例。根据第三实施例的运动图像编辑系统包括多个成像装置100和一个终端装置200。相同的被摄体或不同的被摄体由多个成像装置100同时成像。同时，代理文件的创建、发送、接收等与第一实施例或第二实施例中的那些类似，因此将省略其描述。
[3-2.用于运动图像编辑的用户界面的配置]
接下来，将参照图12描述第三实施例中的用于运动图像编辑的用户界面。第三实施例与第一实施例的相似之处在于，在帧显示区域300中显示构成代理运动图像的帧图像中的特定帧图像。此外，第二实施例与第一实施例的相似之处还在于，运动图像创建单元112在成像装置100对运动图像的捕获终止之后创建代理文件，并且该代理文件被发送到终端装置200。
第三实施例与第一实施例的不同之处在于，构成由多个(在本示例中为三个)成像装置100同时捕获的每个运动图像的代理运动图像的帧图像被同时显示在显示单元206上。
图12所示的帧显示区域300被划分为垂直方向上三个区域乘以水平方向上四个区域总共十二个区域，并且上段(第一水平轴)是显示第一成像装置的代理运动图像的帧图像的第一成像装置区域。此外，中段(第二水平轴)是显示第二成像装置的代理运动图像的帧图像的第二成像装置区域，并且下段(第三水平轴)中的四个区域被配置为显示第三成像装置的代理运动图像的帧图像的第三成像装置区域。
帧显示区域300被配置为使得时间轴从左到右流动。因此，在显示单元206的右侧和左侧显示指示符301。同时，指示符301的功能类似于第一实施例中的功能。此外，在显示单元206下方显示滚动条302和滑块303。同时，滚动条302和滑块303的功能类似于第一实施例中的功能。因此，当用户在图12A所示的状态下通过在触摸面板上向右执行划动操作或轻拂操作来滚动帧显示区域300时，设置图12B所示的状态，并且显示新的帧图像(在再现开始后50分钟要再现的帧图像)。
与第一实施例类似，构成代理运动图像的所有帧图像没有按时间序列显示在帧显示区域300中，并且以预定时间间隔提取的特定帧图像并排显示。
在图12所示的帧显示区域300中，由第一成像装置获得的代理运动图像的帧图像以10分钟的间隔显示在设置在上段的第一成像装置区域中。此外，由第二成像装置获得的代理运动图像的帧图像以10分钟的间隔显示在设置在中段的第二成像装置区域中。此外，由第三成像装置获得的代理运动图像的帧图像以10分钟的间隔显示在设置在下段的第三成像装置区域中。
在帧显示区域300中，各第一至第四垂直轴的时间轴彼此重合。也就是说，在图12A所示的状态下，在第一垂直轴上显示由第一成像装置、第二成像装置和第三成像装置获得的在成像开始时的帧图像，并且在第二垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始之后的10分钟获得的帧图像。在第三垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始后20分钟获得的帧图像，并且在第四垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始后30分钟获得的帧图像。
在图12B所示的状态下，在第一垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始之后20分钟获得的帧图像，并且在第二垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始之后30分钟获得的帧图像。在第三垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始之后40分钟获得的帧图像，并且在第四垂直轴上显示由第一成像装置、第二成像装置和第三成像装置在成像开始之后50分钟获得的帧图像。
以这种方式，由不同成像装置同时捕获的帧图像被显示在同一时间轴上，因此可以容易地一眼就确定由不同成像装置同时捕获的多个帧图像。由此，可以提高编辑由多个成像装置捕获的运动图像的效率。此外，不必担心在运动图像编辑中运动图像的时间轴可能会偏离。
在第三实施例中，在指定了入点和出点的情况下，由另一成像装置100捕获并与由被指定为入点或出点的粗框包围的帧图像同时捕获的帧图像被显示为黑暗以向用户指示不能选择由另一成像装置捕获的帧图像，如图12C所示。从而，没有指定由不同的成像装置100同时捕获的帧图像。因此，编辑的运动图像的时间轴不会偏离，并且可以有效地指定入点和出点。
根据第三实施例，可以通过从由多个成像装置以不同角度捕获的多个运动图像中选择期望的场景来创建编辑的运动图像。此外，可以以与编辑由一个相机捕获的运动图像类似的方式来编辑由多个成像装置捕获的多个运动图像。此外，可以容易地从由多个成像装置捕获的多个运动图像中创建一个编辑的运动图像。
因此，配置了根据本技术的第一至第三实施例。根据本技术，具有减小的数据大小的代理文件被发送给由用户执行运动图像编辑工作的终端装置200，而无需发送和接收原始运动图像数据本身，因此可以减少数据发送和接收所需的时间。由此，可以减少从运动图像捕获到运动图像编辑工作的时间。
在不将构成代理运动图像的所有帧图像显示在终端装置200的显示单元206上的情况下，仅提取并显示特定的帧图像，因此，用户可以容易地一眼或通过减少帧显示区域300的滚动操作的数量来确定整个运动图像、场景过渡等的配置。此外，即使在长的运动图像中，也可以利用少量的滚动操作在运动图像中搜索近似的期望场景。
同时，图4、图5、图6、图7、图12所示的帧图像之间的时间间隔仅仅是为了描述方便而设置的示例，并且本技术不限于这种时间间隔。
本技术可以用于各种领域。第一使用模式是在网络环境不好的国家或地区中通过新闻报道进行记录的情况。在这种情况下，需要花费很长时间将所有原始记录的运动图像数据原样从成像地点发送到广播站。因此，可以通过使用本技术在成像地点执行运动图像编辑并将具有减小的文件大小的编辑的运动图像数据发送到广播站来减少从成像终止到广播所需的时间。
第二使用模式是律师希望仅获得运动图像的证据部分作为审判文件等的情况。在运动图像花费很长时间的情况下，律师将花费很长时间下载整个运动图像以进行编辑，并且用于下载的服务的成本也将增加。因此，律师通过使用本技术仅下载具有减小的文件大小的代理文件以仅指定必要的部分，并下载编辑的运动图像，因此可以减少下载时间和成本。
第三使用模式是与家人、朋友等一起捕获运动图像的情况。例如，在儿童的运动图像被捕获长时间的情况下，曾经被存储在个人计算机等中的运动图像可以不被编辑。因此，由于可以通过使用本技术在成像终止之后立即由终端装置200在现场进行编辑，因此可以更容易地进行运动图像编辑。
第四种使用模式是使用安装在自行车或摩托车的手柄上或冲浪板或滑雪板的尖端的可穿戴式相机进行成像，并且能够在移动的同时进行成像的情况。在这种成像中，即使在捕获的运动图像持续很长时间的情况下，在许多情况下决定性时刻也很少。因此，可以通过使用本技术在成像之后立即由终端装置200执行编辑，并且可以减少从记录终止到与朋友或熟人共享以及在SNS上上传的时间。
第五使用模式是编辑由行车记录仪捕获的运动图像和由监视相机捕获的运动图像的情况。这些运动图像在许多情况下具有长的记录时间，因此可以通过使用本技术有效地执行编辑。
<4.应用示例>
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于手术室系统。
图13是示意性地示出可以应用根据本公开的实施例的技术的手术室系统5100的总体配置的视图。参照图13，手术室系统5100被配置为使得安装在手术室中的一组设备被连接以通过视听(AV)控制器5107和手术室控制设备5109彼此协作。
在手术室中，可以安装各种设备。在图13中，作为示例，示出了用于内窥镜手术的各种设备组5101、天花板相机5187、手术场地相机5189、多个显示设备5103A至5103D、记录器5105、病床5183和照明装置5191。天花板相机5187设置在手术室的天花板上，并且对外科医生的手进行成像。手术场地相机5189设置在手术室的天花板上，并且对整个手术室的状态进行成像。
在此，在所述设备中，设备组5101属于后述的内窥镜手术系统5113，并且包括内窥镜、显示由内窥镜拾取的图像的显示设备等。属于内窥镜手术系统5113的各种设备也被称为医疗设备。同时，显示设备5103A至5103D、记录器5105、病床5183和照明装置5191是例如与内窥镜手术系统5113分开配备在手术室中的设备。不属于内窥镜手术系统5113的设备也被称为非医疗设备。视听控制器5107和/或手术室控制设备5109相互协作地控制医疗装备和非医疗装备的操作。
视听控制器5107整体地控制医疗装备和非医疗装备的与图像显示有关的处理。具体地，手术室系统5100中设置的设备中的设备组5101、天花板相机5187和手术场地相机5189中的每一个可以是具有发送在手术期间要显示的信息的功能的设备(以下将这些信息称为显示信息，并且以下将所述设备称为发送源的设备)。同时，显示设备5103A至5103D中的每一个可以是向其输出显示信息的设备(该设备在下文中也被称为输出目的地的设备)。此外，记录器5105可以是用作发送源的设备和输出目的地的设备两者的设备。视听控制器5107具有控制发送源的设备和输出目的地的设备的操作以从发送源的设备获取显示信息并将显示信息发送到输出目的地的设备以被显示或记录的功能。要注意的是，显示信息包括手术期间拾取的各种图像、与手术有关的各种信息(例如，患者的身体信息、过去的检查结果或与手术过程有关的信息)等。
具体地，可以将与由内窥镜成像的患者的体腔中的手术区域的图像有关的信息作为显示信息从设备组5101发送到视听控制器5107。此外，可以将与由天花板相机5187拾取的外科医生的手的图像有关的信息作为显示信息从吊顶相机5187发送。此外，可以将与手术场地相机5189拾取的图像有关并且示出整个手术室的状态的信息作为显示信息从手术场地相机5189发送。要注意的是，如果手术室系统5100中存在具有成像功能的不同设备，则视听控制器5107也可以从该不同设备获取与由该不同设备拾取的图像有关的信息作为显示信息。
可替代地，例如，在记录器5105中，由视听控制器5107记录与过去拾取的上述图像有关的信息。视听控制器5107可以从记录器5105获取与过去拾取的图像有关的信息作为显示信息。需要注意的是，与手术有关的各种信息也可以预先记录在记录器5105中。
视听控制器5107控制作为输出目的地的设备的显示设备5103A至5103D中的至少一个显示获取的显示信息(即，在手术期间拾取的图像或与手术有关的各种信息)。在所示的示例中，显示设备5103A是被安装为便于从手术室的天花板悬挂的显示设备；显示设备5103B是安装在手术室的壁面上的显示设备；显示设备5103C是安装在手术室的桌子上的显示设备；并且显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。
此外，尽管在图13中未示出，但是手术室系统5100可以包括手术室外部的设备。手术室外部的设备可以是例如连接到在医院内部和外部构造的网络的服务器、医务人员使用的PC、安装在医院会议室中的投影仪等。在这种外部设备位于医院外部的情况下，视听控制器5107也可以通过电话会议系统等使显示信息显示在不同医院的显示设备上以执行远程医疗。
手术室控制设备5109对与非医疗装备上的图像显示有关的处理以外的处理进行整体控制。例如，手术室控制设备5109控制病床5183、天花板相机5187、手术场地相机5189和照明装置5191的驱动。
在手术室系统5100中，设置有集中式操作面板5111，使得可以通过集中式操作面板5111向视听控制器5107发布关于图像显示的指令，或者向手术室控制设备5109发布关于非医疗装备的操作的指令。集中式操作面板5111通过在显示装置的显示面上设置触摸面板而配置。
图14是示出操作画面图像在集中式操作面板5111上的显示示例的视图。在图14中，作为示例，示出了与设置两个显示设备作为操作系统5100中的输出目的地的设备的情况相对应的操作画面图像。参照图14，操作画面图像5193包括发送源选择区域5195、预览区域5197和控制区域5201。
在发送源选择区域5195中，以相互关联的方式显示在手术室系统5100中设置的发送源设备和表示发送源设备具有的显示信息的缩略图画面图像。用户可以从在发送源选择区域5195中显示的任何发送源设备中选择要在显示设备上显示的显示信息。
在预览区域5197中，显示在作为输出目的地的设备的两个显示设备(监视器1和监视器2)上显示的画面图像的预览。在示出的示例中，关于一个显示设备，通过画中画(PinP)显示来显示四个图像。这四个图像对应于从在发送源选择区域5195中选择的发送源设备发送的显示信息。四个图像之一作为主图像以相对较大的尺寸显示，而其余三个图像作为子图像以相对较小的尺寸显示。用户可以通过从区域中显示的四个图像中适当选择图像之一来在主图像和子图像之间交换。此外，在显示四个图像的区域下方设置状态显示区域5199，并且可以在状态显示区域5199中适当地显示与手术有关的状态(例如，手术的经过时间、患者的身体信息等)。
在控制区域5201中设置有发送源操作区域5203和输出目的地操作区域5205。在发送源操作区域5203中，显示了用于对发送源的设备执行操作的图形用户界面(GUI)部件。在输出目的地操作区域5205中，显示用于对输出目的地的设备执行操作的GUI部件。在示出的示例中，在发送源操作区域5203中设置了用于对具有成像功能的发送源的设备中的相机执行各种操作(平移、倾斜和缩放)的GUI部件。用户可以通过适当地选择任何GUI部件来控制相机的操作。注意，尽管未示出，但是在发送源选择区域5195中选择的发送源的设备是记录器的情况下(即，在预览区域5197中显示过去记录在记录器中的图像的情况下)，可以在发送源操作区域5203中设置用于执行诸如图像的再现、再现的停止、倒带、快进等操作的GUI部件。
此外，在输出目的地操作区域5205中，设置用于对在作为输出目的地的设备的显示设备上的显示执行各种操作(交换、翻转、色彩调节、对比度调节以及在二维(2D)显示和三维(3D)显示之间的切换)的GUI部件。用户可以通过适当地选择任何GUI部件来操作显示设备的显示。
要注意的是，要显示在集中式操作面板5111上的操作画面图像不限于所示出的示例，并且用户可以能够经由集中式操作面板5111执行输入到可以由设置在手术室系统5100中的视听控制器5107和手术室控制装置5109控制的每个设备的操作。
图15是示出应用了上述手术室系统的手术状态的示例的图。天花板相机5187和手术场地相机5189被设置在手术室的天花板上，从而可以对给病床5183上的患者5185的患处进行治疗的外科医生(医生)5181的手和整个手术室进行成像。天花板相机5187和手术场地相机5189可以包括放大率调节功能、焦距调节功能、成像方向调节功能等。照明装置5191设置在手术室的天花板上，并且至少照射在外科医生5181的手上。照明装置5191可以被配置为使得可以适当地调节照射光量、照射光的波长(颜色)、光的照射方向等。
内窥镜手术系统5113、病床5183、天花板相机5187、手术场地相机5189和照明装置5191被连接为通过视听控制器5107和手术室控制装置5109(图15中未图示)相互协作，如图13所示。集中式操作面板5111设置在手术室中，并且用户可以如上所述通过集中式操作面板5111适当地操作存在于手术室中的设备。
在下文中，详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、在其上支撑内窥镜5115的支撑臂设备5141、以及其上安装有用于内窥镜手术的各种设备的推车5151。
在内窥镜手术中，代替切开腹壁以进行剖腹术，使用了多个称为套管针5139a至5139d的管状开孔装置刺穿腹壁。然后，通过套管针5139a至5139d将内窥镜5115的镜筒5117和其他手术工具5131插入患者5185的体腔中。在所示的示例中，作为其他手术工具5131，将气腹管5133、能量装置5135和钳子5137插入患者5185的体腔中。此外，能量装置5135是用于通过高频电流或超声波振动进行组织的切开和剥离、血管的密封等的治疗工具。然而，所示的手术工具5131完全仅仅是示例，并且作为手术工具5131，可以使用内窥镜手术中通常使用的各种手术工具，诸如镊子或牵开器。
由内窥镜5115拾取的患者5185的体腔中的手术区域的图像被显示在显示设备5155上。外科医生5181将在观察实时地显示在显示设备5155上的手术区域的图像的同时使用能量装置5135或钳子5137来执行诸如切除患病区域的处理。要注意的是，尽管未示出，但是在手术期间，由外科医生5181、助手等支撑气腹管5133、能量装置5135和钳子5137。
(支撑臂设备)
支撑臂设备5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括接合单元5147a、5147b和5147c以及连杆5149a和5149b，并且在臂控制设备5159的控制下被驱动。内窥镜5115由臂单元5145支撑，从而控制内窥镜5115的位置和姿势。因此，可以实现内窥镜5115的位置的稳定固定。
(内窥镜)
内窥镜5115包括：镜筒5117和相机头5119，其中镜筒5117具有从其远端起一定长度的区域以插入到患者5185的体腔中，并且相机头5119连接到镜筒5117的近端。在所示的示例中，内窥镜5115被示为具有硬性类型的镜筒5117的刚性内窥镜。然而，内窥镜5115可以此外配置为具有柔性类型的镜筒5117的柔性内窥镜。
镜筒5117在其远端具有安装有物镜的开口。光源设备5157连接到内窥镜5115，使得由光源设备5157生成的光通过在镜筒5117的内部延伸的导光件被引入到镜筒5117的远端并且通过物镜朝着患者5185的体腔中的观察目标施加。注意，内窥镜5115可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。
光学系统和成像元件被设置在相机头5119的内部，使得来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。观察光被成像元件光电转换以产生与观察光相对应的电信号，即，与观察图像相对应的图像信号。图像信号作为RAW数据发送到相机控制单元(CCU)5153。要注意的是，相机头5119具有内置的用于适当地驱动相机头5119的光学系统以调节放大率和焦距的功能。
要注意的是，为了建立与例如立体视觉(3D显示)的兼容性，可以在相机头5119上设置多个成像元件。在这种情况下，在镜筒5117的内部设置有多个中继光学系统，以便将观察光引导到多个相应的成像元件。
(推车中包含的各种设备)
CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜5115和显示设备5155的操作。具体地，CCU 5153对从相机头5119接收到的图像信号执行用于基于图像信号显示图像的各种图像处理，例如显影处理(去马赛克处理)。CCU 5153将已经对其进行了图像处理的图像信号提供给显示设备5155。此外，图13所示的视听控制器5107连接至CCU5153。CCU5153将已经对其进行了图像处理的图像信号提供给视听控制器5107。此外，CCU 5153向相机头5119发送控制信号以控制相机头5119的驱动。该控制信号可以包括关于成像条件(诸如放大率或焦距)的信息。关于成像条件的信息可以通过输入设备5161输入，或者可以通过上述集中式操作面板5111输入。
显示设备5155在CCU 5153的控制下基于已经由CCU 5153对其执行了图像处理的图像信号来显示图像。如果内窥镜5115准备好例如用于诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等的高分辨率成像和/或准备好进行3D显示，则通过其可以进行相应的高分辨率显示和/或3D显示的显示设备被用作显示设备5155。在设备准备好用于诸如4K或8K的高分辨率成像的情况下，如果用作显示设备5155的显示设备的尺寸不小于55英寸，则可以获得更身临其境的体验。此外，根据应用，还可以提供具有不同分辨率和/或不同尺寸的多个显示设备5155。
光源设备5157包括诸如发光二极管(LED)的光源，并且向内窥镜5115提供用于手术区域的成像的照射光。
臂控制设备5159例如包括诸如CPU的处理器，并且根据特定程序进行操作以根据某种控制方法来控制支撑臂设备5141的臂单元5145的驱动。
输入设备5161是用于内窥镜手术系统5113的输入接口。用户可以通过输入设备5161执行向内窥镜手术系统5113输入的各种信息或指令的输入。例如，用户将通过输入设备5161输入与手术有关的各种信息，诸如患者的身体信息、与手术的手术过程有关的信息等。此外，用户将通过输入装置5161输入例如驱动臂单元5145的指令、改变内窥镜5115的成像条件(照射光的类型、放大率、焦距等)的指令、驱动能量装置5135的指令等。
输入设备5161的类型不受限制，并且可以是各种已知输入设备中的任何一种。作为输入设备5161，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5171和/或操纵杆等。在触摸面板用作输入设备5161的情况下，可以将其设置在显示设备5155的显示面上。
输入设备5161此外是要安装在用户上的装置(例如眼镜型可穿戴装置或头戴式显示器(HMD))，并且响应于所述任何装置检测到的用户的手势或视线而执行各种输入。此外，输入设备5161包括可以检测用户的运动的相机，并且响应于从相机拾取的视频中检测到的用户的手势或视线来执行各种输入。此外，输入设备5161包括可以收集用户的语音的麦克风，并且经由麦克风通过语音执行各种输入。通过配置输入设备5161，使得可以以这种方式以非接触方式输入各种信息，尤其是属于清洁区域的用户(例如，外科医生5181)可以以非接触方式操作属于清洁区域的设备。此外，由于用户可以在不从其手上释放所拥有的手术工具的情况下操作设备，因此提高了用户的便利性。
治疗工具控制设备5163控制能量装置5135的驱动，以进行组织的烧灼或切开、血管的密封等。气腹设备5165通过气腹管5133将气体馈送到患者5185的体腔中以使体腔膨胀，从而确保内窥镜5115的视野并确保外科医生的工作空间。记录器5167是能够记录与手术有关的各种信息的设备。打印机5169是能够以诸如文本、图像或图形的各种形式来打印与手术有关的各种信息的设备。
在下文中，尤其更详细地描述内窥镜手术系统5113的特征配置。
(支撑臂设备)
支撑臂设备5141包括用作基座的基座单元5143和从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个接合单元5147a、5147b和5147c以及通过接合单元5147b彼此连接的多个连杆5149a和5149b。在图15中，为了简化图示，以简化形式图示了臂单元5145的配置。实际上，可以适当地设置接合单元5147a至5147c以及连杆5149a和5149b的形状、数量和布置以及接合单元5147a至5147c的旋转轴的方向等，以使得臂单元5145具有期望的自由度。例如，臂单元5145可以优选地被配置为使得其具有不小于6个自由度的自由度。这使得可以在臂单元5145的可移动范围内自由地移动内窥镜5115。因此，可以将内窥镜5115的镜筒5117从期望的方向插入患者5185的体腔中。
在接合单元5147a至5147c中设置有致动器，并且接合单元5147a至5147c被配置为能够根据相应致动器的驱动而绕特定旋转轴旋转。致动器的驱动由臂控制设备5159控制，以控制接合单元5147a至5147c中的每一个的旋转角度，从而控制臂单元5145的驱动。因此，可以实现对内窥镜5115的位置和姿势的控制。此时，臂控制设备5159可以通过诸如力控制或位置控制的各种已知控制方法来控制臂单元5145的驱动。
例如，如果外科医生5181通过输入设备5161(包括脚踏开关5171)适当地执行输入操作，则可以由臂控制设备5159响应于该操作输入来适当地控制臂单元5145的驱动以控制内窥镜5115的位置和姿势。在臂单元5145的远端处的内窥镜5115通过上述控制从任意位置移动到不同的任意位置之后，可以将内窥镜5115固定地支撑在移动之后的位置。要注意的是，臂单元5145可以以主从方式操作。在这种情况下，臂单元5145可以由用户通过放置在远离手术室的地方的输入设备5161进行远程控制。
此外，在施加力控制的情况下，臂控制设备5159可以执行所谓的动力辅助控制以驱动接合单元5147a至5147c的致动器，从而使得臂单元5145可以接收用户的外力并且在外力作用下平稳移动。通过这种布置，当用户在直接接触臂单元5145的同时移动臂单元5145时，可以以相对弱的力来移动臂单元5145。因此，用户能够以更简单和更容易的操作来更直观地移动内窥镜5115，并且可以提高用户便利性。
在此，通常在内窥镜手术中，内窥镜5115由称为内窥镜师(scopist)的医生支撑。与此相对，在使用支撑臂设备5141的情况下，无需用手就可以更加可靠地固定内窥镜5115的位置，因此，能够稳定地获得手术区域的图像，并且能够顺利地进行手术。
要注意的是，臂控制设备5159可以不必设置在推车5151上。此外，臂控制设备5159可以不必是单个设备。例如，臂控制设备5159可以被设置在支撑臂设备5141的臂单元5145的接合单元5147a至5147c中的每个中，从而使得多个臂控制设备5159彼此协作以实现对臂单元5145的驱动控制。
(光源设备)
光源设备5157在对手术区域成像时将照射光提供给内窥镜5115。光源设备5157包括白光源，该白光源包括例如LED、激光光源或它们的组合。在这种情况下，在白色光源包括红色、绿色和蓝色(RGB)激光光源的组合的情况下，由于可以针对每种颜色(每种波长)高精度地控制输出强度和输出定时，因此可以通过光源设备5157来执行对拾取图像的白平衡的调节。此外，在这种情况下，如果将来自RGB激光源的激光束时分地施加在观察目标上并与照射定时同步地控制相机头5119的成像元件的驱动，则可以时分地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有为成像元件设置滤色器，也可以获得彩色图像。
此外，可以控制光源设备5157的驱动，使得要输出的光的强度针对每个特定时间改变。通过与光的强度的变化的定时同步地控制相机头5119的成像元件的驱动以时分地获取图像并合成图像，可以创建避免曝光不足的遮挡阴影(blocked up shadows)以及曝光过度的高光的高动态范围的图像。
此外，光源设备5157可以被配置为提供准备用于特殊光观察的特定波长带的光。在特殊的光观察中，例如，通过利用人体组织的光吸收的波长依赖性，与普通观察时的照射光(白光)相比，通过施加较窄的波长带的光来以高对比度执行对诸如粘膜的表层部的血管等的特定组织进行成像的窄带光观察(窄带成像)。可替代地，在特殊光观察中，也可以执行用于从通过激发光的照射产生的荧光获得图像的荧光观察。在荧光观察中，可以通过将激发光照射到人体组织上来执行对来自人体组织的荧光的观察(自发荧光观察)，或者可以通过将诸如吲哚花青绿(ICG)的试剂局部注入到人体组织中，并在人体组织上照射与试剂的荧光波长相对应的激发光来获得荧光图像。光源设备5157可以被配置为提供适于如上所述的特殊光观察的窄带光和/或激发光。
(相机头和CCU)
参照图16更详细地描述内窥镜5115的相机头5119和CCU 5153的功能。图16是示出图15所示的相机头5119和CCU 5153的功能配置的示例的框图。
参照图16，相机头5119具有透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头控制单元5129作为其功能。此外，CCU 5153具有通信单元5173、图像处理单元5175和控制单元5177作为其功能。相机头5119和CCU 5153通过传输线缆5179连接为彼此双向通信。
首先，描述相机头5119的功能配置。透镜单元5121是设置在相机头5119与镜筒5117的连接位置处的光学系统。从镜筒5117的远端入射的观察光被引入相机头5119中并进入透镜单元5121。透镜单元5121包括包含变焦透镜和聚焦透镜的多个透镜的组合。透镜单元5121具有被调节从而使得观察光会聚在成像单元5123的成像元件的光接收面上的光学特性。此外，变焦透镜和聚焦透镜被配置为使得它们在其光轴上的位置可移动以调节拾取图像的放大率和焦点。
成像单元5123包括成像元件，并且被布置在透镜单元5121的后一级。已经通过透镜单元5121的观察光会聚在成像元件的光接收面上，并且通过光电转换产生与观察图像对应的图像信号。由成像单元5123产生的图像信号被提供给通信单元5127。
作为成像单元5123所包括的成像元件，使用例如具有拜耳阵列并且能够拾取彩色图像的互补金属氧化物半导体(CMOS)类型的图像传感器。要注意的是，作为成像元件，可以使用准备好例如用于成像不小于4K的高分辨率的图像的成像元件。如果以高分辨率获得手术区域的图像，则外科医生5181可以以增强的细节理解手术区域的状态，并且可以更顺利地进行手术。
此外，成像单元5123所包括的成像元件被配置为使得其具有一对成像元件，用于获取与3D显示兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5181可以以更高的准确度理解手术区域中活体组织的深度。要注意的是，如果成像单元5123被配置为多板型的，则对应于成像单元5123的各个成像元件提供多个系统的透镜单元5121。
此外，成像单元5123可以不一定设置在相机头5119上。例如，成像单元5123可以设置在镜筒5117内部的物镜的正后方。
驱动单元5125包括致动器，并且在相机头控制单元5129的控制下，使透镜单元5121的变焦透镜和聚焦透镜沿光轴移动一定距离。因此，可以适当地调节成像单元5123拾取的图像的放大率和焦点。
通信单元5127包括用于向CCU 5153发送各种信息和从CCU 5153接收各种信息的通信设备。通信单元5127通过传输线缆5179将从成像单元5123获取的图像信号作为RAW数据发送到CCU 5153。在这一点上，为了以低等待时间显示手术区域的拾取图像，优选地，通过光通信来发送图像信号。这是因为，在手术时，外科医生5181在通过拾取图像观察患部的状态的同时进行手术，从而为了以更高的安全性和确定性实现手术，因此需要尽可能地实时显示手术区域的运动图像。在应用光通信的情况下，在通信单元5127中设置用于将电信号转换成光信号的光电转换模块。在通过光电转换模块将图像信号转换成光信号之后，通过传输线缆5179将其发送到CCU 5153。
此外，通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。该控制信号包括与成像条件有关的信息，例如指定拾取图像的帧速率的信息、指定在图像拾取时的曝光值的信息和/或指定拾取图像的放大率和焦点的信息。通信单元5127将接收到的控制信号提供给相机头控制单元5129。要注意的是，来自CCU 5153的控制信号也可以通过光通信来发送。在这种情况下，在通信单元5127中设置用于将光信号转换成电信号的光电转换模块。在控制信号被光电转换模块转换成电信号之后，将其提供给相机头控制单元5129。
要注意的是，诸如帧速率、曝光值、放大率或焦点的成像条件由CCU 5153的控制单元5177基于获取的图像信号自动设置。换句话说，在内窥镜5115中结合了所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
相机头控制单元5129基于通过通信单元5127接收的来自CCU 5153的控制信号来控制相机头5119的驱动。例如，相机头控制单元5129基于指定了拾取图像的帧速率的信息和/或指定了图像拾取时的曝光值的信息来控制成像单元5123的成像元件的驱动。此外，例如，相机头控制单元5129基于指定了拾取图像的放大率和焦点的信息，控制驱动单元5125以适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可包括用于存储用于识别镜筒5117和/或相机头5119的信息的功能。
要注意的是，通过将诸如透镜单元5121和成像单元5123的部件布置在具有高气密性和高防水性的密封结构中，可以为相机头5119提供耐高压灭菌处理的能力。
现在，描述CCU 5153的功能配置。通信单元5173包括用于向相机头5119发送各种信息和从相机头5119接收各种信息的通信设备。通信单元5173通过传输线缆5179接收从相机头5119向其发送的图像信号。此时，如上所述，可以优选地通过光通信来发送图像信号。在这种情况下，为了与光通信兼容，通信单元5173包括用于将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号之后的图像信号提供给图像处理单元5175。
此外，通信单元5173将用于控制相机头5119的驱动的控制信号发送到相机头5119。控制信号也可以通过光通信来发送。
图像处理单元5175对从相机头5119发送到其的RAW数据形式的图像信号执行各种图像处理。图像处理包括各种已知信号处理，诸如显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。
图像处理单元5175包括诸如CPU或GPU的处理器，并且当处理器根据特定程序进行操作时，可以执行上述图像处理和检测处理。要注意的是，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号有关的信息，以使得通过多个GPU并行地执行图像处理。
控制单元5177执行与通过内窥镜5115对手术区域的图像拾取以及拾取图像的显示有关的各种控制。例如，控制单元5177产生用于控制相机头5119的驱动的控制信号。此时，如果用户输入了成像条件，则控制单元5177基于用户的输入来产生控制信号。可替换地，在内窥镜5115具有内置的AE功能、AF功能和AWB功能的情况下，控制单元5177响应于通过图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并产生控制信号。
此外，控制单元5177基于图像处理单元5175已经对其执行了图像处理的图像信号，控制显示设备5155显示手术区域的图像。此时，控制单元5177使用各种图像识别技术识别手术区域图像中的各种物体。例如，控制单元5177可以通过检测手术区域图像中所包括的物体的边缘的形状、颜色等来识别诸如钳子的手术工具、特定的活体区域、出血、当使用能量装置5135时的薄雾等。当控制单元5177控制显示设备5155显示手术区域图像时，控制单元5177使各种手术支持信息以与使用识别结果的手术区域的图像重叠的方式显示。在各种手术支持信息以重叠的方式显示并被呈现给外科医生5181的情况下，外科医生5181可以更加安全和确定地进行手术。
将相机头5119和CCU 5153彼此连接的传输线缆5179是准备用于电信号通信的电信号线缆、准备用于光通信的光纤或其复合线缆。
这里，尽管在该图所示的示例中，通过使用传输线缆5179的有线通信来执行通信，但是可以通过无线通信以其他方式执行相机头5119与CCU 5153之间的通信。在通过无线通信执行相机头5119与CCU 5153之间的通信的情况下，无需将传输线缆5179放置在手术室中。因此，可以消除医务人员在手术室中的移动被传输线缆5179干扰的情况。
上面已经描述了可以应用根据本公开实施例的技术的手术室系统5100的示例。这里，要注意的是，尽管已经以应用手术室系统5100的医疗系统为内窥镜手术系统5113的情况为例进行了描述，但是手术室系统5100的配置不限于上述示例的内容。例如，手术室系统5100可以代替内窥镜手术系统5113而应用于用于检查的软内窥镜系统或显微手术系统。
根据本公开的技术还可以适当地应用于上述应用示例中与手术操作有关的信息的显示。与手术操作有关的信息的示例包括手术操作的相位信息。该相位指示手术操作的阶段。在手术操作中，通常在手术室系统5100中预先登记关于医生在每个相位中做什么的信息，并且根据该相位的内容来进行手术操作。
在对手术操作进行成像的状态下，用户(进行手术操作的医生等)可以在手术操作期间从手术操作的一个相位移至下一相位时对脚踏开关5171进行输入，以将相位信息作为元信息添加到运动图像。
此外，在用户在手术操作期间使用的相机头(也称为相机头戴式耳机、可穿戴式相机等)包括可分配按钮的情况下，可以通过对可分配按钮执行输入来将相位信息作为元信息添加到运动图像。
此外，在手术操作终止之后从手术室系统5100向终端装置200发送代理文件之后，在使用终端装置200的运动图像编辑中，与帧显示区域300中的帧图像一起，将相位信息显示在元信息显示区域305中，如图17A和图17B所示。由此，用户可以在参考相位信息的同时指定入点和出点。同时，如图17A所示，可以针对每个相位显示一个帧图像，或者可以如图17B所示，根据相位的长度、相位中的被摄体的状态等，在多个帧图像中显示相同的相位。
此外，作为与手术操作相关的信息，可以将与经历手术操作的患者相关的生命信息(例如，患者在手术操作期间的血压、脉搏、呼吸频率、心率、体温、脑电波等)作为元信息添加到运动图像中，并且可以将生命信息与帧显示区域中的帧图像一起显示，如图17B所示。
此外，作为与手术操作有关的信息，可以将医疗装置的使用状态(例如，关于电手术刀的开启和关闭的信息)作为元信息添加到运动图像中，并且关于电手术刀的开启和关闭的信息可以与帧显示区域中的帧图像一起显示，如图17C所示。
在上述第三实施例中，已经描述了在一个帧显示区域中并排显示由多个成像装置同时捕获的运动图像的示例。该显示模式也可以应用于上述的手术室系统5100。例如，如图19所示，将内窥镜5115捕获的运动图像显示在上段中的第一水平轴上，并且将由手术场地相机5189捕获的运动图像显示在下段的第二水平轴上。
<5.修改示例>
尽管已经具体描述了本技术的实施例，但是本技术不限于上述实施例，并且可以进行基于本技术的技术思想的各种修改。
在实施例中，以预定时间间隔提取的特定帧图像被并排显示在帧显示区域300中，但是可以显示基于除了时间间隔以外的标准提取的帧图像。例如，可以显示根据场景检测功能检测到的每个场景的第一帧图像。
在实施例中描述的用于指示帧图像之间的时间间隔的改变的输入不限于捏小操作和拉大操作。例如，可以根据双击输入来减小帧图像之间的时间间隔，并且可以根据三击输入来增大帧图像之间的时间间隔。此外，在触摸面板可以检测操作手指等的按压力的情况下，可以根据按压力的量级来改变帧图像之间的时间间隔。
在帧显示区域300中显示多个帧图像的情况下，用户可以仅以高分辨率显示通过输入指定的帧图像，并且可以以低分辨率粗略地显示其他帧图像。从而，用户可以在从显示在帧显示区域300中的帧图像确定运动图像的配置和流程的同时，仅观看用户想要详细查看的部分。
如图20所示，除了在本实施例中描述的用户界面之外，用于执行运动图像的再现、停止、暂停等的控制条311，用于显示编辑的运动图像的区域312，用于执行运动图像的编辑和处理的区域313等可以在终端装置200的显示单元206上同时显示。
通过将第二实施例和第三实施例彼此组合，可以将元信息的显示添加到由多个成像装置获得的代理运动图像的显示中。
尽管已经在终端装置200的输入单元207是与显示单元206一体构成的触摸面板的假设下描述了实施例，但是输入单元207可以是除了触摸面板之外的鼠标等。例如，在输入单元207是鼠标的情况下，用户可以通过使用鼠标操作指示符并在指示符上执行点击操作来在呈现指示符的方向上滚动屏幕以显示帧图像。此外，当用户使用鼠标操作指针并移动滑块时，帧显示区域在与滑块移动的方向相同的方向上滚动。
此外，本技术还可以如下配置。
(1)一种信息处理装置，
所述信息处理装置在包括显示单元的装置中进行操作，并且使所述显示单元显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
(2)根据(1)所述的信息处理装置，
其中，特定帧图像是从多个连续帧图像中以固定间隔提取的帧图像。
(3)根据(2)所述的信息处理装置，
其中，当由用户对显示在所述显示单元上的多个特定帧图像中的一个帧图像执行了用于指示作为所述固定间隔的时间间隔的改变的预定输入时，以改变后的固定间隔显示帧图像。
(4)根据(3)所述的信息处理装置，其中，
所述显示单元是与输入单元一体构成的触摸面板，以及
所述预定输入是以所述一个帧图像作为大致中心对触摸面板执行的捏小操作或拉大操作。
(5)根据(4)所述的信息处理装置，
其中，在所述预定输入是捏小操作的情况下，时间间隔减小。
(6)根据(4)所述的信息处理装置，
其中，在所述预定输入是拉大操作的情况下，时间间隔增加。
(7)根据(5)所述的信息处理装置，
其中，在以根据用户对所述一个帧图像执行的捏小操作而减小的时间间隔显示帧图像的情况下，以显示位置被固定的状态显示所述一个帧图像。
(8)根据(6)所述的信息处理装置，
其中，在以根据用户对所述一个帧图像执行的拉大操作而增加的时间间隔显示帧图像的情况下，以显示位置被固定的状态显示所述一个帧图像。
(9)根据(1)至(8)中任一项所述的信息处理装置，
其中，在所述显示单元上一起显示帧图像和与帧图像相对应的元信息。
(10)根据(9)所述的信息处理装置，
其中，特定帧图像是基于所述元信息从多个连续帧图像中提取的帧图像。
(11)根据(9)或(10)所述的信息处理装置，
其中，所述元信息由与包括所述显示单元的所述装置不同的所述另一装置获取。
(12)根据(1)至(11)中任一项所述的信息处理装置，
其中，运动图像是由与包括所述显示单元的所述装置不同的一个或多个其他装置捕获的运动图像。
(13)根据(1)至(12)中任一项所述的信息处理装置，
其中，将由用户输入的用于编辑运动图像的编辑点信息接收，并发送到所述另一装置。
(14)根据(13)所述的信息处理装置，
其中，所述编辑点信息是指示用作指示运动图像中的场景的起点的入点和指示运动图像中的场景的终点的出点的帧图像的信息。
(15)根据(14)所述的信息处理装置，
其中，在所述显示单元上显示的用作入点的帧图像和用作出点的帧图像被高亮显示。
(16)根据(15)所述的信息处理装置，
其中，所述编辑点信息包括在用作入点的帧图像之前的预定时段内再现的帧图像和在用作出点的帧图像之后的预定时段内再现的帧图像。
(17)根据(16)所述的信息处理装置，
其中，保持对于用作入点的帧图像和用作出点的帧图像的高亮显示。
(18)根据(1)至(17)中任一项所述的信息处理装置，
其中，运动图像是通过对手术操作进行成像而获得的运动图像，并且构成运动图像的帧图像和与手术操作有关的信息被一起显示在所述显示单元上。
(19)一种信息处理方法，包括：
在包括显示单元的装置中的所述显示单元上显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
(20)一种信息处理程序，
所述信息处理程序使计算机执行信息处理方法，所述信息处理方法在包括显示单元的装置中的所述显示单元上显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
附图标记列表
100 成像装置
200 终端装置
206 显示单元
208 信息处理单元

Claims (20)

1.一种信息处理装置，
所述信息处理装置在包括显示单元的装置中进行操作，并且使所述显示单元显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
2.根据权利要求1所述的信息处理装置，
其中，特定帧图像是从多个连续帧图像中以固定间隔提取的帧图像。
3.根据权利要求2所述的信息处理装置，
其中，当由用户对显示在所述显示单元上的多个特定帧图像中的一个帧图像执行了用于指示作为所述固定间隔的时间间隔的改变的预定输入时，以改变后的固定间隔显示帧图像。
4.根据权利要求3所述的信息处理装置，其中，
所述显示单元是与输入单元一体构成的触摸面板，以及
所述预定输入是以所述一个帧图像作为大致中心对触摸面板执行的捏小操作或拉大操作。
5.根据权利要求4所述的信息处理装置，
其中，在所述预定输入是捏小操作的情况下，时间间隔减小。
6.根据权利要求4所述的信息处理装置，
其中，在所述预定输入是拉大操作的情况下，时间间隔增加。
7.根据权利要求5所述的信息处理装置，
其中，在以根据用户对所述一个帧图像执行的捏小操作而减小的时间间隔显示帧图像的情况下，以显示位置被固定的状态显示所述一个帧图像。
8.根据权利要求6所述的信息处理装置，
其中，在以根据用户对所述一个帧图像执行的拉大操作而增加的时间间隔显示帧图像的情况下，以显示位置被固定的状态显示所述一个帧图像。
9.根据权利要求1所述的信息处理装置，
其中，在所述显示单元上一起显示帧图像和与帧图像相对应的元信息。
10.根据权利要求9所述的信息处理装置，
其中，特定帧图像是基于所述元信息从多个连续帧图像中提取的帧图像。
11.根据权利要求9所述的信息处理装置，
其中，所述元信息由与包括所述显示单元的所述装置不同的所述另一装置获取。
12.根据权利要求1所述的信息处理装置，
其中，运动图像是由与包括所述显示单元的所述装置不同的一个或多个其他装置捕获的运动图像。
13.根据权利要求1所述的信息处理装置，
其中，将由用户输入的用于编辑运动图像的编辑点信息接收，并发送到所述另一装置。
14.根据权利要求13所述的信息处理装置，
其中，所述编辑点信息是指示用作指示运动图像中的场景的起点的入点和指示运动图像中的场景的终点的出点的帧图像的信息。
15.根据权利要求14所述的信息处理装置，
其中，在所述显示单元上显示的用作入点的帧图像和用作出点的帧图像被高亮显示。
16.根据权利要求15所述的信息处理装置，
其中，所述编辑点信息包括在用作入点的帧图像之前的预定时段内再现的帧图像和在用作出点的帧图像之后的预定时段内再现的帧图像。
17.根据权利要求16所述的信息处理装置，
其中，保持对于用作入点的帧图像和用作出点的帧图像的高亮显示。
18.根据权利要求1所述的信息处理装置，
其中，运动图像是通过对手术操作进行成像而获得的运动图像，并且构成运动图像的帧图像和与手术操作有关的信息被一起显示在所述显示单元上。
19.一种信息处理方法，包括：
在包括显示单元的装置中的所述显示单元上显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
20.一种信息处理程序，
所述信息处理程序使计算机执行信息处理方法，所述信息处理方法在包括显示单元的装置中的所述显示单元上显示构成运动图像的多个特定帧图像，所述运动图像的数据大小小于由与包括所述显示单元的所述装置不同的另一装置捕获的运动图像的数据大小。
CN201880031712.6A 2017-05-18 2018-05-08 信息处理装置、信息处理方法以及计算机可读存储介质 Active CN110637458B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017099275 2017-05-18
JP2017-099275 2017-05-18
PCT/JP2018/017732 WO2018212013A1 (ja) 2017-05-18 2018-05-08 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
CN110637458A true CN110637458A (zh) 2019-12-31
CN110637458B CN110637458B (zh) 2022-05-10

Family

ID=64273771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880031712.6A Active CN110637458B (zh) 2017-05-18 2018-05-08 信息处理装置、信息处理方法以及计算机可读存储介质

Country Status (6)

Country Link
US (1) US11599263B2 (zh)
EP (1) EP3627831A4 (zh)
JP (1) JP7143846B2 (zh)
KR (1) KR102493223B1 (zh)
CN (1) CN110637458B (zh)
WO (1) WO2018212013A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6793785B1 (ja) * 2019-06-26 2020-12-02 三精テクノロジーズ株式会社 操作装置
US20220269716A1 (en) * 2019-07-30 2022-08-25 Sony Group Corporation File processing device, file processing method, and program
WO2022003842A1 (ja) * 2020-06-30 2022-01-06 日本電信電話株式会社 処理システム及び処理方法
WO2023189520A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513306A (en) * 1990-08-09 1996-04-30 Apple Computer, Inc. Temporal event viewing and editing system
US5649171A (en) * 1991-04-12 1997-07-15 Accom, Inc. On-line video editing system
US6314231B1 (en) * 1993-04-13 2001-11-06 Sony Corporation Editing apparatus
JP2001359039A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 画像記録装置
JP2003528519A (ja) * 2000-03-20 2003-09-24 インテル コーポレイション デジタル式ビデオへのアクセスの容易化
US20070189709A1 (en) * 1999-12-21 2007-08-16 Narutoshi Ageishi Video editing system
US20080174570A1 (en) * 2006-09-06 2008-07-24 Apple Inc. Touch Screen Device, Method, and Graphical User Interface for Determining Commands by Applying Heuristics
US20080304808A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for digital assets and associated metadata
JP2010246008A (ja) * 2009-04-09 2010-10-28 Kddi Corp 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
JP2011003977A (ja) * 2009-06-16 2011-01-06 Sony Corp 表示装置、表示方法及び表示プログラム
JP2011170785A (ja) * 2010-02-22 2011-09-01 Canon Inc 表示制御装置及び表示制御方法
US20110283188A1 (en) * 2010-05-14 2011-11-17 Sap Ag Value interval selection on multi-touch devices
JP2012124789A (ja) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc 情報処理装置、及びその制御方法、プログラム
US20130145268A1 (en) * 2011-12-02 2013-06-06 Adobe Systems Incorporated Frame control
US20130209059A1 (en) * 2012-02-03 2013-08-15 Todd Curry Zaegel Scheele Video frame marking
US20130229374A1 (en) * 2008-09-03 2013-09-05 Lg Electronics Inc. Terminal, controlling method thereof and recordable medium for the same
JP2014188986A (ja) * 2013-03-28 2014-10-06 Sharp Corp 画像形成装置
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US20150201150A1 (en) * 2012-09-28 2015-07-16 Panasonic Intellectual Property Management Co., Ltd. Video output device
US20150213836A1 (en) * 2009-03-19 2015-07-30 Gvbb Holdings S.A.R.L. Apparatus and method for editing
US20160104045A1 (en) * 2014-10-14 2016-04-14 Hanwha Techwin Co., Ltd. Method and apparatus for providing combined-summary in imaging apparatus
CN105684420A (zh) * 2013-08-30 2016-06-15 株式会社尼康 图像处理装置以及图像处理程序
US20170046833A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3D Reconstruction and Registration of Endoscopic Data

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675384B1 (en) * 1995-12-21 2004-01-06 Robert S. Block Method and apparatus for information labeling and control
JP3775611B2 (ja) 1996-11-29 2006-05-17 ソニー株式会社 編集システム
WO1998046120A2 (de) * 1997-04-16 1998-10-22 Karl Storz Gmbh & Co. Endoskopisches system
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6134380A (en) * 1997-08-15 2000-10-17 Sony Corporation Editing apparatus with display of prescribed information on registered material
EP1248452A1 (en) * 1999-12-01 2002-10-09 Matsushita Electric Industrial Co., Ltd. Information recording apparatus and method, and information recording medium by them
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
JP4587416B2 (ja) * 2000-04-25 2010-11-24 富士通株式会社 デジタル映像コンテンツ閲覧装置及び方法
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
KR20040041082A (ko) * 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
US7607016B2 (en) * 2001-04-20 2009-10-20 Digimarc Corporation Including a metric in a digital watermark for media authentication
KR20030026529A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 키프레임 기반 비디오 요약 시스템
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
JP4194272B2 (ja) * 2001-12-28 2008-12-10 キヤノン株式会社 動画像管理装置及び方法
JP4065142B2 (ja) * 2002-05-31 2008-03-19 松下電器産業株式会社 オーサリング装置およびオーサリング方法
US8392834B2 (en) * 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
US9171577B1 (en) * 2003-04-25 2015-10-27 Gopro, Inc. Encoding and decoding selectively retrievable representations of video content
JP4117616B2 (ja) * 2003-07-28 2008-07-16 ソニー株式会社 編集システム、その制御方法及び編集装置
WO2005027092A1 (ja) * 2003-09-08 2005-03-24 Nec Corporation 文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラム
US7903927B2 (en) * 2004-07-08 2011-03-08 Sony Corporation Editing apparatus and control method thereof, and program and recording medium
JP2006065368A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像表示装置，画像表示方法，およびコンピュータプログラム
EP3002724A3 (en) * 2005-05-23 2016-07-20 Open Text S.A. Distributed scalable media environment
TWI384413B (zh) * 2006-04-24 2013-02-01 Sony Corp An image processing apparatus, an image processing method, an image processing program, and a program storage medium
JP4770581B2 (ja) * 2006-05-17 2011-09-14 ソニー株式会社 動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
US20100050080A1 (en) * 2007-04-13 2010-02-25 Scott Allan Libert Systems and methods for specifying frame-accurate images for media asset management
KR101335518B1 (ko) * 2007-04-27 2013-12-03 삼성전자주식회사 동영상 디스플레이 방법 및 이를 적용한 영상재생장치
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4911008B2 (ja) * 2007-12-11 2012-04-04 株式会社Ｊｖｃケンウッド 画像データ記録装置および画像データ再生装置
TW201004339A (en) * 2008-07-09 2010-01-16 Univ Nat Taiwan Method and system for processing synthetic graphic images on digital video file
US8330802B2 (en) * 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
WO2010124133A1 (en) * 2009-04-24 2010-10-28 Delta Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
JP2011003978A (ja) 2009-06-16 2011-01-06 Sony Corp 情報処理装置、表示方法及び表示プログラム
US9712733B2 (en) * 2009-08-17 2017-07-18 Jianhua Cao Method and apparatus for live capture image-live streaming camera
JP5548419B2 (ja) * 2009-09-30 2014-07-16 富士通株式会社 署名生成装置、署名検証装置、署名生成方法、署名検証方法、署名生成プログラム、および署名検証プログラム
US8717317B2 (en) * 2010-02-22 2014-05-06 Canon Kabushiki Kaisha Display control device and method for controlling display on touch panel, and storage medium
JP5588022B2 (ja) * 2010-02-22 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 表示サブシステムにビデオデータを提供する方法、およびシステム
US8682142B1 (en) * 2010-03-18 2014-03-25 Given Imaging Ltd. System and method for editing an image stream captured in-vivo
US8605221B2 (en) * 2010-05-25 2013-12-10 Intellectual Ventures Fund 83 Llc Determining key video snippets using selection criteria to form a video summary
US20110296465A1 (en) * 2010-05-28 2011-12-01 Snapstick Inc. Making Televisions Connected and Collaborative
US9092520B2 (en) * 2011-06-20 2015-07-28 Microsoft Technology Licensing, Llc Near-duplicate video retrieval
US20130031501A1 (en) * 2011-07-28 2013-01-31 Kodosky Jeffrey L Weighted Zoom within a Diagram of a System
US9256361B2 (en) * 2011-08-03 2016-02-09 Ebay Inc. Control of search results with multipoint pinch gestures
US8819185B2 (en) * 2011-08-05 2014-08-26 John Charles McLaughlin Streaming internet video editing and composite edit playback
US20170257414A1 (en) * 2012-01-26 2017-09-07 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
KR101909030B1 (ko) * 2012-06-08 2018-10-17 엘지전자 주식회사 비디오 편집 방법 및 이를 위한 디지털 디바이스
US20140071171A1 (en) * 2012-09-12 2014-03-13 Alcatel-Lucent Usa Inc. Pinch-and-zoom, zoom-and-pinch gesture control
US9826286B2 (en) * 2012-09-18 2017-11-21 Viacom International Inc. Video editing method and tool
KR20140100784A (ko) * 2013-02-07 2014-08-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
JP2014183425A (ja) 2013-03-19 2014-09-29 Sony Corp 画像処理方法、画像処理装置および画像処理プログラム
JP2016129269A (ja) * 2013-04-22 2016-07-14 パナソニック株式会社 画像・音声処理装置、集積回路、およびプログラム
CN103699390A (zh) * 2013-12-30 2014-04-02 华为技术有限公司 一种图像缩放方法和终端设备
US20160080835A1 (en) * 2014-02-24 2016-03-17 Lyve Minds, Inc. Synopsis video creation based on video metadata
US9754159B2 (en) * 2014-03-04 2017-09-05 Gopro, Inc. Automatic generation of video from spherical content using location-based metadata
US9583149B2 (en) * 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
US11170037B2 (en) * 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US10049477B1 (en) * 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images
US9570113B2 (en) * 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
US9607223B2 (en) * 2015-04-09 2017-03-28 Facebook, Inc. Systems and methods for defining and analyzing video clusters based on video image frames
JP6358165B2 (ja) 2015-04-28 2018-07-18 京セラドキュメントソリューションズ株式会社 動画編集再生装置および動画編集再生プログラム
JP6402934B2 (ja) * 2015-05-19 2018-10-10 カシオ計算機株式会社 動画生成装置、動画生成方法、及びプログラム
US10692395B2 (en) * 2015-08-17 2020-06-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
US20170168697A1 (en) * 2015-12-09 2017-06-15 Shahar SHPALTER Systems and methods for playing videos
JP6632360B2 (ja) 2015-12-15 2020-01-22 キヤノン株式会社 情報処理装置
JP6719206B2 (ja) * 2015-12-25 2020-07-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111182268B (zh) * 2016-01-29 2021-08-17 深圳市大疆创新科技有限公司 视频数据传输方法、系统、设备和拍摄装置
US20170237986A1 (en) * 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US10194990B2 (en) * 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
KR20180017424A (ko) * 2016-08-09 2018-02-21 삼성전자주식회사 디스플레이 장치 및 제어 방법
US10386999B2 (en) * 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
JP2018078463A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 画像処理装置および設定方法、並びにプログラム
CN110612720B (zh) * 2017-05-18 2022-04-12 索尼公司 信息处理装置、信息处理方法以及可读存储介质
US10192305B2 (en) * 2017-06-02 2019-01-29 Visualmind Oy Method and system for analyzing test image
KR102464907B1 (ko) * 2018-04-10 2022-11-09 삼성전자주식회사 전자 장치 및 그 동작 방법

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513306A (en) * 1990-08-09 1996-04-30 Apple Computer, Inc. Temporal event viewing and editing system
US5649171A (en) * 1991-04-12 1997-07-15 Accom, Inc. On-line video editing system
US6314231B1 (en) * 1993-04-13 2001-11-06 Sony Corporation Editing apparatus
US20070189709A1 (en) * 1999-12-21 2007-08-16 Narutoshi Ageishi Video editing system
JP2003528519A (ja) * 2000-03-20 2003-09-24 インテル コーポレイション デジタル式ビデオへのアクセスの容易化
JP2001359039A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 画像記録装置
US20080174570A1 (en) * 2006-09-06 2008-07-24 Apple Inc. Touch Screen Device, Method, and Graphical User Interface for Determining Commands by Applying Heuristics
US20080304808A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for digital assets and associated metadata
US20130229374A1 (en) * 2008-09-03 2013-09-05 Lg Electronics Inc. Terminal, controlling method thereof and recordable medium for the same
US20150213836A1 (en) * 2009-03-19 2015-07-30 Gvbb Holdings S.A.R.L. Apparatus and method for editing
JP2010246008A (ja) * 2009-04-09 2010-10-28 Kddi Corp 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
JP2011003977A (ja) * 2009-06-16 2011-01-06 Sony Corp 表示装置、表示方法及び表示プログラム
JP2011170785A (ja) * 2010-02-22 2011-09-01 Canon Inc 表示制御装置及び表示制御方法
US20110283188A1 (en) * 2010-05-14 2011-11-17 Sap Ag Value interval selection on multi-touch devices
JP2012124789A (ja) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc 情報処理装置、及びその制御方法、プログラム
US20130145268A1 (en) * 2011-12-02 2013-06-06 Adobe Systems Incorporated Frame control
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US20130209059A1 (en) * 2012-02-03 2013-08-15 Todd Curry Zaegel Scheele Video frame marking
US20150201150A1 (en) * 2012-09-28 2015-07-16 Panasonic Intellectual Property Management Co., Ltd. Video output device
JP2014188986A (ja) * 2013-03-28 2014-10-06 Sharp Corp 画像形成装置
CN105684420A (zh) * 2013-08-30 2016-06-15 株式会社尼康 图像处理装置以及图像处理程序
US20160104045A1 (en) * 2014-10-14 2016-04-14 Hanwha Techwin Co., Ltd. Method and apparatus for providing combined-summary in imaging apparatus
US20170046833A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3D Reconstruction and Registration of Endoscopic Data

Also Published As

Publication number Publication date
JPWO2018212013A1 (ja) 2020-03-19
CN110637458B (zh) 2022-05-10
JP7143846B2 (ja) 2022-09-29
US20200073546A1 (en) 2020-03-05
EP3627831A4 (en) 2020-06-03
KR20200007800A (ko) 2020-01-22
KR102493223B1 (ko) 2023-01-27
WO2018212013A1 (ja) 2018-11-22
EP3627831A1 (en) 2020-03-25
US11599263B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN110637458B (zh) 信息处理装置、信息处理方法以及计算机可读存储介质
CN109565563B (zh) 多相机系统、信息处理装置以及非暂态计算机可读介质
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
KR102650616B1 (ko) 표시 제어 장치, 표시 제어 방법 및 표시 제어 프로그램
US11694725B2 (en) Information processing apparatus and information processing method
US20210019921A1 (en) Image processing device, image processing method, and program
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
JP7264051B2 (ja) 画像処理装置および画像処理方法
EP3633518B1 (en) Information processing device, information processing method, and information processing program
US11902692B2 (en) Video processing apparatus and video processing method
EP3937162A1 (en) Video signal processing device, video signal processing method, and image-capturing device
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant