CN111512637A - 医疗运动图像处理系统 - Google Patents

医疗运动图像处理系统 Download PDF

Info

Publication number
CN111512637A
CN111512637A CN201880084167.7A CN201880084167A CN111512637A CN 111512637 A CN111512637 A CN 111512637A CN 201880084167 A CN201880084167 A CN 201880084167A CN 111512637 A CN111512637 A CN 111512637A
Authority
CN
China
Prior art keywords
moving image
display area
time
input
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880084167.7A
Other languages
English (en)
Other versions
CN111512637B (zh
Inventor
菅野修也
权珉秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangjia Medical Co ltd
Original Assignee
Chuangjia Medical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangjia Medical Co ltd filed Critical Chuangjia Medical Co ltd
Publication of CN111512637A publication Critical patent/CN111512637A/zh
Application granted granted Critical
Publication of CN111512637B publication Critical patent/CN111512637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002—Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种使与医疗用的运动图像文件有关的编辑操作容易的医疗运动图像处理系统。具备：编码器(120)，其将与手术有关的多个运动图像文件分开地输入至多个输入系统；服务器设备(130)，其将多个运动图像文件与共同的时间码相对应地进行存储；以及视听终端设备(140)，其显示多个运动图像文件以及与运动图像文件有关的信息，其中，视听终端设备(140)按输入系统分开地显示与多个运动图像文件所有关的多个时间线，同步显示与显示的时间线对应的多个运动图像文件中包括的图像中的、与该时间线中包括的某个时间点的时间码相对应的多个图像中的至少一部分，接受用户的操作输入并且执行与在同步显示区域中同步显示的运动图像文件有关的编辑处理。

Description

医疗运动图像处理系统
技术领域
本发明涉及一种医疗运动图像处理系统。
背景技术
近年来，存在如下一种医疗运动图像处理系统：为了在外科手术中确保多个视点或记录手术内容等，不仅直接目视确认患部，还使用多个摄影装置拍摄运动图像并且显示于监视器。
作为与这种医疗运动图像处理系统所涉及的现有技术，例示下述的专利文献1和专利文献2。
在专利文献1中，公开了如下一种发明：对远程操作的手术工具的控制信息、拍摄患部、手术工具得到的图像信息、以及患者的生物体信息等添加统一的时间码并进行记录，基于记录的时间码和各信息来再现手术。
在专利文献2中公开了如下一种发明：对医疗运动图像进行附加命令(指针、用户的备注)的编辑处理，在再现编辑后的运动图像时，在指定的时刻显示任意的命令。
现有技术文献
专利文献
专利文献1：日本特开2002-272758号公报
专利文献2：日本特开2001-195869号公报
发明内容
发明要解决的问题
专利文献1所涉及的发明虽然能够基于时间码通过指定时间来截取手术的一部分，但无法一边确认该指定的时间的手术内容一边进行截取，因此实施手术后的运动图像的确认操作花费时间。
专利文献2所涉及的发明虽然能够通过对医疗用的运动图像附加命令来辅助手术后的运动图像确认，但该编辑是针对主画面(该文献的图13中的监视器的中央部)中显示的医疗运动图像进行的，没有考虑子画面(该文献的图13中的监视器的左上角部)中显示的运动图像。
本发明是鉴于上述的课题而完成的，提供一种容易进行与医疗用的运动图像文件有关的编辑操作的医疗运动图像处理系统。
用于解决问题的方案
根据本发明，提供一种医疗运动图像处理系统，其具备：运动图像输入单元，其将与手术有关的多个运动图像文件分开输入至多个输入系统中；存储单元，其将所述运动图像输入单元输入的多个运动图像文件与以进行所述手术的期间的某个时间点为起点决定的共同的时间码相对应地存储；显示单元，其显示所述存储单元中存储的多个运动图像文件以及与运动图像文件有关的信息；以及操作输入单元，其接受用户针对所述显示单元进行的操作输入，其中，所述显示单元的显示区域包括时间线显示区域和同步显示区域，在所述时间线显示区域中，针对每个所述输入系统分开显示表示与所述手术有关的多个运动图像文件所对应的时间段的多个时间线，在所述同步显示区域中，同步显示与在所述时间线显示区域中显示的所述时间线对应的多个运动图像文件中包括的图像中的、与该时间线中包括的某个时间点的所述时间码对应的多个图像的至少一部分，所述医疗运动图像处理系统还具备编辑单元，所述编辑单元基于所述操作输入单元接受的操作输入来执行与所述同步显示区域中同步显示的运动图像文件有关的编辑处理。
根据上述发明，能够同步显示与手术有关的运动图像文件，用户能够一边确认运动图像文件的内容和时间线一边对各运动图像文件进行编辑处理，因此能够容易地进行运动图像文件的编辑操作。
发明的效果
根据本发明，提供一种容易进行与医疗用的运动图像文件有关的编辑操作的医疗运动图像处理系统。
附图说明
图1是表示本实施方式所涉及的医疗运动图像处理系统的图。
图2是表示编码器的显示区域中显示的画面的具体例的图。
图3是表示编码器的显示区域中显示的画面的具体例的图。
图4是表示编码器的显示区域中显示的画面的具体例的图。
图5是表示视听终端设备的显示区域中显示的画面的具体例的图。
图6是表示视听终端设备的显示区域中显示的画面的具体例的图。
图7是表示视听终端设备的显示区域中显示的画面的具体例的图。
图8是表示视听终端设备的显示区域中显示的画面的具体例的图。
图9是表示视听终端设备的显示区域中显示的画面的具体例的图。
图10是将时间线显示区域的一部分放大后的放大图。
图11是将时间线显示区域的一部分放大后的放大图。
图12是将时间线显示区域的一部分放大后的放大图。
图13是表示在视听终端设备中弹出捕获处理画面的情况下的具体例的图。
图14是表示在视听终端设备中选择了“片段”标签的情况下的具体例的图。
图15是将选择了“片段”标签的情况下的关联信息显示区域放大后的放大图。
具体实施方式
在以下使用附图来说明本发明的实施方式。此外，在全部的附图中，对同样的构成要素标注相同的标记，适当地省略说明。
<关于医疗运动图像处理系统100中包括的各构成要素>
图1是表示本实施方式所涉及的医疗运动图像处理系统(在以下称作医疗运动图像处理系统100)的图。
此外，图1所示的箭头表示在各构成要素之间传递的运动图像文件的输出源和输入目的地。因而，关于运动图像文件以外的信息、数据的传递，不一定与各箭头所示的内容一致。
在以下的说明中，运动图像文件可以进由影像数据构成，也可以包括影像数据和声音数据。
医疗运动图像处理系统100具备多个摄影装置(摄像机111～摄像机114)、编码器120、服务器设备130以及视听终端设备140。
摄像机111～摄像机114为拍摄接受手术的手术接受者(患者)、其周边并且生成运动图像文件的摄影装置。
例如，摄像机111和摄像机113拍摄实施手术的手术区，相比于摄像机111，摄像机113拍摄的范围更大。另外，摄像机112拍摄心跳数监视器，摄像机114拍摄放映出核磁共振图像(magnetic resonance imaging：MRI)等的监视器，摄像机112和摄像机114在拍摄用于显示与手术的接受者有关的生物体信息的生物体信息的监视器这一点是共同的。
此外，在此列举的摄像机111～摄像机114的数量、摄影对象是例示，并不限制本发明的实施方式。
编码器120对由摄像机111～摄像机114生成的运动图像文件实施编码处理(编码)，来将该运动图像文件转换为适于向服务器设备130传送以及存储的形式。
此外，优选的是，编码器120对运动图像文件实施压缩处理后将其存储于服务器设备130中。由此，能够削减服务器设备130中存储的运动图像文件的容量。
编码器120基于用户的操作来进行与摄像机111～摄像机114进行的摄影有关的控制，针对多个输入系统(按摄像机111～摄像机114)分开输入通过拍摄而生成的与手术有关的运动图像文件。即，编码器120构成本发明所涉及的运动图像输入单元和摄影控制单元。
在此，在本实施方式中，“与摄像机111～摄像机114进行的摄影有关的控制”为使摄像机111～摄像机114开始执行运动图像的录像、暂时停止录像、停止录像以及拍摄静止图像。此外，在此列举的与摄像机111～摄像机114进行的摄影有关的控制的内容是例示，并不限制本发明的实施方式。
服务器设备130存储从编码器120传送来的运动图像文件。更详细地说，服务器设备130将由编码器120输入的多个运动图像文件与以进行手术的期间的某个时间点为起点而决定的共同的时间码相对应地存储。即，服务器设备130构成本发明所涉及的存储单元。
在此，时间码为与运动图像文件相对应的时间序列信息(构成运动图像文件的帧的顺序信息)，优选对每个帧赋予时间码。关于时间码的起点，可以由编码器120的用户(例如手术实施者、其辅助者)在进行手术的期间内任意地确定，也可以从外部装置(未图示)输入表示手术的开始时间点的信号，将该信号定为触发。
视听终端设备140为安装有用于再现服务器设备130中存储的运动图像文件的应用程序软件(浏览器)的计算机设备。
视听终端设备140能够访问服务器设备130中存储的运动图像文件，显示(同步再现)对应于共同的时间码的多个运动图像文件，并且还一并显示与同步再现中的运动图像文件有关的信息。另外，视听终端设备140能够接受用户针对自身设备的操作输入，基于接受的操作输入来执行与后述的同步显示区域中显示的运动图像文件有关的编辑处理。即，视听终端设备140构成本发明所涉及的显示单元和操作输入单元。
此外，在以下的说明中，“运动图像文件的显示”和“运动图像文件的再现”的意义大致相同，无区别地使用。
在图1中，视听终端设备140被图示为单个装置，但也可以在医疗运动图像处理系统100中设置有多个视听终端设备140。另外，安装于视听终端设备140中的浏览器不一定由本发明专用的应用程序软件实现，可以由通用的应用程序软件(例如网络浏览器)、将其改进或变更后得到的软件实现。
服务器设备130能够基于视听终端设备140接受到的操作输入来执行与视听终端设备140的显示区域的一部分区域(后述的同步显示区域)中同步显示的运动图像文件有关的编辑处理。即，服务器设备130构成本发明所涉及的编辑单元。
在本实施方式中，服务器设备130(编辑单元)与视听终端设备140(显示单元和操作输入单元)实现为单独的装置。这是因为，若要能够在视听终端设备140中执行编辑处理，需要在将作为编辑对象的运动图像文件从服务器设备130传送至视听终端设备140后执行编辑处理。当设为这样的系统结构时，难以关于医疗运动图像处理系统100(服务器设备130)中的运动图像文件的管理确保充分的安全性，还可能会导致运动图像文件不适当地流出。
医疗用的运动图像文件为保密性高的个人信息，为了防止该运动图像文件的外部流出，本实施方式中的医疗运动图像处理系统100采用上述那样的结构。
<关于编码器120的操作>
接着，使用图2～图4来说明编码器120的操作。
图2～图4是表示编码器120的显示区域中显示的画面的具体例的图。图2是表示录像前的编码器120的显示区域的图。图3是表示录像中的编码器120的显示区域的图。图4是表示在录像中显示了扩展画面的情况下的编码器120的显示区域的图。
编码器120的显示区域作为图形用户界面(Graphical User Interface：GUI)发挥功能，用户使用附设于编码器120的未图示的输入装置(鼠标、键盘等)来操作所显示的图标等，由此能够操作编码器120。另外，在编码器120的显示区域为触摸面板的情况下，该显示区域自身作为输入装置发挥功能。
在编码器120的显示区域中显示输入画面1201、输出画面1202以及状态显示1203。
输入画面1201为用于再现从摄像机111～摄像机114输入的运动图像文件中的任一个运动图像文件的画面。例如，在图2～图4中图示出正在输入画面1201中再现从摄像机111输入的运动图像文件的状态。
输出画面1202为用于再现从编码器120向服务器设备130输出的运动图像文件的画面。编码器120的输出形式包括录像形式(使输入的运动图像文件存储于服务器设备130的输出形式)、实时形式(将输入的运动图像文件以可实时传送的方式输出至视听终端设备140的形式)以及录像形式与实时形式的组合这三种模式。此外，图3和图4中图示的编码器120的显示区域为编码器120正以录像形式输出运动图像文件的情况下的显示区域。
状态显示1203显示在该时间点在输出画面1202中再现的运动图像文件、即正向服务器设备130输出的运动图像文件的状态。具体地说，状态显示1203显示正以哪种输出形式输出运动图像文件、进行输出的时间、输出的运动图像文件的数据容量等。
在编码器120的显示区域中显示录像开始按钮1204、录像停止按钮1205、静止图像摄影按钮1206以及录像暂时停止按钮1207。
录像开始按钮1204为用于接受成为开始进行在输入画面1201中再现的运动图像文件的录像(针对服务器设备130的存储处理)的契机的操作的按钮。
录像停止按钮1205为用于接受成为停止运动图像文件的录像(针对服务器设备130的存储处理)的契机的操作的按钮。
静止图像摄影按钮1206为用于接受成为将输入画面1201中再现的运动图像文件的1帧作为静止图像存储于服务器设备130的契机的操作的按钮。
录像暂时停止按钮1207为用于接受成为暂时停止运动图像文件的录像(针对服务器设备130的存储处理)的契机的操作、或者成为解除暂时停止的契机的操作的按钮。
此外，录像开始按钮1204在进行运动图像文件的录像的期间(包括暂时停止录像的期间)不被显示，录像暂时停止按钮1207在没有进行运动图像文件的录像的期间不被显示。因而，当在没有进行录像的期间操作了录像开始按钮1204的情况下，录像开始按钮1204被置换为录像暂时停止按钮1207，当在进行录像的期间操作了录像停止按钮1205的情况下，录像暂时停止按钮1207被置换为录像开始按钮1204。
在编码器120的显示区域中显示手术信息显示1208和输出信息显示1209。
手术信息显示1208显示有与在输入画面1201中再现的运动图像文件所涉及的手术相关联的信息，具体地说，显示有手术接受者(患者)的识别序号和名字、手术实施者的名字、诊疗科的名称、进行手术的场所的名称等。关于手术实施者的名字、诊疗科的名称，能够通过用户针对手术信息显示1208的操作输入进行选择。关于手术信息显示1208中显示的信息中的不需要用户进行操作输入的信息，可以从未图示的外部系统(例如电子病例系统等)输入。
输出信息显示1209显示有在输出画面1202中再现的运动图像文件的文件形式、是否与运动图像文件的再现一同进行了声音输出、以哪种输出形式向服务器设备130输出。此外，关于在此列举的输出信息显示1209中显示的信息，能够通过用于针对输出信息显示1209的操作输入进行选择。
在编码器120的显示区域中显示扩展显示工作按钮1210和扩展显示停止按钮1214。
扩展显示工作按钮1210为接受成为打开扩展显示区域的契机的操作的按钮，所述扩展显示区域用于将输入画面1201或输出画面1202中再现的运动图像文件之外的、从输入系统输入的其它运动图像文件进行再现。例如，在图4中图示出以下的状态：在扩展显示区域中，在子画面1211中显示从摄像机112输入的运动图像文件，在子画面1212中显示从摄像机113输入的运动图像文件，在子画面1213中显示从摄像机114输入的运动图像文件。在该状态下，在进行在扩展显示区域中再现的运动图像文件的录像的情况下，在该运动图像文件上重叠显示与录像暂时停止按钮1207同样的图标，当操作该图标时，录像暂时停止。另外，在该状态下，在没有进行在扩展显示区域中再现的运动图像文件的录像的情况下，在该运动图像文件上重叠显示与录像开始按钮1204同样的图标，当操作该图标时，开始录像。
扩展显示停止按钮1214为在显示上述的扩展显示区域的情况下显示的按钮，用于接受成为打开扩展显示区域的契机的操作。
<关于视听终端设备140中的同步显示>
接着，使用图5～图12来说明视听终端设备140中的同步显示。
图5～图9是表示视听终端设备140的显示区域中显示的画面的具体例的图。更详细地说，图5是表示在同步显示区域DA1中的主画面中再现一个运动图像文件且在子画面中再现其它运动图像文件的显示方式的图。图6是表示将同步显示区域DA1进行四分割来在分割后的各个区域中再现四个运动图像文件的显示方式的图。图7是表示将光标放在同步显示区域DA1的主画面上的状态的图。图8是表示将光标放在显示于同步显示区域DA1的主画面的下方的静止图像上的状态的图。图9是表示将光标放在同步显示区域DA1的子画面上的状态的图。
图10～图12是将时间线显示区域DA3的一部分放大后的放大图。更详细地说，图10是将时间线显示区域DA3的左侧部分放大后的放大图。图11是将时间线显示区域DA3的中央部分放大后的放大图。图12是将时间线显示区域DA3的右侧部分放大后的放大图。
视听终端设备140的显示区域作为图形用户界面发挥功能，使用附设于视听终端设备140的未图示的输入装置来操作所显示的图标等，由此用户能够操作视听终端设备140。另外，在视听终端设备140的显示区域为触摸面板的情况下，该显示区域自身作为输入装置发挥功能。
此外，在以下的说明中，将表示输入装置的操作对象的光标称为指针1401。
视听终端设备140的显示区域包括同步显示区域DA1、关联信息显示区域DA2以及时间线显示区域DA3。
此外，在图5～图9中用虚线表示的范围表示在此列举的显示区域的范围，实际不显示于视听终端设备140的显示区域中。
同步显示区域DA1同步显示与时间线显示区域DA3中显示的时间线对应的多个运动图像文件中包括的图像中的、与时间线显示区域DA3中显示的时间线中包括的某个时间点的时间码相对应的多个图像。
例如，在通过用户的操作输入选择了分割方式选择部1425的左侧的图标(参照图12)的情况下，同步显示区域DA1在主画面中显示从摄像机111输入的运动图像文件，在子画面中显示从摄像机112～摄像机114输入的运动图像文件(参照图5)。
或者，在通过用户的操作输入选择了分割方式选择部1425的右侧的图标的情况下，同步显示区域DA1将从摄像机111～摄像机114输入的四个运动图像文件以四分割的方式显示于均等的显示区域中(参照图6)。
在同步显示区域DA1中，当想要同步再现多个运动图像文件时，由于各运动图像的比特率的区别，在运动图像的开始、再现中读入时间产生差异。而且，该读入时间的差异的大小受到服务器设备130、视听终端设备140以及将这些设备连接的网络线路(未图示)的处理能力等影响，因此并不固定。因此，在视听终端设备140中，在各画面中的再现运动图像文件的功能(在以后称作再现播放器)之间进行与缓冲时间有关的通讯，来解决上述的问题。
例如，在一个画面(例如主画面)中再现运动图像文件的情况下，在最初的阶段中不读入该运动图像文件的全部数据，例如仅读入最初的5秒钟的数据，在再现该5秒钟的数据的期间读入下一个5秒钟。依次重复该过程，由此实现无中断的再现。
利用这样的将规定时间的数据存储于缓冲器中的时间，例如在一个画面(例如主画面)和其它画面(例如子画面)中同时开始进行再现的情况下，构成为：在主画面的再现播放器结束运动图像文件的5秒的数据的读入的阶段，从主画面的再现播放器向子画面的再现播放器通知该意思，基于该通知使主画面和子画面这两方开始进行再现。
此外，这样的通知不限于通过多个再现播放器同时开始进行再现的情况，还可以在当正在一个再现播放器中再现运动图像文件时在其它再现播放器中开始进行运动图像文件的再现的情况下、当正在多个再现播放器中再现运动图像文件时在其中一部分再现播放器中中断运动图像文件的再现(成为没有进行录像的时间段)等情况下进行。
关联信息显示区域DA2从服务器设备130、未图示的其它装置(或系统)获取与同步显示区域DA1中显示的运动图像文件相关联的信息并选择性地显示。
例如，当在关联信息显示区域DA2中选择了“事件”标签的情况(图5等图示出的状态)下，在关联信息显示区域DA2中显示从管理麻醉给药的未图示的外部系统输入的与手术有关的事件信息(手术的开始、麻醉给药的开始等)以及与该事件信息对应的时刻信息。
或者，当在关联信息显示区域DA2中选择了“备注”标签的情况(图8中图示出的状态)下，在关联信息显示区域DA2中显示与通过后述的捕获处理取得的静止图像对应的时刻(时间码)以及用户对该静止图像附加的备注。
或者，当在关联信息显示区域DA2中选择了“片段”标签的情况(图14中图示出的状态)下，在关联信息显示区域DA2中显示通过后述的片段确定处理指定出的时间段。此外，在以下的说明中，片段是指通过片段确定处理指定出的时间段。
或者，当在关联信息显示区域DA2中选择了“手术方式”标签的情况下(未图示)，在关联信息显示区域DA2中显示通过与在同步显示区域DA1中正同步显示的运动图像文件相同的手术方式记录在服务器设备130中的运动图像文件、与该运动图像文件关联的信息。
或者，当在关联信息显示区域DA2中选择了“诊断名”标签的情况下(未图示)，在关联信息显示区域DA2中显示通过与正在同步显示区域DA1中再现的运动图像文件相同的诊断名记录在服务器设备130中的运动图像文件、与该运动图像文件关联的信息。
或者，当在关联信息显示区域DA2中选择了“相同患者的运动图像”标签的情况下(未图示)，在关联信息显示区域DA2中显示与正在同步显示区域DA1中再现的运动图像文件相同的患者ID相关联地记录在服务器设备130中的运动图像文件、与该运动图像文件关联的信息。
此外，在此列举的关联信息显示区域DA2中显示的信息是例示，可以在关联信息显示区域DA2中显示在此列举的信息以外的其它信息，也可以显示在此列举的信息中的至少一部分。另外，各图中图示出的在关联信息显示区域DA2中显示各种信息时的布局也是例示，在实施本发明时，关联信息显示区域DA2的布局不限于图示的那样。
从未图示的外部系统输入的事件信息和时刻信息被输入至服务器设备130中，以与手术有关的运动图像文件相关联的方式与该运动图像文件一同蓄积在服务器设备130中。即，本发明的外部输入单元由服务器设备130构成。
如通过将图5与图6进行比较可明确的那样，在分割显示为主画面和子画面的情况下和均等地四分割的情况下，同步显示区域DA1和关联信息显示区域DA2在视听终端设备140占有的显示区域的比例不同，后者于前者相比，同步显示区域DA1窄，关联信息显示区域DA2宽。
时间线显示区域DA3针对每个输入系统(按摄像机111～摄像机114)显示表示与手术有关的多个运动图像文件所对应的时间段的时间线。
在此，时间线为线状或带状的显示，表示在哪个时间段进行了运动图像文件的录像、或者在哪个时间段没有进行运动图像文件的录像。
优选的是，时间线显示区域DA3中显示的时间线以与该时间线所涉及的运动图像文件相对应的时间码为基准进行显示。另外，优选各时间线为各种显示方式(例如色彩各不相同等)以能够识别。
在时间线显示区域DA3中，除了显示时间线以外，还以重叠于时间线的方式显示表示在同步显示区域DA1中同步显示的时间点的光标1414(参照图10)。
本实施方式中的光标1414由显示该时间点(时刻和从开始录像时起的经过时间这两方)的外框和跨多个输入系统的线状的显示构成。
光标1414不仅具备表示在同步显示区域DA1中进行同步显示的时间点的作用，例如还具备通过用户的操作使该光标1414沿时间轴在左右方向上滑动由此在同步显示区域DA1中同步显示用户的任意时间点的运动图像文件的功能。
在显示于时间线显示区域DA3的时间线的上方和下方显示标签显示。
在此，显示于时间线的上方的标签显示在时间线上示出与在关联信息显示区域DA2的“事件”标签被选择的情况下显示的事件信息相对应的时刻(时间码)。例如，图10中的标签显示1413为附加于与摄像机111有关的时间线(图示为“视频.1”的时间线)的上方的标签显示，与图7中图示出的“16:50:15手术开始”这个事件信息1412相对应。
而且，显示于时间线的下方的标签显示表示与在选择了关联信息显示区域DA2的“备注”标签的情况下显示的备注信息相对应的时刻(时间码)。例如，图10中的标签显示1415为标附于与摄像机111有关的时间线的下方的标签显示，与图8中图示出的“17:04:08会诊1”这个备注信息1407(通过后述的备注处理输入的信息)以及同时刻的静止图像1404(通过后述的捕获处理取得的信息)相对应。
服务器设备130执行如以下那样的第一标签处理和第二标签处理，以对时间线标附上述的标签显示。
第一标签处理为如下的处理：与时间线显示区域DA3中显示的时间线中包括的某个时间点的时间码相对应地对该时间线的下方标附标签显示。
第二标签处理为如下的处理：基于从外部系统输入的事件信息和时刻信息，与时间线显示区域DA3中显示的时间线中包括的某个时间点的时间码相对应地对该时间线的上方标附标签显示。
第一标签处理为以用户针对视听终端设备140的操作输入(具体地说为后述的捕获图标1426的操作)为契机进行的处理，而第二标签处理为以从外部系统输入规定的信息为契机自动进行的处理，该第一标签处理与该第二标签处理关于这一点不同。
关于标附于时间线的上方或下方的标签显示，也能够通过利用指针1401进行指定来将同步显示区域DA1中同步显示的时间点变更为与指定出的标签显示相对应的时刻(时间码)。此时，光标1414的显示位置也移动至与该时刻对应的位置。
关于标附于时间线的上方或下方的标签显示也是，在该标签显示所表示的时刻(时间码)与光标1414所表示的时间点(在同步显示区域DA1中进行同步显示的时间点)一致的情况下，将与该时刻相对应的事件信息或备注信息重叠显示于与标附有该标签显示的时间线对应的输入系统的运动图像文件的显示区域中。
在分割显示为主画面和子画面的情况下，当使指针1401重叠于主画面时，在主画面中央显示全屏显示图标1402，在主画面右上角部显示表示与正在主画面中再现的运动图像对应的输入系统的输入系统显示1403，在主画面的下部显示从正在主画面中再现的运动图像文件取入的静止图像(通过后述的捕获处理取入的静止图像)(参照图7)。
此时，通过指针1401来操作全屏显示图标1402，由此在主画面中全屏显示再现中的运动图像(未图示)。
另外，在上述的情况下，当使指针1401重叠于在主画面的下部显示的静止图像(例如静止图像1404)时，在该静止图像1404的显示区域上显示备注编辑图标1405和删除图标1406。而且，在主画面上显示同与静止图像1404相对应的备注信息1407同样的备注信息1408(参照图8)。
当通过指针1401来操作删除图标1406时，作为对象的静止图像1404以及与其相对应的备注信息1407被删除，并从视听终端设备140的显示区域中消失。
此外，备注编辑图标1405所涉及的处理相当于本发明的编辑处理，因此在后文中叙述。
在分割显示为主画面和子画面的情况下，当使指针1401重叠于子画面时，在子画面中显示全屏显示图标1409和显示切换图标1410，在子画面右上角部显示表示与正在子画面中再现的运动图像对应的输入系统的输入系统显示1411(参照图9)。
此时，通过指针1401来操作全屏显示图标1409，由此在子画面中全屏显示再现中的运动图像(未图示)。
另外，此时，通过指针1401来操作显示切换图标1410，由此将正在子画面中再现的运动图像切换为正在主画面中再现的运动图像(未图示)。
在时间线显示区域DA3的左下部配设有再现速度选择图标1416(参照图10)。
再现速度选择图标1416为用于选择正在同步显示区域DA1中同步显示的运动图像的再现速度的操作图标。
更详细地说，再现速度选择图标1416为用于从图10所图示的左侧起依次选择“0.5倍速”“等倍速”“1.5倍速”“2倍速”“4倍速”“6倍速”“8倍速”的操作图标。
此外，在此列举的再现速度的选项是一个具体例，能够在本发明的实施中适当地进行变更。
在时间线显示区域DA3的中央下部配设有再现控制用的操作图标(参照图11)。
前跳转图标1417为用于使光标1414的显示位置(在同步显示区域DA1中进行同步显示的时间点)跳转至比该显示位置靠前的最近的“备注”标签的显示位置的操作图标。
30秒返回图标1418为用于将在同步显示区域DA1中同步显示的时间点变更为30秒前的时间点的操作图标。
10秒返回图标1419为用于将在同步显示区域DA1中同步显示的时间点变更为10秒前的时间点的操作图标。
再现图标1420为用于在同步显示区域DA1中开始运动图像文件的再现的操作图标。
停止图标1421为用于使同步显示区域DA1中的运动图像文件的再现停止的操作图标。
10秒前进图标1422为用于将在同步显示区域DA1中同步显示的时间点变更为10秒后的时间点的操作图标。
30秒前进图标1423为用于将同步显示区域DA1中同步显示的时间点变更为30秒后的时间点的操作图标。
后跳转图标1424为用于使光标1414的显示位置(在同步显示区域DA1中进行同步显示的时间点)跳转至比该显示位置靠后侧的最近的“备注”标签的显示位置的操作图标。
此外，在此列举的再现控制用的操作图标是例示，可以设置有在此列举的图标以外的其它再现控制用的操作图标，也可以省去在此列举的再现控制用的操作图标中的至少一部分。
另外，与在此列举的再现控制用的操作图标有关的功能是例示，在实施本发明时通过同样的显示方式设置的操作图标可以实现其它功能。例如，前跳转图标1417或后跳转图标1424可以使光标1414的显示位置跳转至比该显示位置靠前或靠后的最近的“事件”标签的显示位置。
在时间线显示区域DA3的右下部配设有如以下那样的操作图标(参照图12)。
关于分割方式选择部1425，当操作左侧的图标时将同步显示区域DA1分割为主画面和子画面(参照图5)，当操作右侧的图标时对同步显示区域DA1进行四分割(参照图6)。
时间轴选择图标1428为接受将时间线显示区域DA3中的时间轴(横轴)的单位时间(在本实施方式中为1分钟)的显示宽度放大/缩小的操作的按钮。更详细地说，时间轴选择图标1428从图12图示的左侧起依次为使时间线显示区域DA3中的时间轴的单位时间的显示宽度最大的操作图标、使该显示宽度扩大一级的操作图标、使该显示宽度缩小一级的操作图标、使该显示宽度最小的操作图标。
捕获图标1426为用于从正在同步显示区域DA1中同步显示的运动图像文件中捕获静止图像的操作图标。
此外，捕获图标1426所涉及的处理分别相当于本发明的编辑处理，因此在后文中叙述。
<关于同步显示的运动图像文件的编辑处理>
接着，使用图13～图15来说明在同步显示区域DA1中同步显示的运动图像文件的编辑处理。
图13是表示在视听终端设备140中捕获弹出了处理画面DA4的情况下的具体例的图。图14是表示在视听终端设备140中选择了“片段”标签的情况下的具体例的图。图15是将选择了“片段”标签的情况下的关联信息显示区域DA2放大后的放大图。
当通过指针1401来操作捕获图标1426时，在视听终端设备140中弹出用于接受与捕获处理有关的操作的捕获处理画面DA4(参照图13)。
在此，“弹出”是指显示于比在视听终端设备140中显示的其它显示区域(例如同步显示区域DA1、时间线显示区域DA3等)靠前面(上级的播放器)的位置。
在捕获处理画面DA4中取入(捕获)在操作捕获图标1426的时间点在同步显示区域DA1中同步显示的运动图像文件的图像(在图13中为主画面的图像(视频1的图像))，显示为静止图像1433。
在捕获处理画面DA4中，除了显示静止图像1433以外，还显示用于输入备注信息的备注输入栏1430、用于保存捕获到的静止图像的保存图标1431、用于取消捕获处理画面DA4的显示(停止捕获处理)的删除图标1432。
用户能够基于用户针对未图示的操作单元(例如键盘等)进行的操作输入，将任意的备注信息输入至备注输入栏1430中。
当在向备注输入栏1430输入文本信息的基础上通过指针1401保存图标1431对进行操作时，输入的备注信息与静止图像1433以及同静止图像1433对应的时间码相对应地保存于服务器设备130中。
在当没有向备注输入栏1430输入文本信息且通过指针1401对保存图标1431进行操作时，能够识别出没有输入文本信息的意思的备注信息(例如“Untitled”等)与静止图像1433以及同静止图像1433对应的时间码相对应地保存于服务器设备130中。
不限于对捕获图标1426进行了操作的情况，在对备注编辑图标1405进行了操作的情况下，也同样地在视听终端设备140中弹出捕获处理画面DA4。
关于该情况下的捕获处理画面DA4的显示方式、根据各操作图标的操作进行的处理，也与上述同样，因此省去详细的说明。
当整理上述的捕获处理时，如以下那样。
首先，服务器设备130能够响应于捕获图标1426的操作执行如下的捕获处理：取出与在时间线显示区域DA3中显示的时间线对应的运动图像文件中包括的图像来作为静止图像。
并且，在执行上述的捕获处理的情况下，服务器设备130一并执行以下的处理：第一标签处理，同与该图像对应的时间码(即该时间线中包括的某个时间点的时间码)相对应地，在该时间线的下方标附标签显示；以及备注处理，同与通过第一标签处理标附的标签显示对应的时间码相对应地，基于用户的输入操作来输入任意的备注。
即，捕获图标1426的操作是作为捕获处理、第一标签处理以及备注处理的契机的用户的操作输入。此外，关于成为上述的捕获处理和第一标签处理的对象的时间线，在本实施方式的各图中图示为只有“视频.1”所涉及的时间线(与摄像机111有关的时间线)，但可以将其它时间线(与摄像机112～114有关的时间线)作为对象来执行同样的处理。
利用医疗运动图像处理系统100的用户在执行如上述那样的捕获处理时，能够一边参照同步显示区域DA1中显示的运动图像、关联信息显示区域DA2中显示的关联信息以及时间线显示区域DA3中显示的时间线(时间序列上方)一边执行该捕获处理。因而，用户能够容易地从正在同步显示区域DA1中显示的运动图像文件中找出并且保存期望的静止图像。
接着，当通过指针1401来操作关联信息显示区域DA2的“片段”标签时，显示用于接受与片段确定处理有关的操作的各种操作图标等以及由片段确定处理指定出的片段的一览(参照图14)。
此外，在本实施方式中，以在关联信息显示区域DA2中显示与片段确定处理有关的操作图标等的实施方式进行说明，但可以与捕获处理同样地，包括与片段确定处理有关的操作图标的其它显示区域中视听终端设备140的画面上弹出。
在关联信息显示区域DA2的“片段”标签中进行如下显示(参照图15)。
片段显示部1440显示在从前指定出的片段。按照图15中图示的例子而言，片段显示部1440通过无图案的时间线表示进行录像的整个时间段，用阴影部表示通过片段确定处理指定出的各片段相当于该整个时间段中的哪个时间段。在此，“进行录像的整个时间段”是指在进行手术的期间摄像机111～114中的至少一个进行拍摄的时间段的总和。在本实施方式中，从摄像机111输入的运动图像文件是在进行手术的整个期间进行录像而得到的，因此与该运动图像文件有关的时间线(在图5等中图示为“视频.1”的时间线)表示的时间段与“录像的整个时间段”相等。即，片段显示部1440中的时间线的无图案的部分表示与同步显示区域DA1中显示的“视频.1”的运动图像文件的录像时间同等的时间长度。
输入系统指定框1441为用于指定在片段显示部1440中显示的各片段(用阴影部表示的时间段)中以该片段作为对象的输入系统(摄像机111～摄像机114)的复选框。例如，当勾选记载为“V1”“V2”“V3”“V4”的复选框时，从摄像机111、摄像机112、摄像机113、摄像机114输入的运动图像文件分别成为对象。各复选框能够通过利用指针1401进行的操作被用户任意地勾选或者取消勾选。其中，构成为：当在各片段中不存在与复选框对应的输入系统的运动图像文件的情况下(没有录像的情况下)，该复选框不能够勾选，使得无法进行无用的指定。
片段序号显示部1436包括该片段的识别序号(例如记载为“#1”～“#6”等)和指定该片段的复选框。片段序号显示部1436中包括的复选框使用于与后述的片段删除图标1447、下载图标1448的操作相应的处理中。
单独再现图标1437为用于接受使与该片段相对应的运动图像文件同步显示于同步显示区域DA1中的操作的操作图标。响应于单独再现图标1437的操作同步显示的运动图像文件与在片段显示部1440中显示的片段对应，并且，是通过输入系统指定框1441指定出的输入系统的运动图像文件。
单独下载图标1438用于接受使该片段下载至指定的保存目的地(通过后述的保存目的地复选框1445指定出的存储区域)的操作的操作图标。响应于单独下载图标1438的操作而被下载的运动图像文件与在片段显示部1440中显示的片段对应，并且，是通过输入系统指定框1441指定出的输入系统的运动图像文件。
开始结束输入栏1444为用于接受通过片段确定处理指定的开始时间点和结束时间点的输入的显示栏。开始结束输入栏1444从左侧起依次包括以“小时”单位输入数值的栏、以“分钟”单位输入数值的栏以及以“秒”单位输入数值的栏。用户能够基于用户针对未图示的操作单元(例如键盘等)进行的操作输入向开始结束输入栏1444的各栏中输入任意的数值。
开始时间点设定图标1442为用于接受将光标1414的显示位置(在同步显示区域DA1中进行同步显示的时间点)输入至开始结束输入栏1444中的开始时间点的显示栏中的操作的操作图标。
结束时间点设定图标1443为用于接受将光标1414的显示位置(在同步显示区域DA1中进行同步显示的时间点)输入至开始结束输入栏1444中的结束时间点的显示栏中的操作的操作图标。
保存目的地复选框1445为用于指定在响应于单独下载图标1438、下载图标1448的操作进行的下载处理中成为保存目的地的存储区域的复选框。此外，在图15中记载为“我的视频(My Video)”的存储区域是指为了在该时间点登录着的用户而设置于服务器设备130中的存储区域，“视听终端”是指用户在该时间点阅览的设置于视听终端设备140中的存储区域。
片段追加图标1446为用于接受根据在该时间点输入至开始结束输入栏1444中的开始时间点和结束时间点追加要显示于片段显示部1440中的片段的操作的操作图标。
片段删除图标1447为用于接受删除(从片段显示部1440中显示的一览中去除)在该时间点在片段序号显示部1436的复选框中被选中的片段的操作的操作图标。
下载图标1448为接受将以下运动图像文件下载至通过保存目的地复选框1445指定出的存储区域中的操作的操作图标，该运动图像文件与在该时间点在片段序号显示部1436的复选框中被选中的片段对应，并且是各片段中的通过输入系统指定框1441指定出的输入系统的运动图像文件。
服务器设备130执行基于如上述那样的输入和设定来确定从时间线显示区域DA3中显示的时间线中包括的开始时间点(第一时间点)的时间码起至结束时间点(第二时间点)的时间码为止的时间段的片段确定处理。
服务器设备130能够执行以下的下载处理：从与通过片段确定处理确定出的时间段(区域)中包括的时间码相对应的运动图像文件中下载该时间段的影像部分。另外，如记载为“#1”的片段那样，在指定出多个与该片段中包括的时间码相对应的运动图像文件的情况下，服务器设备130能够对指定出的多个运动图像文件统一地执行下载处理。
利用医疗运动图像处理系统100的用户能够执行如上述那样的下载处理，因此能够容易地得到仅提取出在期望的时间段拍摄到的影像部分的一个或多个新的运动图像文件。
<关于本发明的变形例>
至此按照使用各图说明的实施方式说明了本发明，但本发明并不限定于上述的实施方式，还包括能够达成本发明的目的的各种变形、改进等方式。
在上述的实施方式的说明中，以图1中图示的构成要素为前提进行了说明，但本发明的各构成要素以实现其功能的方式形成即可。因而，本发明的各构成要素无需为分别独立的存在，容许多个构成要素形成为一个构件、一个构成要素由多个构件形成、某个构成要素为其它构成要素的一部分、某个构成要素的一部分与其它构成要素的一部分重复等。
例如，本发明所涉及的医疗运动图像处理系统可以不包括相当于摄像机111～摄像机114的摄影装置，可以对从系统外部的摄影装置输入的运动图像文件进行处理，也可以对从与摄影装置不同的装置(例如医疗用的测量装置等)输入的运动图像文件进行处理。
在上述的实施方式中叙述的各种操作是一个具体例，本发明的实施不限于此。因而，上述的各操作可以置换为其它操作，也可以省去一部分，还可以追加没有通过实施方式说明的其它操作。
在上述的实施方式中叙述的各种显示方式是一个具体例，但本发明的实施并不限于此。因而，上述的各显示可以置换为其它显示，可以省去一部分，也可以追加没有通过实施方式说明的其它显示。
在上述的实施方式中叙述的各种编辑处理是一个具体例，但本发明的实施并不限于此。因而，上述的各编辑处理可以省去一部分，也可以追加没有通过实施方式说明的其它编辑处理。
例如，图示出通过上述的第一标签处理、第二标签处理被标附标签显示的时间线只是与摄像机111对应的时间线，但可以对其它时间线标附标签显示。
在上述的实施方式中，设为从摄像机111输入的运动图像文件为在进行手术的整个期间中进行录像得到的，并且设是与该运动图像文件有关的时间线(在图5等中图示为“视频(video).1”的时间线)等同于进行手术的期间进行了说明，但本发明的实施并不限于该方式。即，在本发明的实施中，无需一定具有在进行手术的整个期间进行录像得到的运动图像文件，在视听终端设备140(同步显示区域DA1)中同步显示的全部的运动图像文件可以包括停止录像的时间段。
在上述的实施方式中，说明了使用关联信息显示区域DA2的“片段”标签中显示的操作图标等确定成为下载处理的对象的片段的方法，但确定片段的处理不限于这样的方法，也能够通过以下的方法进行输入。
例如，也容许通过指针1401指定标附于时间线的上方和下方的标签显示(通过第一标签处理或第二标签处理被标附的标签显示)，输出与指定出的标签显示相对应的时刻(时间码)来作为片段的开始时间点、结束时间点。换言之，可以在执行片段确定处理的情况中的至少一部分情况下，基于用户进行的指定通过第一标签处理或第二标签处理被标附的标签显示的操作输入，来确定片段的开始时间点(第一时间点)和片段的结束时间点(第二时间点)中的至少一方。
在上述的实施方式中叙述的各操作图标的显示位置为一个具体例，本发明的实施并不限于此。但是，关于本发明的编辑处理所涉及的操作图标，优选显示于能够一边参照时间线显示区域和同步显示区域一边进行操作的位置。换言之，优选的是，本发明的编辑处理所涉及的操作图标显示于显示本发明的时间线显示区域和同步显示区域的显示单元中。在此，“显示于显示时间线显示区域和同步显示区域的显示单元中”这个概念不限于显示于同一显示框(外框)中，也包括如上述的实施方式那样显示于各个显示框(参照图13、图14)中、分别显示于处于同一平台的控制下的多个显示装置(多重监视器)中等。
本实施方式包括以下的技术思想。
(1)一种医疗运动图像处理系统，具备：运动图像输入单元，其将与手术有关的多个运动图像文件分开输入至多个输入系统；存储单元，其将所述运动图像输入单元输入的多个运动图像文件与以进行所述手术的期间的某个时间点为起点决定的共同的时间码相对应地进行存储；显示单元，其显示所述存储单元中存储的多个运动图像文件以及与运动图像文件有关的信息；以及操作输入单元，其接受用户针对所述显示单元进行的操作输入，其中，所述显示单元的显示区域包括时间线显示区域和同步显示区域，在所述时间线显示区域中，针对每个所述输入系统分开显示表示与所述手术有关的多个运动图像文件所对应时间段的多个时间线，在所述同步显示区域中，同步显示与在所述时间线显示区域中显示的该时间线对应的多个运动图像文件中包括的图像中的、与所述时间线中包括的某个时间点的所述时间码相对应的多个图像中的至少一部分，所述医疗运动图像处理系统还具备编辑单元，所述编辑单元基于所述操作输入单元接受的操作输入来执行与在所述同步显示区域中同步显示的运动图像文件有关的编辑处理。
(2)根据(1)所述的医疗运动图像处理系统，所述编辑单元执行以下处理：第一标签处理，与所述时间线显示区域中显示的所述时间线中包括的某个时间点的所述时间码相对应地，基于用户的操作输入对该时间线标附标签显示；以及备注处理，与同通过所述第一标签处理标附的标签显示对应的所述时间码相对应地，基于用户的操作输入来输入任意的备注。
(3)根据(2)所述的医疗运动图像处理系统，所述编辑单元在执行捕获处理的情况下，执行所述第一标签处理来与同该图像对应的所述时间码相对应地标附标签显示，所述捕获处理是将与在所述时间线显示区域中显示的所述时间线对应的运动图像文件中包括的图像作为静止图像取出的处理。
(4)根据(2)或(3)所述的医疗运动图像处理系统，所述编辑单元执行以下处理：确定处理，基于用户的操作输入来确定从所述时间线显示区域中显示的所述时间线中包括的第一时间点的所述时间码起至第二时间点的所述时间码为止的时间段；以及下载处理，从与通过所述确定处理确定出的时间段中包括的所述时间码相对应的运动图像文件中下载该时间段的影像部分。
(5)根据(4)所述的医疗运动图像处理系统，所述编辑单元在指定了多个与通过所述确定处理确定出的所述时间段中包括的所述时间码相对应的运动图像文件的情况下，对多个运动图像文件执行所述下载处理。
(6)根据(4)或(5)所述的医疗运动图像处理系统，在执行所述确定处理的情况中的至少一部分情况下，基于用户的指定通过所述第一标签处理标附的标签显示的操作输入来确定所述第一时间点和所述第二时间点中的至少一方。
(7)根据(1)至(6)中的任一项所述的医疗运动图像处理系统，还具备外部输入单元，所述外部输入单元从外部系统输入与所述手术有关的事件信息以及与该事件信息对应的时刻信息，所述编辑单元执行如下的第二标签处理：基于所述外部输入单元输入的所述事件信息和所述时刻信息，与所述时间线显示区域中显示的所述时间线中包括的某个时间点的所述时间码相对应地对该时间线标附标签显示。
(8)根据从属于(4)至(6)的(7)所述的医疗运动图像处理系统，在执行所述确定处理的情况中的至少一部分情况下，基于用户的指定通过所述第二标签处理标附的标签显示的操作输入来确定所述第一时间点和所述第二时间点中的至少一方。
(9)根据(1)至(8)中的任一项所述的医疗运动图像处理系统，还具备：多个摄影装置，所述多个摄影装置拍摄所述手术的手术区以及显示与所述手术的手术接受者有关的生物体信息的生物体信息监视器；以及摄影控制单元，其基于用户的操作来进行与利用多个所述摄影装置进行的摄影有关的控制，其中，多个所述运动图像输入单元针对所述多个所述摄影装置的每个所述摄影装置输入运动图像文件。
本申请主张在2017年12月27日申请的日本申请特愿2017-251482的优先权，将其公开的全部引入至此。
附图标记说明
100：运动图像处理系统；111、112、113、114：摄像机；120：编码器；130：服务器设备；140：视听终端设备；1201：输入画面；1202：输出画面；1203：状态显示；1204：录像开始按钮；1205：录像停止按钮；1206：静止图像摄影按钮；1207：录像暂时停止按钮；1208：手术信息显示；1209：输出信息显示；1210：扩展显示工作按钮；1211、1212、1213：子画面；1214：扩展显示停止按钮；1401：指针；1402、1409：全屏显示图标；1403：输入系统显示；1404：静止图像；1405：备注编辑图标；1406：删除图标；1407、1408：备注信息；1410：显示切换图标；1411：输入系统显示；1412：事件信息；1413、1415：标签显示；1414：光标；1416：再现速度选择图标；1417：前跳转图标；1418：30秒返回图标；1419：10秒返回图标；1420：再现图标；1421：停止图标；1422：10秒前进图标；1423：30秒前进图标；1424：后跳转图标；1425：分割方式选择部；1426：捕获图标；1428：时间轴选择图标；1430：备注输入栏；1431：保存图标；1432：删除图标；1433：静止图像；1436：片段序号显示部；1437：单独再现图标；1438：单独下载图标；1440：片段显示部；1441：输入系统指定框；1442：开始时间点设定图标；1443：结束时间点设定图标；1444：开始结束输入栏；1445：保存目的地复选框；1446：片段追加图标；1447：片段删除图标；1448：下载图标；DA1：同步显示区域；DA2：关联信息显示区域；DA3：时间线显示区域；DA4：捕获处理画面。

Claims (9)

1.一种医疗运动图像处理系统，具备：
运动图像输入单元，其将与手术有关的多个运动图像文件分开输入至多个输入系统；
存储单元，其将所述运动图像输入单元输入的多个运动图像文件与以进行所述手术的期间的某个时间点为起点决定的共同的时间码相对应地存储；
显示单元，其显示所述存储单元中存储的多个运动图像文件以及与运动图像文件有关的信息；以及
操作输入单元，其接受用户针对所述显示单元进行的操作输入，
其中，所述显示单元的显示区域包括时间线显示区域和同步显示区域，
在所述时间线显示区域中，针对每个所述输入系统分开显示表示与所述手术有关的多个运动图像文件所对应的时间段的多个时间线，
在所述同步显示区域中，同步显示与在所述时间线显示区域中显示的所述时间线对应的多个运动图像文件中包括的图像中的、与该时间线中包括的某个时间点的所述时间码相对应的多个图像的至少一部分，
所述医疗运动图像处理系统还具备编辑单元，所述编辑单元基于所述操作输入单元接受的操作输入来执行与在所述同步显示区域中同步显示的运动图像文件有关的编辑处理。
2.根据权利要求1所述的医疗运动图像处理系统，其特征在于，
所述编辑单元执行以下处理：
第一标签处理，与所述时间线显示区域中显示的所述时间线中包括的某个时间点的所述时间码相对应地，基于用户的操作输入对该时间线标附标签显示；以及
备注处理，与同通过所述第一标签处理标附的标签显示对应的所述时间码相对应地，基于用户的操作输入来输入任意的备注。
3.根据权利要求2所述的医疗运动图像处理系统，其特征在于，
所述编辑单元在执行捕获处理的情况下，执行所述第一标签处理来与同该图像对应的所述时间码相对应地标附标签显示，所述捕获处理是将与在所述时间线显示区域中显示的所述时间线对应的运动图像文件中包括的图像作为静止图像取出的处理。
4.根据权利要求2或3所述的医疗运动图像处理系统，其特征在于，
所述编辑单元执行以下处理：
确定处理，基于用户的操作输入来确定从所述时间线显示区域中显示的所述时间线中包括的第一时间点的所述时间码起至第二时间点的所述时间码为止的时间段；以及
下载处理，从与通过所述确定处理确定出的时间段中包括的所述时间码相对应的运动图像文件中下载该时间段的影像部分。
5.根据权利要求4所述的医疗运动图像处理系统，其特征在于，
所述编辑单元在指定了多个与通过所述确定处理确定出的所述时间段中包括的所述时间码相对应的运动图像文件的情况下，对多个运动图像文件执行所述下载处理。
6.根据权利要求4或5所述的医疗运动图像处理系统，其特征在于，
在执行所述确定处理的情况中的至少一部分情况下，基于用户的指定通过所述第一标签处理标附的标签显示的操作输入来确定所述第一时间点和所述第二时间点中的至少一方。
7.根据权利要求1至6中的任一项所述的医疗运动图像处理系统，其特征在于，
还具备外部输入单元，所述外部输入单元从外部系统输入与所述手术有关的事件信息以及与该事件信息对应的时刻信息，
所述编辑单元执行如下的第二标签处理：基于所述外部输入单元输入的所述事件信息和所述时刻信息，与所述时间线显示区域中显示的所述时间线中包括的某个时间点的所述时间码相对应地对该时间线标附标签显示。
8.根据从属于权利要求4至6的权利要求7所述的医疗运动图像处理系统，其特征在于，
在执行所述确定处理的情况中的至少一部分情况下，基于用户的指定通过所述第二标签处理标附的标签显示的操作输入来确定所述第一时间点和所述第二时间点中的至少一方。
9.根据权利要求1至8中的任一项所述的医疗运动图像处理系统，其特征在于，还具备：
多个摄影装置，所述多个摄影装置拍摄所述手术的手术区以及显示与所述手术的手术接受者有关的生物体信息的生物体信息监视器；以及
摄影控制单元，其基于用户的操作来进行与利用多个所述摄影装置进行的摄影有关的控制，
其中，多个所述运动图像输入单元针对所述多个所述摄影装置的每个所述摄影装置输入运动图像文件。
CN201880084167.7A 2017-12-27 2018-11-01 医疗运动图像处理系统 Active CN111512637B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017251482A JP6369706B1 (ja) 2017-12-27 2017-12-27 医療動画処理システム
JP2017-251482 2017-12-27
PCT/JP2018/040759 WO2019130813A1 (ja) 2017-12-27 2018-11-01 医療動画処理システム

Publications (2)

Publication Number Publication Date
CN111512637A true CN111512637A (zh) 2020-08-07
CN111512637B CN111512637B (zh) 2022-08-02

Family

ID=63104350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084167.7A Active CN111512637B (zh) 2017-12-27 2018-11-01 医疗运动图像处理系统

Country Status (4)

Country Link
US (1) US11341999B2 (zh)
JP (1) JP6369706B1 (zh)
CN (1) CN111512637B (zh)
WO (1) WO2019130813A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440136B1 (ja) * 2018-09-06 2018-12-19 株式会社Ｍｅｄｉ Ｐｌｕｓ 医療映像スイッチャー
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
WO2020202527A1 (ja) 2019-04-04 2020-10-08 オリンパス株式会社 画像記録装置
US12057141B2 (en) * 2019-08-02 2024-08-06 Blackmagic Design Pty Ltd Video editing system, method and user interface
JP6857372B1 (ja) 2020-02-06 2021-04-14 株式会社Ｍｅｄｉ Ｐｌｕｓ 医療映像処理システム及びエンコード装置
US20230395096A1 (en) * 2022-06-03 2023-12-07 Dragonfruit Ai, Inc. Managing video streams for a timeline based on identified objects of interest

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578445A (zh) * 2003-07-09 2005-02-09 佳能株式会社 运动图像编辑装置及其控制方法
CN1589570A (zh) * 2001-09-14 2005-03-02 索尼株式会社 网络信息处理系统和信息处理方法
US20080306766A1 (en) * 2007-06-07 2008-12-11 Kabushiki Kaisha Toshiba Examination-data processing apparatus and examination system
CN101379824A (zh) * 2006-02-07 2009-03-04 东京电力株式会社 内容编辑生成系统
CN101855674A (zh) * 2007-11-07 2010-10-06 汤姆森特许公司 编辑装置、编辑方法、以及编辑程序
JP2015509026A (ja) * 2012-01-31 2015-03-26 ギブン イメージング リミテッドＧｉｖｅｎ Ｉｍａｇｉｎｇ Ｌｔｄ． 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法
US20150302605A1 (en) * 2014-04-18 2015-10-22 Kabushiki Kaisha Toshiba Medical image diagnosis apparatus and medical image processing apparatus
WO2016046906A1 (ja) * 2014-09-24 2016-03-31 株式会社Ｇｆｌ 動画評価装置、動画評価方法、及び動画評価システム
EP3018578A1 (en) * 2014-11-04 2016-05-11 Displaynote Technologies Limited Method of synchronising multimedia content across a plurality of devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195869A (ja) 2000-01-07 2001-07-19 Hitachi Ltd 実行時刻付きコマンド列の編集方法及びこれを用いた装置及びこれ用いて記録した媒体
JP3660887B2 (ja) 2001-03-19 2005-06-15 株式会社日立製作所 手術支援装置
US20140308650A1 (en) * 2013-04-12 2014-10-16 Pearson Education, Inc. Evaluation control
CN104274034B (zh) 2013-07-08 2016-04-20 东莞市银燕塑料容器有限公司 一种吸管及其杯盖
US9539441B2 (en) * 2013-09-13 2017-01-10 Elekta Ab (Publ) Radiotherapy system with advanced graphical user interface
US20170099479A1 (en) * 2014-05-20 2017-04-06 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
US11322248B2 (en) * 2015-03-26 2022-05-03 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium for event and error prediction
US10078644B1 (en) * 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US10440346B2 (en) * 2016-09-30 2019-10-08 Medi Plus Inc. Medical video display system
WO2018083152A1 (en) * 2016-11-02 2018-05-11 Tomtom International B.V. Creating a digital media file with highlights of multiple media files relating to a same period of time
US10560609B2 (en) * 2016-11-04 2020-02-11 Karl Storz Endoscopy-America, Inc. System and related method for synchronized capture of data by multiple network-connected capture devices
US10223591B1 (en) * 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
US20190019533A1 (en) * 2017-07-17 2019-01-17 Mashlink, Inc. Methods for efficient annotation of audiovisual media
CN113229961A (zh) * 2017-09-04 2021-08-10 梶田大树 照相机系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589570A (zh) * 2001-09-14 2005-03-02 索尼株式会社 网络信息处理系统和信息处理方法
CN1578445A (zh) * 2003-07-09 2005-02-09 佳能株式会社 运动图像编辑装置及其控制方法
CN101379824A (zh) * 2006-02-07 2009-03-04 东京电力株式会社 内容编辑生成系统
US20080306766A1 (en) * 2007-06-07 2008-12-11 Kabushiki Kaisha Toshiba Examination-data processing apparatus and examination system
JP2008301984A (ja) * 2007-06-07 2008-12-18 Toshiba Corp 検査データ処理装置及び検査システム
CN101855674A (zh) * 2007-11-07 2010-10-06 汤姆森特许公司 编辑装置、编辑方法、以及编辑程序
JP2015509026A (ja) * 2012-01-31 2015-03-26 ギブン イメージング リミテッドＧｉｖｅｎ Ｉｍａｇｉｎｇ Ｌｔｄ． 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法
US20150302605A1 (en) * 2014-04-18 2015-10-22 Kabushiki Kaisha Toshiba Medical image diagnosis apparatus and medical image processing apparatus
JP2015211831A (ja) * 2014-04-18 2015-11-26 株式会社東芝 医用画像診断装置及び医用画像処理装置
WO2016046906A1 (ja) * 2014-09-24 2016-03-31 株式会社Ｇｆｌ 動画評価装置、動画評価方法、及び動画評価システム
EP3018578A1 (en) * 2014-11-04 2016-05-11 Displaynote Technologies Limited Method of synchronising multimedia content across a plurality of devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张福炎: "多媒体计算机及其应用", 《大学化学》, no. 04, 30 August 1994 (1994-08-30) *

Also Published As

Publication number Publication date
JP6369706B1 (ja) 2018-08-08
WO2019130813A1 (ja) 2019-07-04
US20210065746A1 (en) 2021-03-04
US11341999B2 (en) 2022-05-24
JP2019118040A (ja) 2019-07-18
CN111512637B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN111512637B (zh) 医疗运动图像处理系统
US20070106675A1 (en) Electronic apparatus, playback management method, display control apparatus, and display control method
JP3890246B2 (ja) 撮像装置
US20040034869A1 (en) Method and system for display and manipulation of thematic segmentation in the analysis and presentation of film and video
US20020186958A1 (en) Image reproduction apparatus
CN101094397A (zh) 图像监视系统以及图像监视程序
EP1347455A2 (en) Contents recording/playback apparatus and contents edit method
CN111937071B (zh) 医疗运动图像处理系统
JP2008010979A (ja) カメラ装置
US12003882B2 (en) Information processing devices, methods, and computer-readable medium for performing information processing to output video content using video from multiple video sources including one or more pan-tilt-zoom (PTZ)-enabled network cameras
JP2002152721A (ja) 録画再生装置の映像表示方法および装置
JPH1051733A (ja) 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
CN101668150A (zh) 信息处理装置
US8760541B2 (en) Shooting apparatus and mode setting method for controlling a shooting mode of a shooting apparatus
KR20100117943A (ko) 멀티영상 편집장치 및 재생장치
JP2007124538A (ja) 電子機器、及び、再生管理方法
JP4689341B2 (ja) 画像表示装置及び画像表示システム
JP2000222417A (ja) 画像ファイリング装置
US20080267581A1 (en) Method for editing list of moving image files
JP2005269342A (ja) 記録再生装置
KR101027529B1 (ko) 멀티영상 편집장치 및 재생장치
JP2001128098A (ja) 医療情報記録再生装置及び医療情報再生装置
JP4905761B2 (ja) 映像表示方法
JPH04294392A (ja) プレゼンテーションシステム
JP2006092681A (ja) 画像管理方法、画像管理装置及び画像管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant