CN110741334A - 显示控制设备、显示控制方法和显示控制程序 - Google Patents

Abstract

一种显示控制装置，设置有：控制单元，用于执行如下控制：显示从检索对象图像组中提取的多个代表图像；以及指示在检索对象图像组中存在除代表图像之外的图像并且以与代表图像不同的形态在所述多个代表图像之间的显示的图像组信息。

Description

显示控制设备、显示控制方法和显示控制程序

技术领域

本技术涉及显示控制设备、显示控制方法和显示控制程序。

背景技术

当前，许多用户使用诸如智能电话和平板终端的终端设备，并且在终端设备的存储单元中保留大量图像。由于从大量图像中找到期望图像并不容易，因此提出了一种用于用户搜索期望图像的图像搜索方法(专利文献1)。

引文列表

专利文献

专利文献1：日本特开2007-300659号公报

发明内容

本发明要解决的问题

在专利文献1的方法中，在用户不了解捕获要搜索的图像的正确日期和时间的情况下，需要频繁地改变搜索显示形式，这在搜索期望图像上花费时间和精力。此外，还存在这样的问题，即，作为待显示的代表图像，有可能在用户身上没有太多印象的无意义的图像(例如，在该日期和时间首先捕获的图像)被指定，从而导致对用户搜索没有帮助的问题。

鉴于这样的问题而做出了本技术，并且本发明的目的是提供一种可以容易地从多个图像中找到期望图像的显示控制设备、显示控制方法和显示控制程序。

问题的解决方案

为了解决上述问题，第一技术是一种显示控制设备，包括：控制单元，该控制单元执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

此外，第二技术是一种显示控制方法，用于执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

此外，第三技术是一种显示控制程序，该显示控制程序使计算机执行显示控制方法，该显示控制方法用于执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

发明的效果

根据本技术，可以容易地从多个图像中找到期望图像。注意，这里描述的效果不必被限制，而是也可以是本说明书中描述的任意效果。

附图说明

图1是示出终端设备的配置的框图。

图2是示出显示控制处理的流程的流程图。

图3A、图3B和图3C是示出在显示单元上显示的图像搜索用户界面的视图。

图4A、图4B和图4C是示出在显示单元上显示的图像搜索用户界面的视图。

图5是说明在图像搜索用户界面上显示的图像的顺序的视图。

图6是说明在图像搜索用户界面上显示的图像的顺序的视图。

图7是基于图像的直方图提取代表图像的说明图。

图8是示出图像搜索用户界面的另一示例的图。

图9是示出图像搜索用户界面的另一示例的图。

图10是示出代表图像提取的另一示例的处理的流程图。

图11是缩略图显示的说明图。

图12是示出图像搜索用户界面的另一示例的视图。

图13是示意性地示出手术室系统的整体配置的图。

图14是示出集中式操纵面板上的操作画面的显示示例的图。

图15是示出应用了手术室系统的手术状态的示例的图。

图16是示出图15所示的摄像机头和CCU的功能配置的示例的框图。

具体实施方式

下面参考附图描述本技术的实施例。注意，将按照以下顺序进行描述。

<1.实施例>

[1-1.终端设备的配置]

[1-2.显示控制处理]

[1-3.代表图像]

<2.应用示例>

<3.变体>

<1.实施例>

[1-1.终端设备的配置]

根据本技术的显示控制设备在诸如个人计算机、平板终端或智能电话的终端设备中操作，并且显示用于使用户易于从作为保存在终端设备100中的搜索目标的多个图像(在下文中称为搜索目标图像组)中找到图像的用户界面。在本实施例中，显示控制设备是在包括具有触摸面板的功能的显示单元140的终端设备100中操作的显示控制单元160。此外，给出了终端设备100是智能电话的情况的示例的描述。

参照图1描述终端设备100。终端设备100包括控制单元110、存储单元120、通信单元130、显示单元140、输入单元150和显示控制单元160。

控制单元110包括中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)等。ROM存储由CPU读取和操作的程序等。RAM用作CPU的工作存储器。CPU通过根据存储在ROM中的程序执行各种处理并发出命令来控制整个终端设备100。

存储单元120是大容量存储介质，例如硬盘或SD存储卡。存储单元120可以保存内容、应用程序等，诸如图像数据、视频数据或文档文件。图像以基于例如联合照相专家组(JPEG)等的标准的压缩状态保存。此外，包括与保存的图像相关联的信息和诸如捕获的日期和时间的元信息的可交换图像文件格式(EXIF)数据也与图像相关联并被保存。

通信单元130是用于与外部设备、因特网等进行通信的通信模块、通信连接器等。通信单元130进行的通信可以是有线通信(诸如USB通信)，也可以是无线通信(诸如无线LAN(诸如Wi-Fi)、蓝牙、ZigBee、4G(第四代移动通信系统)或宽带)。

显示单元140是包括例如液晶显示器(LCD)、等离子体显示面板(PDP)、有机电致发光(EL)面板等的显示装置。显示单元140显示终端设备100的用户界面、保存在存储单元120中的内容(诸如图像、视频，文档文件)、根据本技术的图像搜索用户界面等。

输入单元150接受用户对终端设备100的操作输入。当对输入单元150进行用户输入时，生成与该输入相对应的控制信号，并将其输出到控制单元110。然后，控制单元110执行算术处理并控制与控制信号相对应的终端设备100。输入单元150包括被配置为与显示单元140一体的触摸面板；通过手指在不与显示单元140一体的称为轨迹板或触摸板的平板形传感器上跟踪进行操纵的定点装置；键盘；鼠标等。在本实施例中，显示单元140是被配置为与输入单元150一体的触摸面板，并且当用户用手指或手写笔接触显示单元140时执行输入。

显示控制单元160在显示单元140上显示图像搜索用户界面，并且基于来自用户的输入执行显示控制。显示控制单元160包括文件获取单元161、代表图像提取单元162、缩略图创建单元163和显示处理单元164。

文件获取单元161通过显示控制单元160的处理从存储单元120等获取在显示单元140上显示的搜索目标图像。代表图像提取单元162执行从搜索目标图像组中提取代表图像的处理。稍后将描述代表图像的细节和代表图像的显示方面。

搜索目标图像组是保存在终端设备100的存储单元120中的图像，并且例如是终端设备100作为功能包括的图像文件夹中存在的全部图像。此外，在将图像预先分类为图像文件夹中的多个子文件夹的情况下，搜索目标图像组可以是存在于任意子文件夹中的全部图像。此外，搜索目标图像组可以是夹在图像文件夹中以捕获/获取的顺序排列的多个图像中指定的两个图像之间的全部图像。如果用户可以在使用根据本技术的图像搜索用户界面之前将图像文件夹的范围指定为搜索目标图像组就足够了。

代表图像是“用户先前已经对其执行了预定处理或操纵的图像”和/或“包括多级颜色信息的图像”。

这样的图像可能生动地保留在用户的存储器中，并且可能被认为是用户搜索的期望图像。代表图像是以在搜索目标图像组中的图像的排列顺序间隔开的图像。短语“以排列顺序间隔开”是指，在以特定排列顺序将图像保存在存储单元120(图像文件夹等)中的状态下，所提取的代表图像远离(不紧邻)排列顺序中的另一代表图像。特定排列顺序的示例包括捕获/获取的顺序，并且以捕获/获取的顺序间隔开指示例如以捕获/获取的顺序按照时段(时间、小时、分钟、秒、季节、年份、月、天等)间隔开。“按照时段间隔开”仅是示例，并且代表图像可以基于任意基准而间隔开，只要从以特定排列顺序排列的多个图像中提取的代表图像以排列顺序间隔开即可。此外，特定排列顺序包括由用户决定和设置的排列顺序、由终端设备100使用算法决定和设置的排列顺序等，并且可以是任意排列顺序，只要多个图像是基于特定基准排列的即可。将在后面描述代表图像的具体示例。

缩略图创建单元163从文件获取单元161获取的搜索目标图像创建缩略图。稍后将描述缩略图的显示。

显示处理单元164执行以下处理：在显示单元140上显示由文件获取单元161获取的搜索目标图像、由代表图像提取单元162提取的代表图像等，并在显示单元140上显示根据本技术的图像搜索用户界面。

注意，显示控制单元160包括程序，并且该程序可以预先安装在终端设备100中，或者可以由存储介质等下载或分发，以便由用户他/她自己安装。此外，控制单元110可以起显示控制单元160的作用，并且显示控制单元160可以被配置为独立于控制单元110。此外，显示控制单元160不仅可以通过程序来实现，而且可以通过具有这种功能的硬件的专用设备、电路等的组合来实现。

终端设备100以上述方式配置。

[1-2.显示控制处理]

接下来，描述由显示控制单元160执行的图像搜索用户界面的显示控制处理。图2是示出显示控制处理的流程的流程图。首先，在步骤S11中，将搜索目标图像组的图像数量与全部图像显示阈值进行比较。在搜索目标图像组的图像数量等于或大于全部图像显示阈值的情况下，处理进入步骤S12(步骤S11中为“否”)。

接下来，在步骤S12中，从搜索目标图像组中提取代表图像。搜索目标图像组中包括的多个图像被分类为预定张数的组，并且针对每个组提取代表图像。例如，可以将搜索目标图像组分类为诸如50张或100张的预定张数的组，并且可以从每个组提取代表图像。

例如，在搜索目标图像组中包括200个图像并且相对于50张提取代表图像的情况下，从第1至第50张的组、第51至第100张的组、第101至第150张的组、以及第151至第200张的组中提取代表图像。提取代表图像的图像数量可以默认设置，可以由用户设置，或者可以由显示控制单元160根据搜索目标图像组的图像数量设置。

此外，可以基于与图像相关联的元信息将搜索目标图像组中包括的多个图像分类为组，并且可以针对每个组提取代表图像。例如，在使用与图像相关联的捕获/获取的日期和时间的信息的情况下，可以以“月”为单位将搜索目标图像组的图像分类为组，并且可以提取代表图像。在搜索目标图像组中包括200个图像的情况下，将图像分类为组，从而使得例如第1至第50张是在1月捕获/获取的图像，第51至第80张是在2月捕获/获取的图像，第81至第134张是在3月捕获/获取的图像，第135至200张是在4月捕获/获取的图像。然后，针对每个组提取代表图像。

接下来，在步骤S13中，如图3A所示，显示单元140显示多个代表图像和多个图像组，并且转变到第一状态。此外，在图像搜索用户界面上，显示单元140显示“返回按钮R”。

返回按钮R是用于给出重做由用户执行的用于图像搜索的输入的指令的按钮。在本实施例中，返回按钮R包括软件按钮。

在第一状态下，从搜索目标图像组中提取的多个代表图像和作为指示搜索目标图像组中的除代表图像之外的图像的信息的图像组被按以一列排列并显示。图像组不是处于可以一张一张地单独观看图像的状态，而是被指示为可以理解为存在多个图像的图标。指示图像组的图标对应于权利要求中的图像组信息。

代表图像和图像组被交替地排列和显示，并且在图3A中，从顶部开始按顺序显示代表图像A、图像组a、代表图像B、图像组b、代表图像C、图像组c以及代表图像D。

在第一状态下，如图5中的箭头所示，保存在存储单元120的图像文件夹中的从多个搜索目标图像提取的代表图像和指示除代表图像之外的多个图像的图像组被以预定顺序(例如，捕获/获取顺序)显示。图像组指示布置在代表图像和下一代表图像之间的多个图像。因此，由图像组指示的图像组中的图像数量不同。

在图5中，图像组中包括的图像被表示为(a)，图像组b中包括的图像被表示为(b)，并且图像组c中包括的图像被表示为(c)。

接下来，在步骤S14中，确定是否已经对代表图像、图像组或返回按钮R进行了用户的选择输入。在已经进行了选择输入的情况下，处理进入步骤S15(步骤S14中为“是”)。

接下来，在步骤S15中，确定用户的选择输入是否是对代表图像的选择输入。在输入是对代表图像的选择输入的情况下，处理进入步骤S16(步骤S15中为“是”)。然后，在步骤S16中，如图3B所示，设置第二状态，其中在显示单元140上全屏显示由用户选择的图像。在图3B中，由用户选择的代表图像B被全屏显示。选择的图像是用户已经搜索到的期望图像，并且因此在显示单元140上全屏显示并且呈现给用户。

在第二状态下，可以直接执行将图像注册到收藏夹、预定的图像处理(修剪、旋转、亮度调整、颜色调整、图像合成、图标叠加等)、带有附件的电子邮件发送、上传到因特网上的SNS、图像共享站点等等。

同时，在步骤S15中，在用户的输入不是选择代表图像的输入的情况下，处理进入步骤S17(步骤S15中为“否”)。接下来，在步骤S17中，确定用户的选择输入是否是选择在显示单元140上显示的任意图像组的输入。

在用户输入是选择任意图像组的输入的情况下，处理进入步骤S18(步骤S17中为“是”)。接下来，在步骤S18中，将搜索目标图像组的图像数量与全部图像显示阈值进行比较。在搜索目标图像组的图像数量等于或大于全部图像显示阈值的情况下，处理进入步骤S19(步骤S18中为“是”)。

然后，在步骤S19中，从选择的图像组中提取新的代表图像。接下来，处理进入步骤S20，并且如图3C所示，进行到第三状态的转变，在第三状态中，将从用户选择的图像组中提取的新代表图像和图像组显示在显示单元140上。

用户没有选择代表图像而是选择图像组的情况是用户已经搜索的图像不是当前显示的代表图像而是存在于图像组中的情况。用户观看显示在显示单元140上的多个代表图像，并基于保存的图像的顺序、图像的相关性等对正在搜索的图像在哪里进行有根据的推测，并选择图像组。

在图3C中，对图像组a进行用户输入，并且新显示代表图像aX、代表图像aY、来自图像组a的图像组a-1、图像组a-2和图像组a-3。

在这方面，参考图6给出描述。当用户选择图像组a时，在步骤S19中，从在图像组a中包括的多个图像中提取新的代表图像。然后，在步骤S20中，在代表图像A和代表图像B之间显示新的代表图像aX和代表图像aY。此外，在代表图像A和代表图像aX之间显示新图像组a-1，在代表图像aX和代表图像aY之间显示新图像组a-2，并且在代表图像aX和代表图像B之间也显示新图像组a-3。图像组a-1、图像组a-2和图像组a-3是图像组a中包括的全部图像。

在图3C和图6中，将图像组a-1中包括的图像表示为(a-1)，将图像组a-2中包括的图像表示为(a-2)，并且将图像组a-3中包括的图像表示为(a-3)。图像组a-1是排列在代表图像A和代表图像aX之间的图像。此外，图像组a-2是排列在代表图像aX和代表图像aY之间的图像。此外，图像组a-3是排列在代表图像aY和代表图像B之间的图像。

因此，当新提取代表图像时，以预定顺序(例如，捕获/获取顺序)排列的搜索目标图像组中排列在代表图像和代表图像之间的图像被收集并显示为新图像组。因此，根据情况，各个图像组中包括的图像数量可以相同或不同。

注意，在以上描述中，当选择图像组a时，从图像组a中提取代表图像aX和代表图像aY，但是从图像组提取的代表图像的数量不限于两个。描述仅是示例，并且根据情况提取的代表图像可以是一个或三个或更多。

注意，在图3C中，没有出现代表图像C、图像组c或代表图像D，但是，在并非全部代表图像或图像组都可以显示在显示单元140的单个画面上的情况下，只要通过沿上下方向等滚动画面来显示未显示的代表图像和图像组就足够了。

再次描述该流程图。处理从步骤S20进入步骤S14，并且，在步骤S14至步骤S17中，执行根据用户的选择输入的处理。

同时，在步骤S17中，在用户的选择输入不是对图像组的选择输入的情况下，由于用户的输入既不是对代表图像的选择输入也不是对图像组的选择输入，而是对返回按钮R的输入，因此处理进入步骤S21(步骤S17为“否”)。

然后，在步骤S21中，从搜索目标图像组中排除搜索目标图像组中的在最近的步骤S19中已经从中提取了代表图像的图像组和在步骤S19中已经从中提取了代表图像的图像组之前排列的代表图像。然后，在步骤S22中，显示单元140显示除与从搜索目标图像组中排除的图像组和代表图像对应的图像组之外的代表图像和图像组。

在这方面，给出以下情况的描述：假定用户对图像组a执行选择输入，然后对返回按钮R进行输入。考虑到用户选择图像组a并且然后对返回按钮R执行输入的事实，在从图像组a扩展之后，在如图3C所示的显示在显示单元140上的图像组a-1、代表图像aX、图像组a-2、代表图像aY和图像组a-3中均未呈现期望图像。因此，图像组a-1、代表图像aX、图像组a-2、代表图像aY和图像组a-3被从搜索目标图像组中排除并被隐藏。此外，考虑到尚未选择作为按所选择的图像组a的排列顺序之前的一个的代表图像的代表图像A的事实，其不是用户的期望图像，并且被从搜索目标图像组中排除并隐藏。因此，显示单元140上的显示是图4A所示的状态。

因此，在选择图像组并且在不选择特定图像的情况下对返回按钮R进行输入的情况下，在图像组中不存在用户的期望图像，因此该图像被从搜索目标图像组排除。此外，从搜索目标图像组中排除的图像被隐藏。直到找到用户的期望图像为止，重复上述输入和相应的处理，从而使得逐渐减少搜索目标图像并且缩窄搜索目标，以使得容易找到期望图像。

然后，处理返回到步骤S11，并且将搜索目标图像组的图像数量与全部图像显示阈值进行比较。这里，与全屏显示阈值进行比较的是包括通过步骤S21中的排除处理而数量减少的图像的搜索目标图像组。

在搜索目标图像组的图像数量等于或小于全部图像显示阈值的情况下，处理进入步骤S23(步骤S11中为“否”)。然后，在步骤S23中，通过缩略图创建单元163创建搜索目标图像组的全部图像的缩略图，并且如图4B所示，将缩略图图像显示在显示单元140上。这是因为，在搜索目标图像组的图像数量等于或小于全部图像显示阈值并且可以在显示单元140上显示搜索目标图像组的全部图像的情况下，有利于执行缩略图显示，从而使得用户可以查看各个图像。

接下来，在步骤S24中，确定是否已经存在对任意显示的缩略图图像的用户选择输入。当从显示的缩略图图像搜索到的期望图像被找到时，该选择输入用于用户选择图像并执行各种处理等。在没有选择输入的情况下，重复步骤S24的确定，直到做出选择输入为止(步骤S24为“否”)。然后，在存在用户的选择输入的情况下，处理进入步骤S16(步骤S24中为“是”)。

然后，在步骤S16中，如图4C所示，将用户选择的图像全屏显示在显示单元140上，并且处理结束。所选择的图像是用户已经搜索到的期望图像，并且因此在显示单元140上全屏显示并且呈现给用户。

此外，在步骤S18中搜索目标图像组的图像数量等于或小于全部图像显示阈值的情况下，处理进入步骤S23(步骤S18中为“否”)。然后，在步骤S23中，通过缩略图创建单元163创建搜索目标图像组的全部图像的缩略图，并将缩略图显示在显示单元140上。

注意，在接收到对图像组的用户选择输入时显示新的代表图像和新的图像组的情况下，可以通过动画显示新的代表图像和新的图像组从选择的图像组扩展的状态。因此，用户可以容易地理解代表图像和图像组从哪个图像组被扩展。

[1-3.代表图像]

接下来，描述代表图像的具体示例。代表图像的第一示例是用户向其添加了标签信息(包括锁、收藏夹等)的图像。这是因为，用户锁定(保护)以免从终端设备100删除的图像和注册到收藏夹的图像被自然认为生动地保留在用户的存储器中。

代表图像的第二示例是在其上已经执行预定图像处理(修剪、旋转、亮度调节、颜色调节、图像合成、图标叠加等)的图像。考虑到用户已经执行了这样的图像处理的事实，假定用户想要以更有利的状态保存图像，并且假定这样的图像可能是用户搜索的图像。此外，认为已经执行了这样的图像处理的图像可能被用户发送给朋友或上传到互联网上的SNS、图像共享站点等上，生动地保留在用户的存储器中，并且可能是用户搜索的图像。在基于是否存在图像处理来提取代表图像的情况下，必须保存关于图像的图像处理的历史。此外，在终端设备100具有保存图像处理历史的功能的情况下，显示控制单元160可以从终端设备100获得历史。

代表图像的第三示例是其显示次数等于或大于预定次数的图像。在这种情况下，显示意味着图像在显示单元140上全屏显示的次数。在图像的显示次数等于或大于预定次数的情况下，这意味着用户已经多次看过图像或已经多次向他人显示。因此，假定这样的图像可能是生动地保留在用户的存储器中并且被用户搜索的图像。注意，在基于显示次数提取代表图像的情况下，显示控制单元160需要计数并保存每个图像的显示次数。此外，在终端设备100具有对显示次数进行计数的功能的情况下，显示控制单元160可以从终端设备100获得显示次数的信息。

代表图像的第四示例是显示时间等于或大于预定时间的图像。在这种情况下的显示时间意味着例如在显示单元140上全屏显示的时间长度。在图像显示时间等于或大于预定时间的情况下，这意味着用户已经看过图像很长一段时间或已经向他人显示很长一段时间。因此，假定这样的图像可能是生动地保留在用户的存储器中并且被用户搜索的图像。注意，在基于显示时间提取代表图像的情况下，要求显示控制单元160测量并保存关于每个图像的显示时间。此外，在终端设备100具有测量显示时间的功能的情况下，显示控制单元160可以从终端设备100获得显示时间信息。

代表图像的第五示例是图像共享次数等于或大于预定次数的图像。在这里，共享表示图像进入如下状态，在该状态下，自己以外的他人可以通过图像被电子邮件或互通应用程序发送给朋友、该图像被上传到互联网上的SNS或图像共享站点上等来观看该图像。注意，在基于共享次数提取代表图像的情况下，要求显示控制单元160对关于每个图像的共享次数进行计数并保存。

在终端设备100具有共享用户从图像文件夹中选择的图像的功能的情况下，终端设备100可以理解执行处理(共享)的次数。在先前已经执行共享的次数等于或大于预定次数的情况下，假定图像可能是生动地保留在用户的存储器中并且由用户搜索的图像。因此，在终端设备100具有这种对共享次数进行计数的功能的情况下，显示控制单元160可以从终端设备100获得共享次数的信息。

此外，除了上述第一至第五示例之外，“具有多级颜色信息的图像”也可以是代表图像。这里，颜色信息包括指示诸如RGB(红色、绿色、蓝色)或YUV的颜色空间的一般信息。此外，还包括基于单调黑白的亮度信息。存在使用直方图的方法作为用于区分具有多级颜色信息的图像的方法的示例。在这方面，参考图7给出描述。图7示出图像的直方图的示例。横轴是表示图像的颜色信息的输入值V，并且纵轴是基于像素数的像素的出现频率。图7的曲线图指示相对于颜色信息在图像中存在具有颜色的像素的程度。

关于纵轴的像素的出现频率设定预定的阈值Ht，在曲线图的曲线与阈值Ht相交的点处的颜色信息的输入值为V1、V2、V3，并且曲线图的颜色信息的输入值的最大值为V4。然后，在满足下面的公式(1)的情况下，图像具有多级颜色信息。

[数学式1]

((V2-V1)+(V4-V3))/(Vmax-Vmin)>Wt......(1)

在公式(1)中，Vmax是输入值V的最大值，Vmin是输入值V的最小值，并且Wt是相对于等于或大于相对于像素数设置的阈值的输入值V与整个图像的比率W的阈值。注意，用于确定前述图像是否具有多级颜色信息的方法仅是示例，并且本技术不限于此。

以上述方式执行根据本实施例的图像显示处理。根据本技术，当用户从大量图像中搜索期望图像时，可以优先呈现可能是生动地保留在用户的存储器中并且被用户搜索的图像的图像，因此用户可以快速轻松地找到期望图像。

而且，根据本技术，可以在不输入搜索条件(例如日期和时间、位置等)的情况下搜索期望图像。因此，即使当用户不记得用于捕获目标图像的正确条件(捕获/获取的日期和时间等)时，也可以快速且容易地找到期望图像。

与显示全部搜索目标图像的搜索形式或仅显示代表图像的搜索形式相比，可以减轻用户的搜索负担。

在由于错误搜索而对返回按钮R执行返回操纵的情况下，由于减少了搜索目标图像的数量，因此可以缩窄搜索目标图像，从而可以减轻重新搜索的负担并且可以逐渐提高搜索精度。

注意，根据本技术的可以在显示单元140上显示和搜索的图像不限于通过利用摄像机功能捕获而获取的图像。图像可以是从互联网上的网站保存的图像、运动图像的缩略图图像、与音频文件相关联的封套图像、应用程序的图标图像、网站的收藏夹图像等。

注意，与终端设备100的音乐回放应用程序、运动图像回放应用程序等协作，或者通过向应用程序提供根据本技术的功能，可以利用本技术的功能执行音乐作品搜索和运动图像搜索。此外，本技术可以应用于安装在终端设备100上的多个应用程序的图标图像，使得可以搜索这些应用程序。

注意，在显示单元140显示代表图像和图像组的情况下，如图8所示，代表图像之前和之后的图像可以不显示为图像组，而是显示为具有小于代表图像的尺寸的单个图像。因为代表图像可能是生动地保留在用户的存储器中并且由用户搜索的图像，所以代表图像之前和之后的图像(按时间顺序在代表图像之前和之后获得的图像)也可能被认为是用户搜索的图像。

此外，指示图像组中包括的图像数量的图标/符号可以显示在图像组周围。例如，如图9A所示，将一个点定义为表示十个图像，并且在图像组中存在40个图像的情况下，显示四个点。此外，例如，在图像组中存在22个图像的情况下，数量被向下取整并显示两个点。

此外，可以在图像组周围显示指示图像组中包括的图像数量的数值。例如，在图像组中包括50个图像的情况下，如图9B所示，在该图像组旁边显示50。通过以这种方式显示，用户可以容易地理解图像组包括多少个图像，并且可以进一步提高图像搜索的效率。

在实施例中，描述了将搜索目标图像组分类为多个组，并且从每个组中提取代表图像。然而，当基于一个基准提取代表图像时，可能存在从一组提取大量代表图像的情况。例如，其是在同一组中存在被用户注册到收藏夹的大量图像的情况、在基于显示次数提取代表图像的情况下在同一组中存在显示次数相同的大量图像的情况等。

为了防止这种情况，在代表图像的提取中组合使用多个基准并且将优先级程度预设给所述多个基准就足够了。例如，可以执行图10的流程图所示的处理以提取代表图像。在图10的流程图中，使用三个基准来提取代表图像。

首先，在步骤S31中，基于第一基准提取代表图像。接下来，在步骤S32中，确定所提取的代表图像是否等于或小于预定张数，并且在代表图像等于或小于预定张数的情况下，处理进行到步骤S36(步骤S32为“是”)，并且将提取的图像确定为代表图像。

同时，在步骤S32中确定代表图像不等于或小于预定张数的情况下，处理进入步骤S33(步骤S32中为“否”)。接下来，在步骤S33中，基于第二基准从在步骤S31中提取的多个代表图像中提取代表图像。

然后，在步骤S34中，确定在步骤S33中提取的代表图像是否等于或小于预定张数，并且在代表图像等于或小于预定张数的情况下，处理进入步骤S36(步骤S34为“是”)，并且将在步骤S33中提取的图像确定为代表图像。

同时，在步骤S34中确定代表图像不等于或小于预定张数的情况下，处理进入步骤S35(步骤S34中为“否”)。接下来，在步骤S35中，基于最终基准从在步骤S33中提取的多个代表图像中提取代表图像。在这种情况下，最终基准是不提取两个或更多个图像的基准，例如，“提取在捕获/获取的日期和时间方面更早的图像”等。

然后，在步骤S36中，将一个图像确定为最终要提取的代表图像。以此方式，可以总在末端提取一个代表图像。注意，在图10的流程图中，基于第一基准、第二基准和最终基准来提取代表图像，但是为了描述方便，要使用的基准数量不限于三个。此外，要从一个组中提取的代表图像的数量可以不总是一个，而可以是多个。

此外，在实施例中描述的全图像显示阈值并非总与一次可同时在显示单元140上显示的缩略图图像的数量一致。例如，在如图11A所示的可以同时在显示单元上显示的缩略图图像的最大数量的情况下，全部图像显示阈值可以为15或可以为15或更大。

例如，如通过从图11A到图11B的滚动输入的画面转变所指示的，全部图像显示阈值可以是30，这是两个画面的缩略图图像显示的最大数量。在全部图像显示阈值等于或大于一个画面上的缩略图图像显示的上限的情况下，如从图11A到图11B的转变所指示的，通过用户的画面滚动操纵显示的缩略图图像被改变。在图11A中，显示第1至第15个缩略图，并且在图11B中，显示第16至第30个缩略图。

在前述实施例中，从搜索目标图像组中排除的图像被描述为隐藏在显示单元140上，但是排除图像的处理不限于此。如图12A所示，作为从搜索目标图像组中排除的图像的代表图像和图像组可以以与非排除图像可区分的方式显示在显示单元140上。在图12A中，用细虚线显示排除的代表图像A和图像组a。可区分方面可以是任意方面，只要可以区分即可，例如，通过改变明暗变化来稀疏显示、以透明状态显示、改变颜色等。

此外，如图12B所示，可以隐藏从搜索目标图像组中排除的图像(图12A的代表图像A和图像组a)，可以从未排除的图像组中提取新的代表图像，可以显示代表图像，并且可以将代表图像之前和之后的多个图像显示为新图像组。在图12B中，新显示代表图像N以及图像组n1和n2。

注意，本技术已被描述为在图像搜索中不需要输入搜索条件，这不禁止与图像搜索条件的输入组合使用。可以执行使用任意搜索条件的图像缩窄(过滤)。

用于缩窄(过滤)的任意搜索条件的示例包括过去的搜索结果、被摄体检测信息、面部检测信息、位置信息、用于捕获的元信息、捕获/获取的日期和时间信息、用户添加到图像的标签信息、添加到图像的聚焦信息等。

例如，在使用捕获/获取的日期和时间的信息的情况下，当用户输入特定的日期和时间或时段时，参考与图像相关联的作为EXIF信息的日期和时间信息排除不落在输入的日期和时间或时段内的图像。可替代地，可以排除落入输入的日期和时间或时内的图像。用户可以指定要排除的内容就足够了。

此外，在使用面部检测信息的情况下，首先，对搜索目标图像组的全部图像执行面部检测处理，并且在显示单元140上显示包括检测到的面部的图像的列表(每个面部一个图像)并呈现给用户。然后，当用户选择了所显示的多个面部之一时，包括未选择的面部的图像被排除。可替代地，可以排除包括选择的面部的图像。用户可以指定要排除的内容就足够了。

此外，在将捕获期间的聚焦信息与图像相关联的情况下，可以排除离焦的图像，从而使得在搜索目标图像组中仅存在对焦的图像。

可以在图2的流程图中的S11之前(即在显示控制处理开始之前)执行该缩窄(过滤)。此外，其可以在步骤S17与步骤S21之间(即，在通过对返回按钮R的输入从搜索目标图像组中排除图像之前)执行。此外，其可以在步骤S22与S11之间(即，在通过对返回按钮R的输入从搜索目标图像组中排除图像之后)执行。

此外，执行公知的图像分析处理，以按照图像捕获/获取的日期和时间、颜色分布检测结果、被摄体识别结果等将搜索目标图像组分类为组，选择一组，而排除其他组，从而可以执行缩窄(过滤)。当组合使用诸如图像捕获/获取的日期和时间、颜色分布检测结果、被摄体识别结果的信息来将图像分类为组时，可以针对例如事件(例如，(旅行、家庭聚会等)将图像分类为组，并且可以从中找到期望图像。

注意，例如，在图像A和图像C被提取为代表图像的情况下以图像A、图像B、图像C......的预定顺序在搜索目标图像组中排列图像的情况下，在代表图像A和代表图像C之间显示仅包括图像B的图像组。

<2.应用示例>

根据本公开的技术可应用于多种产品。例如，根据本公开的技术可以应用于手术室系统。

图13是示意性地示出可以应用根据本公开的技术的手术室系统5100的整体配置的图。参考图13，手术室系统5100被配置为使得安装在手术室中的装置组被连接成能够通过视听控制器(AV控制器)5107和手术室控制装置5109彼此协作。

在手术室中，可以提供各种装置。在图13中，作为示例，示出了用于内窥镜手术的各种装置组5101、设置在手术室的天花板上并且对手术操作者的手进行成像的天花板摄像机5187、设置在手术室的天花板上并且对手术室的整个状态进行成像的手术部位摄像机5189、多个显示装置5103A至5103D、记录器5105、病床5183和照明装置5191。

这里，在这样的装置中，装置组5101属于后述的内窥镜手术系统5113，并且包括内窥镜、显示由内窥镜成像的图像的显示装置等。属于内窥镜手术系统5113的每个装置也被称为医疗装备。另一方面，例如，显示装置5103A至5103D、记录器5105、病床5183和照明装置5191是与内窥镜手术系统5113分开地设置在手术室中的装置。不属于内窥镜手术系统5113的每个装置也称为非医疗装备。视听控制器5107和/或手术室控制装置5109协同控制医疗装备和非医疗装备的操作。

视听控制器5107整体地控制与医疗装备和非医疗装备中的图像显示有关的处理。具体地，在手术室系统5100的装置中，装置组5101、天花板摄像机5187和手术部位摄像机5189可以是具有在手术期间发送要显示的信息(在下文中，也称为显示信息)的功能的装置(在下文中，也称为发送源的装置)。此外，显示装置5103A至5103D可以是向其输出显示信息的装置(在下文中，也称为输出目的地的装置)。此外，记录器5105可以是与发送源的装置和输出目的地的装置两者相对应的装置。视听控制器5107具有控制发送源的装置和输出目的地的装置的操作、从发送源的装置获取显示信息、将显示信息发送到输出目的地的装置以及显示或记录显示信息的功能。注意，显示信息是手术期间成像的各种图像、与手术相关联的各种信息项(例如，患者的身体信息、过去的检查结果、与手术方法相关联的信息等)等。

具体地，可以将关于由内窥镜成像的患者的体腔中的手术部位的图像的信息作为显示信息从装置组5101发送到视听控制器5107。此外，可以将关于由天花板摄像机5187成像的手术操作者的手的图像的信息作为显示信息从天花板摄像机5187发送。此外，可以将关于由手术部位摄像机5189成像的指示手术室的整个状态的图像的信息作为显示信息从手术部位摄像机5189发送。注意，在手术室系统5100中存在具有成像功能的另一装置的情况下，视听控制器5107可以从所述另一装置获取关于由所述另一装置成像的图像的信息作为显示信息。

可替换地，例如，在记录器5105中，关于过去成像的图像的信息由视听控制器5107记录。视听控制器5107能够从记录器5105中获取关于过去成像的图像的信息作为显示信息。注意，在记录器5105中，也可以预先记录与手术相关联的各种信息项。

视听控制器5107在作为输出目的地的装置的显示装置5103A至5103D中的至少一个上显示所获取的显示信息(即，在手术期间捕获的图像或与手术相关联的各种信息项)。在图示的示例中，显示装置5103A是从手术室的天花板悬挂设置的显示装置，显示装置5103B是在手术室的壁面上设置的显示装置，显示装置5103C是在手术室中的桌子上设置的显示装置，并且显示装置5103D是具有显示功能的移动装备(例如，平板个人计算机(PC))。

此外，即使未在图13中示出，手术室系统5100也可以包括手术室外部的装置。例如，手术室外部的装置可以是连接到在医院内部或外部构建的网络的服务器，或者是医务人员使用的PC、布置在医院的会议室中的投影仪等。在这种外部装置在医院外部的情况下，视听控制器5107能够通过电话会议系统等在另一家医院的显示装置上显示显示信息，以便进行远程医疗。

手术室控制装置5109整体地控制非医疗装备中的与图像显示有关的处理以外的处理。例如，手术室控制装置5109控制病床5183、天花板摄像机5187、手术部位摄像机5189以及照明装置5191的驱动。

在手术室系统5100中，提供了集中式操纵面板5111，用户能够通过集中式操纵面板5111将关于图像显示的指令提供给视听控制器5107或者能够将关于非医疗装备的操作的指令提供给手术室控制装置5109。集中式操纵面板5111具有在显示装置的显示表面上放置触摸面板的配置。

图14是示出集中式操纵面板5111的操纵画面的显示示例的图。在图14中，作为示例，示出了与在手术室系统5100中设置两个显示装置作为输出目的地的装置的情况相对应的操纵画面。参考图14，在操纵画面5193中，设置了发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195上，手术室系统5100中设置的发送源装置与表示该发送源装置的显示信息的缩略图画面被显示为相互链接。用户能够从在发送源选择区域5195上显示的任意发送源装置中选择要在显示装置上显示的显示信息。

在预览区域5197上，显示要在作为输出目的地的装置的两个显示装置(监视器1和监视器2)上显示的画面的预览。在示出的示例中，在一个显示装置上画中画(PinP)显示四个图像。这四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。在四个图像中，一个图像被较大地显示为主图像，而其余三个图像被较小地显示为子图像。用户适当地选择在其上显示四个图像的区域，并且因此能够切换主图像和子图像。此外，在显示四个图像的区域的下部中，设置状态显示区域5199并且可以在该区域上适当地显示与手术有关的状态(例如，手术的经过时间、患者的身体信息等)。

在控制区域5201中，设置在其上显示用于对发送源的装置执行操纵的图形用户界面(GUI)组件的发送源操纵区域5203，以及在其上显示用于对输出目的地的装置执行操纵的GUI组件的输出目的地操纵区域5205。在示出的示例中，在发送源操纵区域5203中，设置用于对发送源的装置中具有成像功能的摄像机执行各种操纵(平移、倾斜和变焦)的GUI组件。用户适当地选择GUI组件，因此能够操纵发送源的装置中的摄像机的操作。注意，即使未示出，在发送源选择区域5195中选择的发送源的装置是记录器的情况下(即，在预览区域5197中显示过去在记录器中记录的图像的情况下)，在发送源操纵区域5203中，可以设置用于执行诸如图像的再现、停止再现、倒带和快进的操纵的GUI组件。

此外，在输出目的地操纵区域5205中，设置用于相对于作为输出目标的装置的显示装置上的显示执行各种操纵(交换、翻转、色调调整、对比度调整以及在2D显示和3D显示之间切换)的GUI组件。提供了名称。用户适当地选择这种GUI组件，因此能够操纵显示装置上的显示。

注意，要显示在集中式操纵面板5111上的操作画面不限于图示的示例，并且用户可以通过集中式操纵面板5111针对设置在手术室系统5100中并且能够由视听控制器5107和手术室控制装置5109控制的每个装置执行操作输入。

图15是示出应用了上述手术室系统的手术状态的示例的图。天花板摄像机5187和手术部位摄像机5189被布置在手术室的天花板上，并且能够捕获对病床5183上的患者5185的患部进行治疗的手术操作者(医生)5181的手以及手术室的整个状态。在天花板摄像机5187和手术部位摄像机5189中，可以设置放大率调整功能、焦点距离调整功能、捕获方向调整功能等。照明装置5191被设置在手术室的天花板上，并且至少用光照射手术操作者5181的手。照明装置5191可以适当地调节照射光量、照射光的波长(颜色)、光照射方向等。

如图13所示，内窥镜手术系统5113、病床5183、天花板摄像机5187、手术部位摄像机5189和照明装置5191连接为能够通过视听控制器5107和手术室控制装置5109(图15中未图示)相互协作。在手术室中，设置有集中式操纵面板5111，并且如上所述，用户能够通过集中式操纵面板5111适当地操作存在于手术室中的装置。

在下文中，将详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支撑内窥镜5115的支撑臂装置5141以及其上安装有用于内窥镜手术的各种装置的推车5151。

在内窥镜手术中，在腹壁上刺穿称为套管针5139a至5139d的多个管状穿孔工具，而不是通过切割腹壁来进行剖腹手术。然后，将内窥镜5115的镜筒5117和其他手术工具5131从套管针5139a至5139d插入患者5185的体腔中。在示出的示例中，作为其他手术工具5131，将气腹管5133、能量治疗工具5135和钳子5137插入患者5185的体腔中。此外，能量治疗工具5135是根据高频电流或超声振动进行组织的切开和切除、血管的密封等的治疗工具。在此，示出的手术工具5131仅是示例，并且例如内窥镜手术中通常使用的各种手术工具(诸如镊子和牵开器)可以用作手术工具5131。

由内窥镜5115捕获的患者5185的体腔中的手术部位的图像被显示在显示装置5155上。例如，手术操作者5181实时地在观察显示在显示装置5155上的手术部位的图像的同时，通过使用能量治疗工具5135或钳子5137进行诸如切除患部的处理。注意，即使未示出，在手术期间，气腹管5133、能量治疗工具5135和钳子5137也由手术操作者5181、助手等支撑。

(支撑臂装置)

支撑臂装置5141包括从基部5143延伸的臂部5145。在所示的示例中，臂部5145包括接头部5147a、5147b和5147c以及连杆5149a和5149b，并且根据来自臂控制装置5159的控制而被驱动。内窥镜5115由臂部5145支撑，并其位置和姿势被控制。利用该布置，可以固定内窥镜5115的稳定位置。

(内窥镜)

内窥镜5115包括：镜筒5117，其中从尖端起预定长度的区域被插入到患者5185的体腔中；以及摄像机头5119，其连接到镜筒5117的基端。在所示的示例中，示出了被配置为包括刚性镜筒5117的所谓的刚性镜的内窥镜5115，但是内窥镜5115可以被配置为包括柔性镜筒5117的所谓的柔性镜。

在镜筒5117的尖端设置有用于安装物镜的开口部。光源装置5157被连接到内窥镜5115，并且由该光源装置5157产生的光通过设置为在镜筒5117中延伸的导光件被引导至镜筒的尖端，并且通过物镜朝向患者5185的体腔中的观察目标施加。注意，内窥镜5115可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。

在摄像机头5119中，设置有光学系统和成像元件，并且来自观察目标的反射光(观察光)通过光学系统会聚在成像元件中。通过成像元件对观察光进行光电转换，并且产生与观察光相对应的电信号，即，与观察图像相对应的图像信号。图像信号被作为RAW数据发送到摄像机控制单元(CCU)5153。注意，在摄像机头5119中，设置有通过适当地驱动光学系统来调节倍率和焦点距离的功能。

注意，例如，可以在摄像机头5119中设置多个成像元件，以对应于立体视图(3D显示)等。在这种情况下，在镜筒5117中设置有多个中继光学系统，以将观察光引导至多个成像元件中的每个。

(安装在推车上的各种装置)

CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜5115和显示装置5155的操作。具体地，CCU 5153例如对从摄像机头5119接收到的图像信号执行用于基于图像信号显示图像的各种图像处理，诸如显影处理(去马赛克处理)。CCU5153将经过图像处理的图像信号提供给显示装置5155。此外，图13所示的视听控制器5107连接到CCU 5153。CCU 5153还将经过图像处理的图像信号提供给视听控制器5107。此外，CCU 5153将控制信号发送到摄像机头5119，并控制其驱动。该控制信号能够包括与成像条件(诸如放大率或焦点距离)相关联的信息。与成像条件相关联的信息可以通过输入装置5161输入，或者可以通过上述集中式操纵面板5111输入。

显示装置5155根据来自CCU 5153的控制，基于由CCU 5153进行了图像处理的图像信号来显示图像。例如，在内窥镜5115对应于诸如4K(水平像素数3840×垂直像素数2160)或8K(水平像素7680×垂直像素数4320)的高清晰度捕获和/或对应于3D显示的情况下，能够执行与4K和8K中的每一个相对应的高清晰度显示和/或能够进行3D显示的显示装置用作显示装置5155。在与诸如4K或8K的高清晰度捕获相对应的情况下，具有大于或等于55英寸的尺寸的显示装置被用作显示装置5155，因此，可以获得更多的浸入感。此外，根据使用应用，可以设置具有不同清晰度和尺寸的多个显示装置5155。

光源装置5157例如包括诸如发光二极管(LED)的光源，并且将捕获手术部位时的照射光提供给内窥镜5115。

臂控制装置5159例如包括诸如CPU的处理器，并且根据预定程序进行操作，因此，根据预定控制方法来控制支撑臂装置5141的臂部5145的驱动。

输入装置5161是相对于内窥镜手术系统5113的输入接口。用户能够通过输入装置5161执行关于内窥镜手术系统5113的各种信息项的输入或指令的输入。例如，用户通过输入装置5161输入与手术相关联的各种信息项(诸如患者的身体信息)以及与手术的手术方法相关联的信息。此外，例如，用户通过输入装置5161输入驱动臂部5145的指示、改变内窥镜5115的成像条件(照射光的类型、倍率、焦点距离等)的指示、驱动能量治疗工具5135的指示等。

输入装置5161的类型不受限制，并且输入装置5161可以是各种已知的输入装置。例如，鼠标、键盘、触摸面板、开关、脚踏开关5171和/或操纵杆等可以用作输入装置5161。在使用触摸面板作为输入装置5161的情况下，触摸面板可以被布置在显示装置5155的显示表面上。

可选地，输入装置5161例如是安装在用户上的装置，诸如眼镜型可穿戴装置或头戴式显示器(HMD)，根据此类装置检测到的用户手势或视线进行各种输入。此外，输入装置5161包括能够检测用户的运动的摄像机，并且根据从摄像机成像的视频中检测到的用户的手势或视线来执行各种输入。此外，输入装置5161包括能够拾取用户语音的麦克风，并且根据通过麦克风的声音来执行各种输入。因此，输入装置5161被配置为使得可以以非接触方式输入各种信息项，并且因此，特别地，属于清洁区域的用户(例如，手术操作者5181)能够以非接触方式操纵属于非清洁区域的装备。此外，用户能够在不从所拥有的手术工具上放开手的情况下操纵装备，因此，提高了用户的便利性。

处理工具控制装置5163控制能量处理工具5135的驱动，以进行组织的烧灼和切开、血管的密封等。为了确保内窥镜5115的视野并确保手术操作者的工作空间，气腹装置5165通过气腹管5133将气体送入体腔，从而使患者5185的体腔膨胀。记录器5167是能够记录与手术相关联的各种信息的装置。打印机5169是能够以诸如文本、图像或图形的各种格式来打印与手术相关联的各种信息项的装置。

在下文中，在内窥镜手术系统5113中，将更详细地描述特别特征的配置。

(支撑臂装置)

支撑臂装置5141包括作为基底的基部5143和从基部5143延伸的臂部5145。在示出的示例中，臂部5145包括多个接头部5147a、5147b和5147c，以及通过接头部5147b接合的多个连杆5149a和5149b，但是在图15中，为简单起见，臂部5145的配置被简单地示出。实际上，接头部5147a至5147c以及连杆5149a和5149b的形状、接头部5147a至5147c以及连杆5149a和5149b的数量、接头部5147a至5147c以及连杆5149a和5149b的布置、接头部5147a至5147c的旋转轴向等被适当地设定为使得臂部5145具有期望的自由度。例如，臂部5145可以优选地配置成具有大于或等于六的自由度。利用该布置，能够使内窥镜5115在臂部5145的移动范围内自由地移动，因此能够将内窥镜5115的镜筒5117从期望的方向插入到患者5185的体腔内。

在接头部5147a至5147c中，设置有致动器，并且接头部5147a至5147c可通过驱动致动器而围绕预定的旋转轴旋转。致动器的驱动由臂控制装置5159控制，因此，各接头部5147a至5147c的旋转角被控制，并且臂部5145的驱动被控制。利用该布置，能够控制内窥镜5115的位置和姿势。此时，臂控制装置5159能够根据力控制或位置控制的各种公知的控制方法来控制臂部5145的驱动。

例如，手术操作者5181通过输入装置5161(包括脚踏开关5171)执行适当的操纵输入，因此，根据该操纵输入，可以由臂控制装置5159适当地控制臂部5145的驱动，并且，可以控制内窥镜5115的位置和姿势。根据该控制，臂部5145的尖端的内窥镜5115可以从任意位置移动到任意位置，然后可以固定地支撑在移动后的位置。注意，臂部5145可以通过所谓的主从系统来操纵。在这种情况下，用户可以通过设置在与手术室分开的位置的输入装置5161来对臂部5145进行远程操纵。

此外，在施加力控制的情况下，可以执行所谓的动力辅助控制，其中，臂控制装置5159接收来自用户的外力，并驱动各接头部5147a至5147c的致动器，使得臂部5145根据外力而平滑地移动。利用这种布置，当用户在直接接触臂部5145的同时移动臂部5145时，可以以相对较小的力来使臂部5145移动。因此，可以通过更简单的操纵来更直观地移动内窥镜5115，并且可以提高用户的便利性。

在此，通常在内窥镜手术中，内窥镜5115由被称为内窥镜师(scopist)的医生支撑。相反，通过使用支撑臂装置5141，可以更可靠地固定内窥镜5115的位置，而无需手动操作，因此，可以稳定地获得手术部位的图像，并且可以顺利地进行手术。

注意，臂控制装置5159可以不一定设置在推车5151中。此外，臂控制装置5159可以不一定是一个装置。例如，臂控制装置5159可以设置在支撑臂装置5141的臂部5145的各接头部5147a至5147c中，并且多个臂控制装置5159可以彼此协作，因此，可以实现臂部5145的驱动控制。

(光源装置)

光源装置5157将捕获手术部位时的照射光提供给内窥镜5115。光源装置5157例如包括具有LED的白色光源、激光光源或它们的组合。此时，在白色光源包括RGB激光光源的组合的情况下，可以高精度地控制每种颜色(每种波长)的输出强度和输出定时，因此，可以在光源装置5157中调节成像图像的白平衡。此外，在这种情况下，来自RGB激光源中的每个的激光以时分方式施加到观察对象，并且与照射定时同步地控制摄像机头5119的成像元件的驱动，因此，还可以以时分对与RGB中的每个相对应的图像进行成像。根据这样的方法，可以在不在成像元件中设置滤色器的情况下获得彩色图像。

此外，可以控制光源装置5157的驱动，使得对于每个预定时间改变要输出的光的强度。与改变光强度时的定时同步地控制摄像机头5119的成像元件的驱动，时分地获取图像并合成图像，因此，可以生成高动态范围的图像，而没有所谓的黑色缺陷(black defect)和过度曝光。

此外，光源装置5157可以被配置为提供与特殊光成像相对应的预定波长带的光。在特殊光成像中，例如，与通过利用吸收身体组织中的光的波长依赖性进行常规观察时的照射光(即白光)相比，施加了窄带光，因此进行所谓的窄带成像，该窄带成像以高对比度捕获在粘膜的表层部分中的血管等的预定组织。可替代地，在特殊光成像中，可以执行荧光成像，该荧光成像通过利用被激发光照射而产生的荧光来获得图像。在荧光成像中，例如，用激发光照射身体组织，并且观察来自身体组织的荧光(自发荧光成像)，或者将诸如印度花青绿(ICG)的试剂局部注入身体组织中，然后，用与试剂的荧光波长相对应的激发光照射身体组织，从而获得荧光图像。光源装置5157可以被配置为提供对应于这种特殊光成像的窄带光和/或激发光。

(摄像机头和CCU)

将参照图16更详细地描述内窥镜5115的摄像机头5119和CCU5153的功能。图16是示出图15中所示的摄像机头5119和CCU5153的功能配置的示例的框图。

参考图16，摄像机头5119包括透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和摄像机头控制单元5129作为其功能。此外，CCU 5153包括通信单元5173、图像处理单元5175和控制单元5177作为其功能。摄像机头5119和CCU 5153被连接为能够通过传输线缆5179彼此双向通信。

首先，将描述摄像机头5119的功能配置。透镜单元5121是设置在与镜筒5117的连接部分中的光学系统。从镜筒5117的尖端引入的观察光被引导至摄像机头5119，并入射在透镜单元5121上。透镜单元5121包括具有变焦透镜和聚焦透镜的多个透镜的组合。调整透镜单元5121的光学特性，使得观察光会聚在成像单元5123的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜被配置成使得变焦透镜和聚焦透镜在光轴上的位置可以移动，以便调节成像图像的倍率和焦点。

成像单元5123包括成像元件，并且布置在透镜单元5121的后级。穿过透镜单元5121的观察光会聚在成像元件的光接收表面上，并且通过光电转换生成与观察图像对应的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。

例如，能够进行具有拜耳阵列的颜色捕获的互补金属氧化物半导体(CMOS)型图像传感器用作配置成像单元5123的成像元件。注意，例如，能够对应于大于或等于4K的高清晰度图像捕获的元件可以用作成像元件。以高清晰度获得手术部位的图像，因此，手术操作者5181能够更具体地掌握手术部位的状态，并且手术能够顺利地进行。

此外，配置成像单元5123的成像元件包括一对成像元件，用于对应于3D显示，获取用于右眼的图像信号和用于左眼的图像信号中的每一个。执行3D显示，因此，手术操作者5181能够更准确地掌握手术部位中的生物组织的深度。注意，在成像单元5123具有多板型配置的情况下，对应于每个成像元件设置多个透镜单元5121。

此外，成像单元5123可以不一定设置在摄像机头5119中。例如，成像单元5123可以在镜筒5117中紧接在物镜之后设置。

驱动单元5125包括致动器，并根据来自摄像机头控制单元5129的控制，使透镜单元5121的变焦透镜和聚焦透镜沿光轴移动预定距离。利用该布置，可以适当地调整由成像单元5123成像的图像的倍率和焦点。

通信单元5127包括用于发送和接收关于CCU 5153的各种信息项的通信装置。通信单元5127通过传输线缆5179将从成像单元5123获得的图像信号作为RAW数据发送到CCU5153。此时，为了以低等待时间显示手术部位的成像图像，优选通过光通信来发送图像信号。这是因为，在手术时，手术操作者5181在通过成像图像观察患部的状态的同时进行手术，因此，为了更安全且可靠地进行手术，需要最大程度地实时显示手术部位的运动图像。在进行光通信的情况下，在通信单元5127中，设置有将电信号转换为光信号的光电转换模块。图像信号通过光电转换模块转换为光信号，然后通过传输线缆5179发送到CCU 5153。

此外，通信单元5127从CCU 5153接收用于控制摄像机头5119的驱动的控制信号。该控制信号例如包括与成像条件相关联的信息，诸如指定成像图像的帧率的信息、指定成像时的曝光值的信息和/或指定成像图像的倍率和焦点的信息。通信单元5127将接收到的控制信号提供给摄像机头控制单元5129。注意，来自CCU 5153的控制信号可以通过光通信来发送。在这种情况下，在通信单元5127中，提供了将光信号转换为电信号的光电转换模块，并且控制信号通过光电转换模块被转换为电信号，然后被提供给摄像机头控制单元5129。

注意，由CCU 5153的控制单元5177基于所获取的图像信号自动设置如上所述的诸如帧速率或曝光值、倍率和焦点的成像条件。也就是说，在内窥镜5115中设置所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

摄像机头控制单元5129基于通过通信单元5127接收的来自CCU 5153的控制信号来控制摄像机头5119的驱动。例如，摄像机头控制单元5129基于指定成像图像的帧率的信息和/或指定成像时的曝光的信息控制成像单元5123的成像元件的驱动。此外，例如，摄像机头控制单元5129基于指定成像图像的倍率和焦点的信息，通过驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。此外，摄像机头控制单元5129可以具有存储用于识别镜筒5117或摄像机头5119的信息的功能。

注意，透镜单元5121、成像单元5123等以具有高气密性和防水性的密封结构布置，因此，摄像机头5119可能具有对高压灭菌处理的抵抗力。

接下来，将描述CCU 5153的功能配置。通信单元5173包括用于发送和接收关于摄像机头5119的各种信息项的通信装置。通信单元5173通过传输线缆5179接收从摄像机头5119发送的图像信号。此时，如上所述，可以优选地通过光通信来发送图像信号。在这种情况下，在通信单元5173中，与光通信相对应地提供将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。

此外，通信单元5173将用于控制摄像机头5119的驱动的控制信号发送到摄像机头5119。控制信号可以通过光通信来发送。

图像处理单元5175对从摄像机头5119发送的作为RAW数据的图像信号执行各种图像处理。例如，作为图像处理，包括诸如显影处理、高图像质量处理(带强调处理、超分辨率处理、降噪(NR)处理和/或抖动校正处理等)和/或放大处理(电子变焦处理)的各种已知信号处理。此外，图像处理单元5175对图像信号执行检测处理，以便执行AE、AF和AWB。

图像处理单元5175包括诸如CPU或GPU的处理器，并且该处理器根据预定程序进行操作，因此，可以执行上述图像处理或检测处理。注意，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号相关联的信息，并且通过多个GPU并行地执行图像处理。

控制单元5177执行与通过内窥镜5115对手术部位的成像以及成像图像的显示有关的各种控制。例如，控制单元5177生成用于控制摄像机头5119的驱动的控制信号。此时，在用户输入成像条件的情况下，控制单元5177基于用户的输入生成控制信号。可替代地，在内窥镜5115中设置有AE功能、AF功能和AWB功能的情况下，控制单元5177根据图像处理单元5175进行的检测处理的结果适当地计算最佳曝光值、焦点距离和白平衡，并生成控制信号。

此外，控制单元5177基于经过图像处理单元5175的图像处理的图像信号，在显示装置5155上显示手术部位的图像。此时，控制单元5177通过使用各种图像识别技术来识别手术部位图像中的各种物体。例如，控制单元5177检测手术部位图像中包括的物体的边缘的形状、颜色等，因此，可以识别诸如钳子的手术工具、特定生物部位、当使用能量处理工具5135时的出血、薄雾等。当在显示装置5155上显示手术部位的图像时，控制单元5177通过使用识别结果显示要叠加在手术部位的图像上的各种手术支持信息项。手术支持信息被叠加显示，并且被呈现给手术操作者5181，因此，能够进行更加安全可靠的手术。

将摄像机头5119和CCU 5153连接在一起的传输线缆5179是与电信号的通信相对应的电信号线缆、与光通信相对应的光纤或其复合线缆。

这里，在示出的示例中，通过使用传输线缆5179以有线方式执行通信，但是摄像机头5119与CCU 5153之间的通信可以以无线方式执行。在以无线方式进行摄像机头5119与CCU 5153之间的通信的情况下，不必将传输线缆5179放置在手术室中，因此可以解决以下问题：传输线缆5179阻碍了医护人员在手术室中的移动。

已经描述了可以应用根据本公开的技术的手术室系统5100的示例。注意，在此，已经描述了应用手术室系统5100的医疗系统为内窥镜手术系统5113的情况作为示例，但是手术室系统5100的配置不限于此例。例如，代替内窥镜手术系统5113，手术室系统5100可以应用于用于测试的柔性内窥镜系统或显微镜手术系统。

在将在手术期间捕获的手术图像传送并保存在个人计算机、平板终端等中并且搜索图像的情况下，可以在上述应用示例中使用根据本公开的技术。

<3.变体>

迄今为止，已经详细描述了本技术的实施例，但是本技术不限于前述实施例，而是可以基于本技术的技术思想进行各种修改。

在该实施例中，给出了终端设备是智能电话的情况的描述。然而，终端设备可以是平板终端、个人计算机、移动游戏机、可穿戴终端、数码摄像机等。它适用于包括显示单元、存储单元(可以是外部存储单元)并且具有显示保存在存储单元中的图像的功能的任意设备。

本技术可以被配置如下。

(1)一种显示控制设备，包括：

控制单元，该控制单元执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

(2)根据(1)所述的显示控制设备，其中所述代表图像是以在搜索目标图像组中的图像的排列顺序间隔开的图像。

(3)根据(1)或(2)所述的显示控制设备，其中所述代表图像和所述图像组信息被交替排列并显示在显示单元上。

(4)根据(1)至(3)中任一项所述的显示控制设备，其中所述图像组信息指示在以预定顺序保存图像的搜索对象图像组中，在多个所述代表图像之间、沿着预定顺序存在除了所述代表图像以外的图像。

(5)根据(1)至(4)中任一项所述的显示控制设备，其中在用户输入以选择在显示单元上显示的多个所述代表图像中的一个代表图像时，仅所述一个代表图像被显示在显示单元上。

(6)根据(1)至(5)中任一项所述的显示控制设备，其中在用户输入以选择显示在显示单元上的所述图像组信息时，代表图像被从与输入的图像组信息相对应的图像组中提取，并被显示在显示单元上。

(7)根据(6)所述的显示控制设备，其中在显示单元上显示除了从与输入的图像组信息相对应的图像组中提取的代表图像以外的图像作为图像组信息。

(8)根据(6)所述的显示控制设备，其中当进行输入以选择显示在显示单元上的图像组信息并且然后进行输入以给出取消选择的指令时，与所选择的图像组信息相对应的图像被从搜索目标图像组中排除。

(9)根据(8)所述的显示控制设备，其中当搜索目标图像组中的图像数量等于或小于预定数量时，搜索目标图像组中的全部图像被以缩略图显示在显示单元上。

(10)根据(1)至(10)中任一项所述的显示控制设备，其中关于所述代表图像，将搜索目标图像组分类为多个组，并且针对所述多个组中的每个组提取所述代表图像。

(11)根据(1)至(10)中任一项所述的显示控制设备，其中所述代表图像是用户添加有标签信息的图像。

(12)根据(1)至(10)中任一项所述的显示控制设备，其中所述代表图像是用户已经对其执行预定图像处理的图像。

(13)根据(1)至(10)中任一项所述的显示控制设备，其中所述代表图像是先前已经在显示单元上显示预定时间或更长时间的图像。

(14)根据(1)至(10)中任一项所述的显示控制设备，其中所述代表图像是先前已经在显示单元上显示预定次数或更多次数的图像。

(15)根据(1)至(10)中任一项所述的显示控制设备，其中所述代表图像是具有预定值或更大值的颜色信息的图像。

(16)一种显示控制方法，用于执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

(17)一种显示控制程序，该显示控制程序使计算机执行显示控制方法，用于执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

附图标记列表

140 显示单元

160 显示控制单元

Claims (17)

1.一种显示控制设备，包括：

控制单元，该控制单元执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

2.根据权利要求1所述的显示控制设备，其中

所述代表图像是以在搜索目标图像组中的图像的排列顺序间隔开的图像。

3.根据权利要求1所述的显示控制设备，其中

所述代表图像和所述图像组信息被交替排列并显示在显示单元上。

4.根据权利要求1所述的显示控制设备，其中

所述图像组信息指示在以预定顺序保存图像的搜索对象图像组中，在多个所述代表图像之间、沿着预定顺序存在除了所述代表图像以外的图像。

5.根据权利要求1所述的显示控制设备，其中

在用户输入以选择在显示单元上显示的多个所述代表图像中的一个代表图像时，仅所述一个代表图像被显示在显示单元上。

6.根据权利要求1所述的显示控制设备，其中

在用户输入以选择显示在显示单元上的所述图像组信息时，代表图像被从与输入的图像组信息相对应的图像组中提取，并被显示在显示单元上。

7.根据权利要求6所述的显示控制设备，其中

在显示单元上显示除了从与输入的图像组信息相对应的图像组中提取的代表图像以外的图像作为图像组信息。

8.根据权利要求6所述的显示控制设备，其中

当进行输入以选择显示在显示单元上的图像组信息并且然后进行输入以给出取消选择的指令时，与所选择的图像组信息相对应的图像被从搜索目标图像组中排除。

9.根据权利要求8所述的显示控制设备，其中

当搜索目标图像组中的图像数量等于或小于预定数量时，搜索目标图像组中的全部图像被以缩略图显示在显示单元上。

10.根据权利要求1所述的显示控制设备，其中

关于所述代表图像，将搜索目标图像组分类为多个组，并且针对所述多个组中的每个组提取所述代表图像。

11.根据权利要求1所述的显示控制设备，其中

所述代表图像是用户添加有标签信息的图像。

12.根据权利要求1所述的显示控制设备，其中

所述代表图像是用户已经对其执行预定图像处理的图像。

13.根据权利要求1所述的显示控制设备，其中

所述代表图像是先前已经在显示单元上显示预定时间或更长时间的图像。

14.根据权利要求1所述的显示控制设备，其中

所述代表图像是先前已经在显示单元上显示预定次数或更多次数的图像。

15.根据权利要求1所述的显示控制设备，其中

所述代表图像是具有预定值或更大值的颜色信息的图像。

16.一种显示控制方法，用于：

执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

17.一种显示控制程序，该显示控制程序使计算机执行显示控制方法，用于：

执行如下控制：显示从搜索目标图像组中提取的多个代表图像，以及指示在搜索目标图像组中存在除了代表图像以外的图像并以与所述代表图像不同的形态在多个所述代表图像之间显示的图像组信息。

Images