CN110383818A - 成像设备、视频信号处理设备和视频信号处理方法 - Google Patents

Abstract

该成像设备配备有：设置有成像元件的成像单元；第一视频信号处理单元，从由成像单元获得的像素信号生成具有第一动态范围的第一视频信号；和第二视频信号处理单元，通过以下操作生成第二视频信号：从第一视频信号生成至少包括第一视频信号的高亮度部分的高频亮度变化分量的信息信号，抑制第一视频信号的高亮度部分的亮度值，以生成具有比第一动态范围更窄的第二动态范围的亮度抑制视频信号，以及将亮度抑制视频信号与亮度变化分量信息信号相加。

Description

成像设备、视频信号处理设备和视频信号处理方法

技术领域

本技术涉及诸如摄像机的成像设备、在成像设备等中使用的视频信号处理设备和视频信号处理方法。

背景技术

在HDR(高动态范围)成像中，可以表达具有宽动态范围的视频，并且表达无法由具有一般监视器可显示的标准动态范围的SDR(标准动态范围)视频信号所表达的暗部、具有高亮度的颜色等。

与HDR和LDR视频信号处理相关的已知技术包括用于同时生成HDR视频和LDR视频的技术(参见专利文献1)、用于将LDR视频转换为HDR视频的技术(参见专利文献2)等。请注意，LDR与SDR同义。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2016-195379号

专利文献2：WO2011/04222

发明内容

技术问题

然而，当通过拐点校正等从由能够利用HDR捕获图像的摄像机捕获的视频信号生成SDR视频信号时，高亮度部分的对比度显著降低。因此，导致诸如显示视频的可视性降低之类的各种问题，并且尚未确立用于令人满意地解决这些问题的方法。

本技术的目的是提供能够从利用HDR捕获的视频信号生成确保高亮度部分的对比度的SDR视频信号的成像设备、视频信号处理设备和视频信号处理方法。

问题的解决方案

为了解决上述问题，对应于根据本技术的第一实施例的成像设备包括：第一视频信号处理单元，第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及第二视频信号处理单元，第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

所述亮度区域可以是超过规定阈值的高亮度部分的区域。

成像设备还可以包括第一输出单元，第一输出单元将第二视频信号输出到显示单元。

成像设备还可以包括第二输出单元，第二输出单元将第一视频信号输出到外部设备。

成像设备还可以包括取景器，所述取景器输出第二视频信号。

第二视频信号处理单元可以被配置为对第一视频信号执行拐点校正，以生成亮度降低视频信号。

第二视频信号处理单元可以被配置为使用高通滤波器从第一视频信号中提取高频亮度变化分量。

第二视频信号处理单元可以被配置为将所提取的高频亮度变化分量乘以规定增益，以生成亮度变化分量的信息信号。

第一视频信号可以是彩色视频信号，以及第二视频信号处理单元可以被配置为根据多个计算公式从彩色视频信号生成多个亮度信号，并且选择具有最大绝对值的亮度信号，以生成高频亮度变化分量。

第二视频信号处理单元可以被配置为根据高频亮度变化分量的值是正还是负，将高频亮度变化分量的值乘以不同的增益，并且第二视频信号处理单元可以被配置为使得当高频亮度变化分量的值为正时使用的第二增益小于当高频亮度变化分量的值为负时使用的第一增益。

成像设备还可以包括操作输入单元，所述操作输入单元具有接收来自用户的操作的至少一个或多个操作元件，以及所述控制单元可以被配置为在拍摄期间检测所述至少一个或多个操作元件的状态，并且使基于所述操作的设置信息实时地反映到第二视频信号处理单元的运行。

所述设置信息可以是关于增益的信息或关于计算公式的信息。

成像设备还可以包括用户界面，所述用户界面允许设置针对所述至少一个或多个操作元件分配的设置信息的类型。

第一视频信号处理单元可以是执行预处理以输出第一视频信号的校正电路，所述预处理包括校正由所述成像单元获得的像素信号。

第二视频信号处理单元可以从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

第二视频信号处理单元可以生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号，并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号。

第二视频信号处理单元可以被配置为能够在第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号、从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号的模式与第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号的模式之间进行切换。

对应于根据本技术的另一个实施例的视频信号处理设备包括：第一视频信号处理单元，第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及第二视频信号处理单元，第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

对应于根据本技术的另一个实施例的视频信号处理方法包括：

由第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

由第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

发明的有益效果

如上所述，根据本技术，可以从利用HDR捕获的视频信号生成确保高亮度部分的对比度的SDR视频信号。

附图说明

图1是示出根据本技术的第一实施例的成像设备的配置的框图。

图2是相互比较地示出HDR和SDR的图。

图3是示出由VF信号处理单元16对HDR视频信号执行的拐点校正的图。

图4是示出HDR视频信号的显示视频的图。

图5是示出通过对HDR视频信号执行的拐点校正获得的SDR视频信号的显示视频的图。

图6是示出强调高亮度部分的对比度的第二视频信号的显示视频的图。

图7是示出当对HDR视频信号的高亮度部分执行拐点校正时生成的亮度降低视频信号的图。

图8是以不同的亮度比例示出图7的亮度降低视频信号(系列1)的图。

图9是示出由对比度强调信号生成单元15生成的对比度强调信号的图。

图10是示出通过将对比度强调信号与亮度降低视频信号相加而获得的SDR视频信号的图。

图11是用于描述用于从HDR视频信号中提取高频亮度变化分量的方法的修改示例1的图。

图12是示出用于与对比度强调功能相关的用户设置的UI屏幕的图。

图13是示出与成像设备1的对比度强调功能相关的操作元件的侧视图。

图14是示出当在图12中所示的UI屏幕上改变操作元件时执行的操作方法的图。

图15是示出图12中所示的UI屏幕上的多个拨盘之间的切换顺序的图。

图16是示出图12中所示的UI屏幕上的多个按钮之间的切换顺序的图。

图17是示出在图12中所示的UI屏幕上发生操作元件的重叠设置的情况的显示示例的图。

图18是示出根据本技术的第二实施例的成像设备1A的配置的框图。

图19是示出图18的成像设备1A的更详细配置的框图。

图20是示出第三实施例的成像设备1B的配置的框图。

图21是示出第三实施例的成像设备1B的更详细配置的框图。

图22是示出根据本技术的第四实施例的成像系统的配置的框图。

图23是用于描述对比度强调信号的生成方法1的图。

图24是用于描述对比度强调信号的生成方法2的图。

图25是用于描述对比度强调信号的生成方法3的图。

图26是示出在使用亮度信号Y的对比度强调信号来强调对比度的SDR视频和使用从图像的RGB中的每个的值生成的对比度强调信号来强调对比度的SDR视频中的RGB中的每个的特定像素的值的图。

图27是用于描述对比度强调信号的生成方法4的图。

图B1是示意性地描绘手术室系统的一般配置的视图。

图B2是描绘集中化操作面板的操作屏幕图像的显示的示例的视图。

图B3是示出应用手术室系统的手术状态的示例的视图。

图B4是描绘图B3中所示的摄像机头和摄像机控制单元(CCU)的功能配置的示例的框图。

图1021是描绘车辆控制系统的示意性配置的示例的框图。

图1022是帮助说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

在下文中，将参考附图描述根据本技术的实施例。

<第一实施例>

[整体配置]

图1是示出根据本技术的第一实施例的成像设备的配置的框图。

成像设备1包括光学块11、成像单元12、主线视频信号处理单元13、输出单元14、对比度强调信号生成单元15、VF信号处理单元16、VF(取景器)17、控制单元18和操作输入单元19。

光学块11具有透镜、焦点调整机构、快门机构、光圈(光圈)机构等。光学块11利用透镜在成像单元12的成像元件的成像表面上形成来自被摄体的反射光的图像。

成像单元12具有成像元件、模拟信号处理电路、A/D转换电路等。成像元件包括CCD(电荷耦合器件)成像传感器、CMOS(互补金属氧化物半导体)图像传感器等。成像元件是能够获得例如HDR(高动态范围)像素信号的成像元件。由成像单元12的成像元件获得的像素信号被提供给主线视频信号处理单元13。

主线视频信号处理单元13对应于权利要求中的“第一视频信号处理单元”，并且对从成像单元12提供的HDR像素信号执行例如信号处理(诸如缺陷校正、噪声消除、透镜像差校正、A/D转换和原始(RAW)显影)以生成HDR视频信号。生成的第一视频信号被提供给输出单元14、对比度强调信号生成单元15和VF信号处理单元16。

输出单元14执行将由主线视频信号处理单元13获得的HDR视频信号经由摄像机电缆输出到诸如CCU(摄像机控制单元)或显示器之类的外部视频设备的处理。CCU经由摄像机电缆接收从成像设备1传送的HDR视频信号等，以及执行例如将接收到的信号转换为适合于传送的形式的数字视频信号或模拟视频信号并且将其传送等处理。此外，输出单元14能够将由VF信号处理单元16生成的VF视频信号输出到外部显示器等。

注意，由主线视频信号处理单元13获得的HDR视频信号可以记录在诸如SSD(固态驱动器)之类的记录介质上。

对比度强调信号生成单元15从由主线视频信号处理单元13获得的HDR视频信号中至少提取高亮度部分的高频亮度变化分量，并且生成通过将提取的亮度变化分量乘以规定增益获得的信号作为对比度强调信号。生成的对比度强调信号被提供给VF信号处理单元16。这里，高亮度部分是HDR视频信号中亮度超过规定阈值的区域。

VF信号处理单元16对由主线视频信号处理单元13获得的HDR视频信号的高亮度部分执行例如拐点校正等，以生成SDR亮度降低视频信号。VF信号处理单元16将从对比度强调信号生成单元15提供的对比度强调信号与亮度降低视频信号相加以生成SDR视频信号，并且对要提供给VF 17作为VF视频信号的信号执行其他信号处理(诸如合成字符和标记)。

操作输入单元19是从用户接收用于操作成像设备1的指令、各种设置等的输入的单元，并且包括例如按钮、开关、拨盘、设置在VF 17的屏幕上的触摸面板传感器等。

控制单元18是用于控制成像设备1的各个单元的控制器，并且包括CPU(中央处理单元)、RAM(随机存取存储器)、ROM(只读存储器)等。RAM或ROM存储由CPU执行的程序、各种参数等。控制单元18解释关于由操作输入单元19接收的用户操作的输入的信息，并且根据解释的信息控制成像设备1。

上述对比度强调信号生成单元15和VF信号处理单元16对应于权利要求中的“第二视频信号处理单元”。因此，对比度强调信号生成单元15和VF信号处理单元16可以被配置为一个单元。

[问题]

图2是相互比较地示出HDR和SDR的图。

当假设SDR的范围是100％时，HDR的范围例如是800％、1000％、1300％等。因此，作为用于从HDR视频信号生成SDR视频信号的方法，已知一种用于对如图3中所示的HDR视频信号中具有规定亮度值(拐点校正点)或更高的高亮度部分执行拐点校正的方法。然而，根据该方法，通过拐点校正获得的视频信号的高亮度部分的对比度显著降低。因此，在显示视频中出现如下问题。

图4是示出HDR视频信号的显示视频的图，并且图5是示出通过对HDR视频信号执行拐点校正获得的SDR视频信号的显示视频的图。在图4中所示的HDR视频信号的显示视频中，可以区分对应于高亮度部分的空中的白球B。然而，在通过拐点校正获得的显示视频中，由于高亮度部分的对比度的显著降低，难以区分球B。因此，难以通过对VF 17的显示视频的视觉识别来跟踪在空中飞行的球B。

注意，尽管在VF 17上显示HDR视频信号不会引起技术问题，但是据说当拍摄者连续地注视HDR视频时，HDR视频的显示对拍摄者的眼睛造成很大负担，并且对健康不利。因此，期望用于解决SDR视频的以上问题的对策。

鉴于以上问题，本实施例的成像设备1被配置为包括对比度强调信号生成单元15和VF信号处理单元16，对比度强调信号生成单元15和VF信号处理单元16从HDR视频信号生成至少高亮度部分的高频亮度变化分量的信息信号作为对比度强调信号，生成降低HDR视频信号的高亮度部分的亮度值的SDR亮度降低视频信号，并且通过将SDR亮度降低视频信号与对比度强调信号相加来生成第二视频信号。

图6是示出由对比度强调信号生成单元15和VF信号处理单元16生成的SDR视频信号的显示视频的图。如图中所示，可以理解，通过获取高亮度部分的对比度被强调的SDR视频信号，使得空中的白球B在视频中是可区分的。

[对比度强调信号生成单元15和VF信号处理单元16的动作]

接下来，将描述以上对比度强调信号生成单元15和VF信号处理单元16的动作的细节。

VF信号处理单元16对HDR视频信号执行拐点校正。

图7是示出当对HDR视频信号的高亮度部分(例如，SDR的95％或更高的高亮度部分)执行拐点校正时生成的亮度降低视频信号的图，其中该图的水平轴是HDR视频信号的时间轴，而该图的纵轴是亮度。虚线是在对HDR视频信号执行拐点校正之前的高亮度部分的HDR视频信号(系列2)，而实线是在对HDR视频信号执行拐点校正之后获得的亮度降低视频信号(系列1)。

图8是以不同的亮度比例示出图7的亮度降低视频信号(系列1)的图。可以理解，视频信号的高亮度部分的对比度已经通过拐点校正而恶化。

图9是示出由对比度强调信号生成单元15生成的对比度强调信号的图。对比度强调信号生成单元15例如使用高通滤波器等从由主线视频信号处理单元13获得的HDR视频信号中提取高频亮度变化分量，以及生成通过将提取的亮度变化分量乘以规定增益而获得的信号作为对比度强调信号。这里给出的增益值可以是由用户使用操作输入单元19设置的固定值或可变值。该示例中示出的对比度强调信号是通过例如将亮度变化分量的信号压缩十五分之一而获得的。

由对比度强调信号生成单元15生成的对比度强调信号被输出到VF信号处理单元16，然后与在VF信号处理单元16中通过拐点校正获得的亮度降低视频信号相加，以获得SDR视频信号。

图10是示出通过将对比度强调信号与亮度降低视频信号相加而获得的SDR视频信号的图。因此，通过将对比度强调信号与亮度降低视频信号相加来获得高亮度部分的对比度被强调的SDR视频信号。

<修改示例1>

在以上实施例中，使用高通滤波器从HDR视频信号中提取高频亮度变化分量，以生成对比度强调信号。然而，由于当对HDR视频信号执行拐点校正时在高亮度部分处降低了对比度，因此理想的是，仅从高亮度部分执行从HDR视频信号中提取高频亮度变化分量。

因此，如图11中所示，对比度强调信号生成单元15可以从HDR视频信号91中提取拐点校正点KEE以上的高亮度部分的视频信号92，然后使用高通滤波器等从高亮度部分的HDR视频信号92中提取高频亮度变化分量93。

在采用该方法的情况下，由于高通滤波器的特性，在正在通过高通滤波器的HDR视频信号已经通过拐点校正点KEE之后，与HDR视频信号的亮度变化无关的信号94和95可以立即出现。为了消除信号94和95，当乘以增益时，对比度强调信号生成单元15期望地减小除了高亮度部分的视频信号92的提取周期之外的周期中的增益。

<修改示例2>

作为用于从HDR视频信号生成至少高亮度部分的高频亮度变化分量的信息信号的另一种方法，已知如下方法，其中使用低通滤波器从HDR视频信号中提取并且减去低频亮度变化分量。

<修改示例3>

作为用于从HDR视频信号生成SDR视频信号的另一种方法，已知如下方法，其中对比度的压缩比随着亮度的增加而增加的对数(Log)特性被给予HDR视频信号而不是执行拐点校正等。

<修改示例4>

在以上实施例中，当背景部分和诸如球之类的前景部分具有相同的亮度但具有不同的颜色时，由于亮度的对比度没有差异，所以无法获得显著的对比度强调信号。

因此，可以以像素为单位或以n个像素为单位，根据多个计算方法从彩色视频信号生成多个亮度信号，并且以像素为单位或以n个像素为单位选择具有最大绝对值的亮度信号，以生成高频亮度变化分量的信息信号。

对比度强调信号生成单元15根据例如下面的一般亮度计算公式和另一种亮度计算公式生成两种类型的亮度信号Y和Y'。

Y＝0.299R+0.587G+0.114B

Y'＝0.333R+0.333G+0.333B

对比度强调信号生成单元15采用两种类型的亮度信号Y和Y'当中具有较大绝对值的信号。

因此，获取显著对比度强调信号的概率变高，并且进一步确保了强调高亮度部分的对比度的SDR视频信号的获取。

<修改示例5>

在通过执行拐点校正获得的SDR视频信号中，已经执行了拐点校正的部分达到SDR的上限或近似上限。因此，对比度强调信号的负值而不是正值用来基本上生成对比度。

因此，对比度强调信号生成单元15可以被配置为根据从HDR视频信号中提取的高频亮度变化分量的值是正的还是负的，将高频亮度变化分量的值乘以不同的增益。具体地，当高频亮度变化分量的值为正时使用的第二增益仅需要小于当高频亮度变化分量的值为负时使用的第一增益。

因此，可以有利地将对比度强调信号与已经执行了拐点校正的SDR视频信号相加。

<修改示例6>

[对块连接功能的用户设置]

在上述成像设备1中，可以由用户对以上对比度强调功能进行以下设置。

1.接通/断开对比度强调功能

2.增益值

3.亮度计算方法

接通/断开对比度强调功能是用于切换以上对比度强调功能的接通/断开状态的设置。

增益值是要与从HDR视频信号中提取的高频亮度变化分量相乘的增益值的设置。

亮度计算方法是用来计算亮度的亮度计算方法的设置。例如，亮度计算方法可以从如上所述的一般亮度计算公式和特殊亮度计算公式当中选择。

拨盘方向是相对于分配给增益设置的操作元件(拨盘)的旋转操作方向(顺时针方向或逆时针方向)的增益值的波动方向的设置。

图12是示出用于以上用户设置的UI(用户界面)屏幕的图。

关于UI，例如，成像设备1的VF 17、外部显示器等用作UI显示单元，以及成像设备1中提供的特定操作按钮等用作设置输入单元。

在UI屏幕上，允许用户从多个操作元件组当中选择要分配给每个设置项目的操作元件。可分配给设置项目的操作元件组包括成像设备1的操作输入单元19中提供的特定按钮组、拨盘组等。

图13是示出与成像设备1的对比度强调功能相关的操作元件的侧视图。如图中所示，成像设备1包括多个按钮B1、B2、B3、B4和B5以及多个拨盘D1、D2、D3和D4作为操作元件组，可向操作元件组分配与对比度强调功能相关的各个设置项目。

注意，尽管在图中示出了在成像设备1的主体1A的侧表面上提供操作元件组的情况，但是操作元件组也可以提供在成像设备1的其他表面(诸如上表面)上，或者可以提供在VF 17上。

接下来，将描述用于由用户将任意操作元件分配给图12中所示的UI屏幕上的成像设备1的操作元件组中的任意设置项目的方法。

注意，在图12中所示的UI屏幕中假设为每个设置项目设置操作元件的初始值的情况。例如，按钮B1的操作元件、拨盘D1的操作元件、拨盘D3的操作元件和按钮B3被分别设置为对比度强调功能的接通/断开状态的设置、增益值的设置、亮度计算方法的设置和拨盘方向的设置的初始值。

图14是示出当在图12中所示的UI屏幕上将分配给增益值的设置的操作元件从拨盘D1改变为拨盘D3时执行的操作方法的图。

在UI屏幕上，用户通过操作例如操作输入单元19中提供的光标键20等来选择希望改变操作元件的设置项目。例如，当光标键20的向下键20d被按下一次时，要改变操作元件的设置项目从对比度强调功能的接通/断开移动到增益值。接下来，当光标键20的向右键20r被按下一次时，关于块大小的设置项目的操作元件的显示从拨盘D1改变为拨盘D3。因此，关于增益值的设置项目的操作元件的分配从拨盘D1改变为拨盘D3。注意，当光标键20的向右键20r被按下两次时，关于增益值的设置项目的操作元件的显示从拨盘D1改变为拨盘D4。因此，关于横向的块大小的设置项目的操作元件的分配从拨盘D1改变为拨盘D4。以相同的方式，也可以改变关于其他设置项目的操作元件的分配。

图15是示出多个拨盘D1至D4之间的切换顺序的图。当设置改变之前的拨盘是拨盘D1时，每当光标20的向右键20r被按下一次时，按照拨盘D2、拨盘D3、拨盘D4和拨盘D1的顺序切换所选择的拨盘。此外，如图16中所示，按钮B1至B5以相同的方式切换。

注意，当关于增益值的设置项目的操作元件的分配从拨盘D1改变为拨盘D3时，操作元件与分配给亮度计算方法的设置的操作元件重叠。如果如上所述地发生用于多个设置项目的操作元件之间的任何重叠，则如图17中所示，以可区分的反相显示(reverse video)等来显示已经分配了操作元件的操作项目(例如，亮度计算方法的设置项目)，以便促使操作项目的操作元件的设置改变。因此，允许用户改变操作元件的分配，以便避免操作元件的重叠设置。

[实时反映到由设置变化所伴随的VF视频生成]

在拍摄时，用户可以通过操作分配给与对比强调功能相关的各个设置项目的各个操作元件，实时地改变在VF 17、外部显示器等上显示的第二视频信号的对比度的强调程度。因此，用户可以基于视觉识别来选择最适合于焦点调整的设置值。

也就是说，控制单元18检测分别分配给与操作输入单元19中的对比度强调功能相关的各个设置项目的各个操作元件的每个状态。控制单元18生成与检测到的状态对应的各个设置值，以及在对比度强调信号生成单元15中设置所生成的设置值。对比度强调信号生成单元15基于由控制单元18给出的各个设置值生成对比度强调信号，以及将生成的对比度强调信号输出到VF信号处理单元16。

<第二实施例>

接下来，将描述根据本技术的第二实施例。

图18是示出第二实施例的成像设备1A的配置的框图。

如图中所示，成像设备1A具有光学块11A、成像单元12A、具有预处理单元131A和SDR处理单元132A的主线视频信号处理单元13A、SDR视频输出单元14A、对比度强调信号生成单元15A、VF视频输出单元16A和VF 17。

成像单元12A输出比成像设备1A的输出视频的动态范围更宽的动态范围的像素信号。当假设成像设备1A的输出视频的动态范围是作为SDR的100％时，从成像元件12A输出的像素信号的动态范围可以在例如600％至1300％的范围内。

预处理单元131A对从成像单元12A提供的像素信号执行例如各种类型的校正(诸如缺陷校正、噪声消除和透镜像差校正)以及用于形成图像的预处理(诸如白平衡处理和利用主增益的放大)。

SDR处理单元132根据从预处理单元131A输出的视频信号生成SDR视频信号。

对比度强调信号生成单元15A从自主线视频信号处理单元13A的预处理单元131A输出的像素信号中提取至少高亮度部分的高频亮度变化分量，以及生成通过将所提取的亮度变化分量乘以规定增益而获得的信号作为对比度强调信号。生成的对比度强调信号被提供给VF视频输出单元16A。

VF视频输出单元16A将由对比度强调信号生成单元15A生成的对比度强调信号与由SDR处理单元132A获得的SDR视频信号相加以获得强调对比度的SDR视频信号，以及对要提供给VF 17A作为VF视频信号的信号执行其他信号处理(诸如合成字符和标记)。

图19是示出成像设备1A的更详细配置的框图。

如图中所示，SDR处理单元132A具有矩阵处理部133A、细节处理部134A、拐点处理部135A和SDR伽马处理部136A。

矩阵处理部133A对从预处理单元131A输出的视频信号执行去噪(debayer)处理、线性矩阵处理等，以生成彩色图像数据。

细节处理部134A对彩色图像数据执行细节处理。

拐点校正部135A对细节处理之后的彩色图像数据执行拐点(KNEE)校正，以生成降低高亮度部分的亮度值的SDR视频信号。

SDR伽马处理部136A对SDR视频信号执行用于显示的伽马处理。

由SDR处理单元132A生成的SDR视频信号被提供给SDR视频输出单元14A和VF视频输出单元16A两者。

SDR视频输出单元14A具有加法器141A和格式化器142A。加法器141A将由对比度强调信号生成单元15A生成的对比度强调信号与由SDR处理单元132A生成的SDR视频信号相加以生成强调对比度的SDR视频信号，以及将生成的SDR视频信号提供给格式化器142A。格式化器142A执行如下处理：将强调对比度的SDR视频信号转换为传送格式，以及经由摄像机电缆将转换后的信号输出到外部视频设备，诸如CCU(摄像机控制单元)或显示器。

CCU执行如下处理：接收经由摄像机电缆从成像设备1A传送的SDR视频信号等，并且在将接收到的信号转换为例如适合于传送的格式的数字视频信号或模拟视频信号之后将其传送。

VF视频输出单元16A具有加法器161A和格式化器162A。加法器161A将由对比度强调信号生成单元15A生成的对比度强调信号与由SDR处理单元132A生成的SDR视频信号相加以生成强调对比度的SDR视频信号，以及将生成的SDR视频信号提供给格式化器162A。格式化器162A将强调对比度的SDR视频信号转换为用于VF的传送格式，以及将转换后的信号提供给VF 17A。

如上所述，本实施例的成像设备1A可以从预处理单元131A的输出生成对比度强调信号，该预处理单元131A对来自成像单元12A的像素信号执行诸如校正之类的预处理，并且获得强调高亮度部分的对比度的用于VF输出的SDR视频。

<第三实施例>

接下来，将描述根据本技术的第三实施例。

图20是示出第三实施例的成像设备1B的配置的框图。

如图中所示，成像设备1B具有光学块11B、成像单元12B、具有预处理单元131B、SDR处理单元132B和HDR处理单元191B的主线视频信号处理单元13B、SDR视频输出单元14B、对比度强调信号生成单元15B、VF视频输出单元16B、VF 17B和HDR视频输出单元18B。也就是说，本实施例的成像设备1B是这样的成像设备，其中，主要将HDR处理单元191B和HDR视频输出单元18B添加到第二实施例的成像设备1A，HDR处理单元191B根据从预处理单元131B输出的视频信号生成HDR视频信号，以及HDR视频输出单元18B传送由HDR处理单元191B获得的HDR视频信号。

图21是示出第三实施例的成像设备1B的更详细配置的框图。

这里，将主要描述第三实施例的成像设备1B与第二实施例的成像设备1A之间的配置差异。

HDR处理单元191B具有矩阵处理部192B、细节处理部193B、拐点处理部194B和OETF部195B。

矩阵处理部192B对从预处理单元131B输出的视频信号执行去噪处理、线性矩阵处理等，以生成彩色图像数据。

细节处理部193B对彩色图像数据执行细节处理。

拐点校正部194B对细节处理之后的彩色图像数据执行拐点(KNEE)校正。

OETF部195B使用OETF(光电转换功能)对彩色图像数据执行灰度压缩。

注意，SDR处理单元132B与第二实施例的成像设备1A的SDR处理单元132A的不同之处在于，在矩阵处理部133B的前一级添加SDR增益调整部138B，并且在其他配置中与SDR处理单元132A相同。SDR增益调整部138B基于相对增益来调整SDR增益调整部138B的主增益与预处理部131B的主增益的比率，其中，利用相对增益来设置SDR视频的动态范围相对于HDR视频的动态范围的相关性。被SDR增益调整部138B的主增益放大的视频信号被提供给矩阵处理部133B以形成彩色图像。此后，与第二实施例的成像设备1A类似，由细节处理部134B、拐点处理部135B和伽马处理部136B生成SDR视频信号，并且生成的SDR视频信号被提供给SDR视频输出单元14B和VF视频输出单元16B两者。

SDR视频输出单元14B、VF视频输出单元16和对比度强调信号生成单元15B与第二实施例的成像设备1A中的那些相同，因此将省略它们的重复描述。

除了用于VF输出的SDR视频和强调高亮度部分的对比度的主线输出之外，本实施例的成像设备1B还可以获得用于主线输出的HDR视频。

<第四实施例>

[成像系统]

图22是示出根据本技术的第四实施例的成像系统的配置的框图。

成像系统25包括成像设备1C和CCU(摄像机控制单元)23。成像设备1C具有光学块11C、成像单元12C、预处理单元131C和传送单元21C。成像设备1C的传送单元21C经由诸如摄像机电缆的传送通道22将由预处理单元131C获得的像素信号传送到CCU 23。

CCU 23具有传送单元24C、SDR处理单元132C、HDR处理单元191C、SDR视频输出单元14C、对比度强调信号生成单元15C、VF视频输出单元16C和VF 17C。CCU 23在传送单元24C处接收经由传送通道22从成像设备1C传送的像素信号，以及将其提供给SDR处理单元132C、HDR处理单元191C和对比度强调信号生成单元15C。

在如上所述的包括成像设备1C和CCU(摄像机控制单元)23的成像系统25中，可以获得强调高亮度部分的对比度的用于VF输出的SDR视频。

接下来，将描述用于生成对比度强调信号的生成方法。

[用于对比度强调信号的生成方法1]

图23是示出作为用于对比度强调信号的生成方法1的用于从图像亮度信号Y生成对比度强调信号的方法的图。

对比度强调信号生成单元151根据从预处理单元输出的RGB像素信号71生成亮度信号Y，以及从亮度信号Y中提取对比度分量。对比度强调信号生成单元151将对比度分量信号分别乘以增益Gm和Gvf，以生成用于SDR主线的对比度强调信号和用于VF的对比度强调信号。将用于SDR主线的对比度强调信号与由SDR处理单元132A生成的SDR视频信号相加，以成为用于SDR主线的SDR视频信号72。此外，将用于VF的对比度强调信号与由SDR处理单元132A生成的SDR视频信号相加，以成为用于VF的SDR视频信号73。

[用于对比度强调信号的生成方法2]

图24是示出作为用于对比度强调信号的生成方法2的用于从图像的RGB中的每个的值生成对比度强调信号的方法的图。

对比度强调信号生成单元152从自预处理单元输出的RGB像素信号71的RGB中的每个的值中提取对于RGB中的每个的对比度分量。对比度强调信号生成单元152将对于RGB中的每个的对比度分量信号分别乘以增益Gm和Gvf，以生成用于SDR主线的对于RGB中的每个的对比度强调信号和用于VF的对于RGB中的每个的对比度强调信号。

将用于SDR主线的对于RGB中的每个的对比度强调信号与由SDR处理单元132A针对RGB中的每个生成的SDR视频信号相加，以成为用于SDR主线的SDR视频信号72。此外，将用于VF的对于RGB中的每个的对比度强调信号与由SDR处理单元132A针对RGB中的每个生成的SDR视频信号相加，以成为用于VF的SDR视频信号73。

[用于对比度强调信号的生成方法3]

在图25中，用于从图像的亮度信号Y生成对比度强调信号的方法和用于从图像的RGB中的每个的值生成对比度强调信号的方法彼此可切换。

对比度强调信号生成单元153根据例如从用户提供的选择指令同时在y侧和c侧之间切换开关SW1、SW2和SW3。

开关SW1是用于在从R像素的值生成的对比度分量信号和从亮度信号Y生成的对比度分量信号之间切换的开关。当选择c侧时，开关SW1选择从R像素的值生成的对比度分量信号，而当选择y侧时，开关SW1选择从亮度信号Y生成的对比度分量信号。

开关SW2是用于在从G像素的值生成的对比度分量信号和从亮度信号Y生成的对比度分量信号之间切换的开关。当选择c侧时，开关SW2选择从G像素的值生成的对比度分量信号，而当选择y侧时，开关SW2选择从亮度信号Y生成的对比度分量信号。

开关SW3是用于在从B像素的值生成的对比度分量信号和从亮度信号Y生成的对比度分量信号之间切换的开关。当选择c侧时，开关SW3选择从B像素的值生成的对比度分量信号，而当选择y侧时，开关SW3选择从亮度信号Y生成的对比度分量信号。

当在所有开关SW1、SW2和SW3中选择y侧时，从图像的亮度信号Y生成对比度强调信号。当在所有开关SW1、SW2和SW3中选择c侧时，从图像的RGB中的每个的值生成对比度强调信号。根据对比度强调信号是从图像的亮度信号Y生成的还是从图像的RGB中的每个的值生成的，用户可以适当地选择进一步强调SDR视频的对比度的方法。

图26是示出在使用亮度信号Y的对比度强调信号来强调对比度的SDR视频和使用从图像的RGB中的每个的值生成的对比度强调信号来强调对比度的SDR视频中对于RGB中的每个的特定像素的值的图。横轴表示时间轴，而纵轴表示亮度。通过亮度信息Y的对比度强调信号获得的SDR视频中的高亮度区域的信号的灰度的再现性良好。然而，RGB中的每个的高亮度区域的信号电平的差异变小，并且色调信息可能部分地丢失。另一方面，在使用图像的RGB中的每个的值的对比度强调信号生成的SDR视频中，除了存在于原始信号中的灰度之外，还再现RGB的高亮度区域的信号电平的差异，由此也存储色调信息。

[用于对比度强调信号的生成方法4]

图27是示出用于从图像的亮度信号Y生成对比度强调信号的方法和用于从图像的RGB中的每个的值生成对比度强调信号的方法彼此可切换的情况的修改示例的图。

对比度强调信号生成单元154根据例如从用户提供的选择指令同时在y侧和c侧之间切换开关SW4、SW5和SW6。

开关SW4是用于在从R像素的值生成的对比度分量信号和从亮度信号生成的对比度分量信号之间切换的开关。当选择c侧时，开关SW4选择从R像素的值生成的对比度分量信号，而当选择y侧时，开关SW4选择从亮度信号生成的对比度分量信号。

开关SW5是用于在从B像素的值生成的对比度分量信号和从亮度信号生成的对比度分量信号之间切换的开关。当选择c侧时，开关SW5选择从B像素的值生成的对比度分量信号，而当选择y侧时，开关SW5选择从亮度信号生成的对比度分量信号。

开关SW6是用于切换用于在G像素的值和亮度信号之间生成对比度分量信号的信息的开关。当选择c侧时，选择G像素的值，而当选择y侧时，选择亮度信号。

当在开关SW4、SW5和SW6中选择y侧时，从图像的亮度信号Y生成对比度强调信号。当在开关SW4、SW5和SW6中选择c侧时，获得从图像的RGB中的每个的值生成的RGB中的每个的对比度强调信号。因此，在该方法中，用户也可以从根据图像的亮度信号Y生成对比度强调信号的方法和根据图像的RGB中的每个的值生成对比度强调信号的方法当中，适当地选择更强调SDR视频的对比度的方法。

<<应用实例1>>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于手术室系统。

图B1是示意性地描绘可以应用根据本公开的实施例的技术的手术室系统5100的一般配置的视图。参考图B1，手术室系统5100被配置成使得安装在手术室中的一组装置通过视听(AV)控制器5107和手术室控制装置5109相连接以相互协作。

在手术室中，可以安装各种装置。在图B1中，作为示例，描绘了用于内窥镜手术的各种装置组5101、天花板摄像机5187、手术视场摄像机5189、多个显示装置5103A至5103D、记录器5105、病床5183和照明装置5191。天花板照摄像机5187设置在手术室的天花板上并且对外科医生的手进行成像。手术视场摄像机5189设置在手术室的天花板上并且对整个手术室的状态进行成像。

在所述装置中，装置组5101属于下文描述的内窥镜手术系统5113，并且包括内窥镜、显示由内窥镜拾取的图像的显示装置等。属于内窥镜手术系统5113的各种装置也被称为医疗设备。同时，显示装置5103A至5103D、记录器5105、病床5183和照明装置5191是例如与内窥镜手术系统5113分开地配备在手术室中的装置。不属于内窥镜手术系统5113的装置也被称为非医疗设备。视听控制器5107和/或手术室控制装置5109相互协作地控制医疗设备和非医疗设备的操作。

视听控制器5107整体地控制与图像显示有关的医疗设备和非医疗设备的处理。具体地，设置在手术室系统5100中的装置当中的装置组5101、天花板摄像机5187和手术视场摄像机5189中的每个可以是具有发送要在手术期间显示的信息的功能的装置(这种信息在下文中被称为显示信息，并且所述装置在下文中被称为发送源的装置)。同时，显示装置5103A至5103D中的每个可以是向其输出显示信息的装置(该装置在下文中也称为输出目的地的装置)。此外，记录器5105可以是用作发送源的装置和输出目的地的装置两者的装置。视听控制器5107具有如下功能：控制发送源的装置和输出目的地的装置的操作，以从发送源的装置获取显示信息，并且将显示信息传送到输出目的地的装置，以便显示或记录。应注意，显示信息包括在手术期间拾取的各种图像、与手术有关的各种信息(例如，患者的身体信息、过去的检查结果或关于手术过程的信息)等等。

具体地，对于视听控制器5107，可以从设备组5101传送与由内窥镜成像的患者的体腔中的手术区域的图像有关的信息作为显示信息。此外，从天花板摄像机5187，可以传送与由天花板摄像机5187拾取的外科医生的手的图像有关的信息作为显示信息。此外，从手术视场摄像机5189，可以传送与由手术视场摄像机5189拾取的图像有关的并且示出整个手术室的状态的信息作为显示信息。要注意的是，如果在手术室系统5100中存在具有图像拾取功能的不同装置，则视听控制器5107也可以从不同装置获取与由不同装置拾取的图像有关的信息作为显示信息。

替选地，例如，在记录器5105中，由视听控制器5107记录与过去拾取的上述这样的图像有关的信息。视听控制器5107可以从记录器5105获取与过去拾取的图像有关的信息作为显示信息。应注意，也可以在记录器5105中预先记录与手术有关的各种信息。

视听控制器5107控制作为输出目的地的装置的显示装置5103A至5103D中的至少一个，以显示所获取的显示信息(即，在手术期间拾取的图像或与手术有关的各种信息)。在所示的示例中，显示装置5103A是安装成从手术室的天花板悬挂的显示装置；显示装置5103B是安装在手术室的墙面上的显示装置；显示装置5103C是安装在手术室中的桌子上的显示装置；以及显示装置5103D是具有显示功能的移动装置(例如，平板个人计算机(PC))。

此外，尽管未在图B1中示出，手术室系统5100可以包括手术室外部的装置。手术室外部的装置可以是例如连接到在医院内外构建的网络的服务器、由医务人员使用的PC、安装在医院的会议室中的投影仪等。在这样的外部装置位于医院外部的情况下，视听控制器5107还可以通过电话会议系统等使显示信息显示在不同医院的显示设备上以执行远程医疗。

手术室控制装置5109整体地控制除了与非医疗设备上的图像显示有关的处理之外的处理。例如，手术室控制装置5109控制病床5183、天花板摄像机5187、手术视场摄像机5189和照明装置5191的驱动。

在手术室系统5100中，提供集中式操作面板5111，使得可以通过集中式操作面板5111向视听控制器5107发出关于图像显示的指令或者向手术室控制装置5109发出关于非医疗设备的操作的指令。通过在显示装置的显示面上提供触摸面板来配置集中式操作面板5111。

图B2是描绘在集中式操作面板5111上显示操作屏幕图像的示例的视图。在图B2中，作为示例，描绘了操作屏幕图像，其对应于在手术室系统5100中提供两个显示装置作为输出目的地的装置的情况。参考图B2，操作屏幕图像5193包括发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，设置在手术室系统5100中的发送源装置和表示发送源装置具有的显示信息的缩略图屏幕图像以相互关联的方式显示。用户可以选择要在来自显示在发送源选择区域5195中的任何发送源装置中的显示装置上显示的显示信息。

在预览区域5197中，显示在作为输出目的地的装置的两个显示装置(监视器1和监视器2)上显示的屏幕图像的预览。在所示的示例中，对于一个显示装置，通过画中画(PinP)显示来显示四个图像。四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，而其余三个图像以相对小的尺寸显示为子图像。用户可以通过从该区域中显示的四个图像当中适当地选择一个图像来在主图像和子图像之间进行交换。此外，状态显示区域5199被设置在显示四个图像的区域下方，并且可以在状态显示区域5199中适当地显示与手术有关的状态(例如，手术经过的时间、患者的身体信息等)。

在控制区域5201中设置发送源操作区域5203和输出目的地操作区域5205。在发送源操作区域5203中，显示用于执行用于发送源的装置的操作的图形用户界面(GUI)部分。在输出目的地操作区域5205中，显示用于执行用于输出目的地的装置的操作的GUI部分。在所示的示例中，在发送源操作区域5203中设置用于在具有图像拾取功能的发送源的装置中执行用于摄像机的各种操作(平移、倾斜和变焦)的GUI部分。用户可以通过适当地选择任何GUI部分来控制发送源的装置的摄像机的操作。应注意，尽管未示出，但是在发送源选择区域5195中选择的发送源的装置是记录器的情况下(即，在预览区域5197中显示过去记录在记录器中的图像的情况下)，可以在发送源操作区域5203中提供用于执行诸如图像的再现、再现的停止、倒带、快进等操作的GUI部件。

此外，在输出目的地操作区域5205中，设置用于执行用于在作为输出目的地的装置的显示装置上的显示的各种操作(交换、翻转、颜色调整、对比度调整以及在二维(2D)显示与三维(3D)显示之间切换)的GUI部分。用户可以通过适当地选择任何GUI部分来操作显示装置的显示器。

应注意，要在集中式操作面板5111上显示的操作屏幕图像不限于所描绘的示例，并且用户可能能够通过集中式操作面板5111对可由视听控制器5107控制的每个设备和设置在手术室系统5100中的手术室控制装置5109执行操作输入。

图B3是示出应用上述手术室系统的手术状态的示例的视图。天花板摄像机5187和手术视场摄像机5189设置在手术室的天花板上，使得可以对在病床5183上的患者5185的患病区域进行治疗的外科医生(医生)5181的手和整个手术室进行成像。天花板摄像机5187和手术视场摄像机5189可以包括放大率调整功能、焦距调整功能、成像方向调整功能等。照明装置5191设置在手术室的天花板上，并且至少照射在外科医生5181的手上。照明装置5191可以被配置成使得可以适当地调整照射光量、照射光的波长(颜色)、光的照射方向等。

如图B1中所示，内窥镜手术系统5113、病床5183、天花板摄像机5187、手术视场摄像机5189和照明装置5191通过视听控制器5107和手术室控制装置5109(图B3中未示出)相连接以相互协作。集中式操作面板5111设置在手术室中，并且用户可以通过如上所述的集中式操作面板5111适当地操作存在于手术室中的装置。

在下文中，详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支撑内窥镜5115的支撑臂装置5141以及安装有用于内窥镜手术的各种装置的推车5151。

在内窥镜手术中，代替切开腹壁以进行剖腹手术，使用被称为套管针5139a至5139d的多个管状孔设备来刺穿腹壁。然后，内窥镜5115的镜筒5117和其他手术工具5131通过套管针5139a至5139d插入患者5185的体腔中。在所示的示例中，作为其他手术工具5131，气腹管5133、能量设备5135和钳子5137被插入患者5185的体腔中。此外，能量设备5135是用于通过高频电流或超声波振动来执行组织的切口和剥离、血管的密封等的治疗工具。然而，所描绘的手术工具5131仅仅是示例，并且作为手术工具5131，可以使用通常在内窥镜手术中使用的各种手术工具，诸如例如镊子或牵开器。

由内窥镜5115拾取的患者5185的体腔中的手术区域的图像被显示在显示装置5155上。外科医生5181将在实时地观察在显示装置5155上显示的手术区域的图像的同时使用能量装置5135或钳子5137来进行诸如例如切除患病区域之类的治疗。应注意，尽管未示出，但是气腹管5133、能量设备5135和钳子5137在手术期间由外科医生5181、助手等支撑。

(支撑臂装置)

支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括关节部分5147a、5147b和5147c以及连杆5149a和5149b，并且在臂控制装置5159的控制下被驱动。内窥镜5115由臂单元5145支撑，从而控制内窥镜5115的位置和姿势。因此，可以实现内窥镜5115的稳定位置固定。

(内窥镜)

内窥镜5115包括镜筒5117和摄像机头5119，镜筒5117具有从其远端插入患者5185的体腔中的预定长度的区域，摄像机头5119连接到镜筒5117的近端。在所示的示例中，内窥镜5115被描绘为具有硬性类型的镜筒5117的刚性内窥镜。然而，内窥镜5115可以以其他方式被配置为具有柔性类型的镜筒5117的柔性内窥镜。

镜筒5117在其远端具有开口，在该开口中安装物镜。光源装置5157连接到内窥镜5115，使得由光源装置5157生成的光通过在镜筒5117的内部延伸的光导被引入到镜筒5117的远端并且通过物镜被施加到患者5185的体腔中的观察目标。应注意，内窥镜5115可以是前视内窥镜，或者可以是倾斜内窥镜或侧视内窥镜。

光学系统和图像拾取元件设置在照摄像机头5119的内部，使得来自观察目标的反射光(观察光)通过光学系统会聚在图像拾取元件上。由图像拾取元件对观察光进行光电转换，以生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为原始(RAW)数据被传送到CCU 5153。应注意，摄像机头5119具有集成在其中的用于适当地驱动摄像机头5119的光学系统以调整放大率和焦距的功能。

应注意，为了建立与例如立体视觉(3D显示)的兼容性，可在摄像机头5119上设置多个图像拾取元件。在这种情况下，将多个中继光学系统设置在镜筒5117的内部，以便将观察光引导到多个相应的图像拾取元件。

(集成在推车中的各种装置)

CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜5115和显示装置5155的操作。具体地，CCU 5153对于从摄像机头5119接收到的图像信号执行用于基于图像信号来显示图像的各种图像处理，诸如例如显影处理(去马赛克处理)。CCU 5153将已经执行了图像处理的图像信号提供给显示装置5155。此外，图B1中所示的视听控制器5107连接到CCU 5153。CCU 5153还将已经执行了图像处理的图像信号提供给视听控制器5107。此外，CCU 5153将控制信号传送到摄像机头5119，以控制摄像机头5119的驱动。控制信号可以包括与图像拾取条件有关的信息，诸如放大率或焦距。与图像拾取条件有关的信息可以通过输入装置5161输入，或者可以通过上述集中式操作面板5111输入。

显示装置5155在CCU 5153的控制下基于已经由CCU 5153执行了图像处理的图像信号来显示图像。如果内窥镜5115用于诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等高分辨率的成像和/或用于3D显示，则可以相应地显示高分辨率和/或3D显示的显示设备可被用作显示装置5155。在装置用于诸如4K或8K之类的高分辨率的成像的情况下，如果用作显示装置5155的显示装置具有等于或不小于55英寸的尺寸，则可以获得更加身临其境的体验。此外，可以根据目的提供具有不同分辨率和/或不同尺寸的多个显示装置5155。

光源装置5157包括光源(诸如例如发光二极管(LED))，并且将用于手术区域的成像的照射光提供给内窥镜5115。

臂控制装置5159包括处理器(诸如例如CPU)，并且根据预定程序操作，以根据预定的控制方法控制支撑臂装置5141的臂单元5145的驱动。

输入装置5161是用于内窥镜手术系统5113的输入接口。用户可以通过输入装置5161执行输入到内窥镜手术系统5113的各种类型的信息或指令的输入。例如，用户可以通过输入装置5161输入与手术有关的各种类型的信息，诸如患者的身体信息、关于手术的手术过程的信息等等。此外，用户将通过输入装置5161输入例如驱动臂单元5145的指令、改变内窥镜5115的图像拾取条件(照射光的类型、放大率、焦距等)的指令、驱动能量设备5135的指令等。

输入装置5161的类型不受限制，并且可以是各种已知输入装置中的任何一种。作为输入装置5161，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5171和/或杆等。在使用触摸面板作为输入装置5161的情况下，可以将触摸面板设置在显示装置5155的显示面上。

输入装置5161另外是要安装在用户上的设备(诸如例如眼镜型可穿戴设备或头戴式显示器(HMD))，并且响应于由所提到的任何设备检测到的用户的手势或视线来执行各种类型的输入。此外，输入装置5161包括可以检测用户的动作的摄像机，并且响应于从由摄像机拾取的视频检测到的用户的手势或视线来执行各种类型的输入。此外，输入装置5161包括可以收集用户的语音的麦克风，并且通过麦克风经由语音来执行各种类型的输入。通过以这种方式配置输入装置5161使得可以以非接触式的方式输入各种类型的信息，尤其是属于清洁区域的用户(例如，外科医生5181)可以以非接触式的方式操作属于不清洁区域的装置。此外，由于用户可以在不从手中释放所拥有的手术工具的情况下操作装置，因此提高了对用户的便利性。

治疗工具控制装置5163控制能量设备5135的驱动，以用于组织的烧灼或切开、血管的密封等。气腹装置5165通过气腹管5133将气体输送到患者5185的体腔中以使体腔充气，以便确保内窥镜5115的视场并且确保外科医生的工作空间。记录器5167是能够记录与手术有关的各种类型的信息的装置。打印机5169是能够以诸如文本、图像或图形之类的各种形式打印与手术有关的各种类型的信息的装置。

在下文中，尤其更详细地描述内窥镜手术系统5113的特征配置。

(支撑臂装置)

支撑臂装置5141包括用作基座的基座单元5143和从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个关节部分5147a、5147b和5147c以及通过关节部分5147b彼此连接的多个连杆5149a和5149b。在图B3中，为了简化说明，臂单元5145的配置以简化形式示出。实际上，关节部分5147a至5147c以及连杆5149a和5149b的形状、数量和布置以及关节部分5147a至5147c的旋转轴线的方向等可以适当地设置，使得臂单元5145具有期望的自由度。例如，臂单元5145可以优选地被构成为使得其具有等于或不小于6个自由度的自由度。这使得可以在臂单元5145的可移动范围内自由地移动内窥镜5115。因此，可以将内窥镜5115的镜筒5117从期望的方向插入到患者5185的体腔中。

致动器设置在关节部分5147a至5147c中，并且关节部分5147a至5147c构成为使得它们可通过致动器的驱动而围绕其预定的旋转轴线旋转。通过臂控制装置5159控制致动器的驱动，以控制每个关节部分5147a至5147c的旋转角度，从而控制臂单元5145的驱动。因此，可以实现对内窥镜5115的位置和姿势的控制。因此，臂控制装置5159可以通过诸如力控制或位置控制之类的各种已知控制方法来控制臂单元5145的驱动。

例如，如果外科医生5181通过输入装置5161(包括脚踏开关5171)适当地执行操作输入，则可以由臂控制装置5159响应于操作输入来适当地控制臂装置5145的驱动，以控制内窥镜5115的位置和姿势。在通过刚刚描述的控制将在臂单元5145的远端处的内窥镜5115从任意位置移动到不同的任意位置之后，可以将内窥镜5115固定地支撑在移动之后的位置处。应注意，臂单元5145可以以主从方式操作。在这种情况下，臂单元5145可以由用户通过放置在远离手术室的地方的输入装置5161来远程地控制。

此外，在施加力控制的情况下，臂控制装置5159可以执行动力辅助控制以驱动关节部分5147a至5147c的致动器，使得臂单元5145可以接收用户的外力并且根据外力平滑地移动。这使得当用户直接触摸并且移动臂单元5145时，可以以相对弱的力来移动臂单元5145。因此，用户可以通过更简单和更容易的操作来更直观地移动内窥镜5115，并且可以提高对用户的便利性。

这里，通常在内窥镜手术中，内窥镜5115由被称为显微操作员(scopist)的医生支撑。与之相比，在使用支撑臂装置5141的情况下，内窥镜5115的位置可以在没有手的情况下以更高的确定度固定，因此可以稳定地获得手术区域的图像并且可以顺利地进行手术。

应注意，臂控制设备5159可以不必设置在推车5151上。此外，臂控制设备5159可以不必是单个装置。例如，臂控制装置5159可以设置在支撑臂装置5141的臂单元5145的每个关节部分5147a至5147c中，使得多个臂控制装置5159彼此协作以实现臂单元5145的驱动控制。

(光源装置)

光源装置5157在对手术区域进行成像时向内窥镜5115提供照射光。光源装置5157包括白色光源，该白色光源包括例如LED、激光光源或其组合。在这种情况下，在白色光源包括红色、绿色和蓝色(RGB)激光光源的组合的情况下，因为可以针对每种颜色(每个波长)以高准确度来控制输出强度和输出定时，所以可以由光源装置5157来执行拾取图像的白平衡的调整。此外，在这种情况下，如果来自RGB激光光源的激光束被时分地施加在观察目标上并且与照射定时同步地控制摄像机头5119的图像拾取元件的驱动，则可以时分地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有为图像拾取元件提供滤色器，也可以获得彩色图像。

此外，可以控制光源装置5157的驱动，使得要输出的光的强度在每个预定时间改变。通过与光的强度变化的定时同步地控制摄像机头5119的图像拾取元件的驱动以时分地获取图像并且合成图像，可以创建高动态范围的图像，而没有曝光不足的阻挡阴影和过度曝光的高光。

此外，光源装置5157可以被配置为提供用于特殊光观察的预定波长带的光。在特殊光观察中，例如，通过利用身体组织的光吸收的波长依赖性，与正常观察时的照射光(即白光)相比，通过施加更窄波长带的光，执行以高对比度对诸如粘膜的表面部分的血管等预定组织进行成像的窄带光观察(窄带成像)。替选地，在特殊光观察中，还可以进行用于从由激发光的照射生成的荧光获得图像的荧光观察。在荧光观察中，可以通过对身体组织照射激发光来执行来自身体组织的荧光的观察(自发荧光观察)，或者通过将诸如吲哚菁绿(ICG)的试剂局部地注入到身体组织中并且对身体组织照射与试剂的荧光波长相对应的激发光来获得荧光图像。光源装置5157可以被配置为提供适合于如上所述的特殊光观察的这样的窄带光和/或激发光。

(摄像机头和CCU)

参考图B4更详细地描述内窥镜5115的摄像机头5119和CCU5153的功能。图B4是描绘图B3中所示的摄像机头5119和CCU5153的功能配置的示例的框图。

参考图B4，摄像机头5119具有作为其功能的透镜单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和摄像机头控制单元5129。此外，CCU 5153具有作为其功能的通信单元5173、图像处理单元5175和控制单元5177。摄像机头5119和CCU 5153通过传送电缆5179连接以彼此双向可通信。

首先，描述摄像机头5119的功能配置。透镜单元5121是设置在摄像机头5119与镜筒5117的连接位置处的光学系统。从镜筒5117的远端取入的观察光被引入到摄像机头5119中并且进入透镜单元5121。透镜单元5121包括多个透镜的组合，多个透镜包括变焦镜头和聚焦镜头。透镜单元5121具有光学特性，该光学特性被调整为使得观察光会聚在图像拾取单元5123的图像拾取元件的光接收面上。此外，变焦镜头和聚焦镜头构成为使得其在光轴上的位置是可移动的，以用于调整拾取图像的放大率和焦点。

图像拾取单元5123包括图像拾取元件并且设置在透镜单元5121的后续级处。已经通过透镜单元5121的观察光会聚在图像拾取元件的光接收面上，并且通过光电转换生成对应于观察图像的图像信号。由图像拾取单元5123生成的图像信号被提供给通信单元5127。

作为构成图像拾取单元5123的图像拾取元件，使用例如具有拜耳阵列并且能够拾取彩色图像的互补金属氧化物半导体(CMOS)类型的图像传感器。应注意，作为图像拾取元件，可以使用例如用于等于或不小于4K的高分辨率的图像的成像的图像拾取元件。如果以高分辨率获得手术区域的图像，则外科医生5181可以以增强的细节理解手术区域的状态并且可以更顺利地进行手术。

此外，构成图像拾取单元5123的图像拾取元件被配置为使得其具有一对图像拾取元件，以用于获取与3D显示兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5181可以以更高的准确度理解手术区域中的活体组织的深度。应注意，如果图像拾取单元5123被配置为多板类型的，则多个透镜单元5121系统被设置为对应于图像拾取单元5123的各个图像拾取元件。

图像拾取单元5123可以不必设置在摄像机头5119上。例如，图像拾取单元5123可以设置在镜筒5117内部的物镜的正后方。

驱动单元5125包括致动器，并且在摄像机头控制单元5129的控制下沿着光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。因此，可以适当地调整图像拾取单元5123的拾取图像的放大率和焦点。

通信单元5127包括用于向CCU 5153发送和从CCU 5153接收各种类型的信息的通信装置。通信单元5127通过传送电缆5179将从图像拾取单元5123获取的图像信号作为原始(RAW)数据传送到CCU 5153。因此，为了以低延迟显示手术区域的拾取图像，优选地通过光学通信传送图像信号。这是因为，由于在手术时，外科医生5181在通过拾取图像观察患病区域的状态的同时进行手术，所以为了以更高的安全度和确定度来实现手术，需要尽可能实时地显示手术区域的运动图像。在应用光通信的情况下，在通信单元5127中提供用于将电信号转换为光信号的光电转换模块。在通过光电转换模块将图像信号转换为光信号之后，通过传送电缆5179将其传送到CCU5153。

此外，通信单元5127从CCU 5153接收用于控制摄像机头5119的驱动的控制信号。控制信号包括与图像拾取条件有关的信息，诸如例如指定拾取图像的帧率的信息、指定图像拾取时的曝光值的信息和/或指定拾取图像的放大率和焦点的信息。通信单元5127将所接收到的控制信号提供给摄像机头控制单元5129。应注意，来自CCU 5153的控制信号也可以通过光通信来传送。在这种情况下，在通信单元5127中提供用于将光信号转换成电信号的光电转换模块。在通过光电转换模块将控制信号转换成电信号之后，将其提供给摄像机头控制单元5129。

应注意，诸如帧率、曝光值、放大率或焦点之类的图像拾取条件由CCU 5153的控制单元5177基于所获取的图像信号来自动设置。换句话说，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能被集成在内窥镜5115中。

摄像机头控制单元5129基于通过通信单元5127接收到的来自CCU 5153的控制信号来控制摄像机头5119的驱动。例如，摄像机头控制单元5129基于指定拾取图像的帧率的信息和/或指定图像拾取时的曝光值的信息来控制图像拾取单元5123的图像拾取元件的驱动。此外，例如，摄像机头控制单元5129基于指定拾取图像的放大率和焦点的信息来控制驱动单元5125，以适当地移动透镜单元5121的变焦透镜和聚焦透镜。摄像机头控制单元5129可以包括用于存储用于识别镜筒5117和/或摄像机头5119的信息的功能。

应注意，通过将诸如透镜单元5121和图像拾取单元5123之类的部件布置在具有高气密性和高防水性的密封结构中，可以使摄像机头5119具有对高压灭菌过程的抵抗力。

现在，描述CCU 5153的功能配置。通信单元5173包括用于向摄像机头5119发送和从摄像机头5119接收各种类型的信息的通信装置。通信单元5173通过传送电缆5179接收从摄像机头5119传送的图像信号。因此，可以优选地通过如上所述的光通信来传送图像信号。在这种情况下，为了与光通信兼容，通信单元5173包括用于将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号后的图像信号提供给图像处理单元5175。

此外，通信单元5173向摄像机头5119传送用于控制摄像机头5119的驱动的控制信号。此外，可以通过光通信来传送控制信号。

图像处理单元5175对从摄像机头5119传送的原始(RAW)数据形式的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，诸如例如显影处理、图像质量改进处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。

图像处理单元5175包括诸如CPU或GPU之类的处理器，并且当处理器根据预定程序进行操作时，可以执行上述图像处理和检测处理。应注意，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号有关的信息，使得图像处理由多个GPU并行地执行。

控制单元5177执行与由内窥镜5115对手术区域的图像拾取有关的各种类型的控制以及所拾取的图像的显示。例如，控制单元5177生成用于控制摄像机头5119的驱动的控制信号。因此，如果用户输入了图像拾取条件，则控制单元5177基于用户的输入生成控制信号。替选地，在内窥镜5115具有集成在其中的AE功能、AF功能和AWB功能的情况下，控制单元5177响应于图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并且生成控制信号。

此外，控制单元5177基于已经由图像处理单元5175执行了图像处理的图像信号来控制显示装置5155显示手术区域的图像。因此，控制单元5177使用各种图像识别技术来识别手术区域图像中的各种对象。例如，控制单元5177可以通过检测包括在手术区域图像中的对象的边缘的形状、颜色等来识别诸如镊子之类的手术工具、特定活体区域、出血、当使用能量设备5135时的雾等。当控制单元5177控制显示装置5155显示手术区域图像时，控制单元5177使用识别结果来使得各种类型的手术支持信息以与手术区域的图像重叠的方式显示。在手术支持信息以重叠方式显示并且呈现给外科医生5181的情况下，外科医生5181可以更安全和确定地进行手术。

将摄像机头5119和CCU 5153彼此连接的传送电缆5179是用于电信号通信的电信号电缆、用于光通信的光纤或其复合电缆。

这里，虽然在图中所示的示例中，使用传送电缆5179通过有线通信执行通信，但是摄像机头5119和CCU 5153之间的通信可以以其他方式通过无线通信来执行。在通过无线通信执行摄像机头5119和CCU 5153之间的通信的情况下，不需要将传送电缆5179放置在手术室中。因此，可以消除传送电缆5179扰乱手术室中医务人员的移动的情形。

上面已经描述了可以应用根据本公开的实施例的技术的手术室系统5100的示例。这里要注意的是，尽管已经描述了应用手术室系统5100的医疗系统是内窥镜手术系统5113的情况作为示例，但是手术室系统5100的配置不限于上述示例。例如，手术室系统5100可以应用于用于检查的软性内窥镜系统或显微镜手术系统，而不是内窥镜手术系统5113。

根据本公开的技术可以应用于这样的系统，其中由例如天花板摄像机5187、手术场所摄像机5189捕获的患者体内的手术部位的图像和手术场所的图像被上述配置中的CCU5153内部的图像处理单元5175处理，然后显示在显示装置5103A至5103D等上。也就是说，通过将根据本公开的技术中的第一视频信号处理单元和第二视频信号处理单元应用于CCU5153内部的图像处理单元5175，获得强调对比度的手术部位的图像和手术场所的图像，可以实现观察准确度的提高，并且可以实现手术效率和手术准确度的提高。

<<应用实例2>>

根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体(例如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人)中的设备。

图1021是描绘可应用根据本公开的实施例的技术的作为移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。

车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图1021中所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。另外，微计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053被示出为集成控制单元12050的功能配置。

驱动系统控制单元12010根据各种类型的程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元12010用作用于生成车辆驱动力的驱动力生成设备(例如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调整车辆的转向角的转向机构、用于生成车辆的制动力的制动设备等的控制设备。

车身系统控制单元12020根据各种类型的程序来控制提供给车身的各种类型的设备的操作。例如，车身系统控制单元12020用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或各种类型的灯(诸如前照灯、倒车灯、刹车灯、转弯信号灯、雾灯等)的控制设备。在这种情况下，作为钥匙的替代品从移动设备传送的无线电波或各种类型的开关的信号可以输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号，以及控制车辆的门锁设备、电动车窗设备、灯等。

车外信息检测单元12030检测关于包括车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031对车辆外部的图像进行成像，并且接收所成像的图像。基于所接收到的图像，车外信息检测单元12030可以执行检测对象(诸如人、车辆、障碍物、标志、路面上的字符等)的处理或检测距离的处理。

成像部12031是接收光并且输出与接收到的光的光量相对应的电信号的光学传感器。成像部12031可以输出电信号作为图像，或者可以输出电信号作为关于测量距离的信息。另外，由成像部12031接收到的光可以是可见光，或者可以是诸如红外线等不可见光。

车内信息检测单元12040检测关于车辆的内部的信息。车内信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员进行成像的摄像机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打瞌睡。

微计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息来计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微计算机12051可以执行用于实现高级驾驶员辅助系统(ADAS)的功能的协同控制，所述功能包括：用于车辆的碰撞避免或减震、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞警告、车辆偏离车道警告等。

另外，微计算机12051可以执行用于自动驾驶的协同控制，其通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息来控制驱动力生成设备、转向机构、制动设备等，使车辆自主行驶而不依赖于驾驶员的操作等。

另外，微计算机12051可以基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微计算机12051可以通过例如根据由车外信息检测单元12030检测到的前面车辆或迎面而来的车辆的位置控制前照灯以便从远光灯变为近光灯，执行用于防止眩光的协同控制。

声音/图像输出部12052将声音和图像中的至少一个的输出信号传送到输出设备，该输出设备能够在视觉上或听觉上将信息通知给车辆的乘员或车辆的外部。在图1021的示例中，音频扬声器12061、显示部12062和仪表板12063被示出为输出设备。显示部12062可以例如包括车载显示器和抬头显示器中的至少一个。

图1022是描绘成像部12031的安装位置的示例的图。

在图1022中，成像部12031包括成像部12101、12102、12103、12104和12105。

成像部12101、12102、12103、12104和12105例如布置在车辆12100的前鼻部、后视镜、后保险杠和后门上的位置处以及车辆的内部中的挡风玻璃的上部的位置处。设置在前鼻部的成像部12101和设置在车辆的内部中的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门的成像部12104主要获得车辆12100后面的图像。设置在车辆的内部中的挡风玻璃的上部的成像部12105主要用来检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提一下，图1022描绘了成像部12101到12104的拍摄范围的示例。成像范围12111表示设置到前鼻部的成像部12101的成像范围。成像范围12112和12113分别表示设置到侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置到后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据，获得从上方观看的车辆12100的鸟瞰图像。

成像部12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件构成的立体摄像机，或者可以是具有用于相位差检测的像素的成像元件。

例如，微计算机12051可以基于从成像部12101至12104获得的距离信息确定与成像范围12111到12114内的每个三维对象的距离和距离的时间变化(相对于车辆12100的相对速度)，从而提取特别是存在于车辆12100的行进路径上并且在与车辆12100基本相同的方向上以预定速度(例如，等于或大于0千米/小时)行进的最接近的三维对象作为前面车辆。此外，微计算机12051可以预先设置在前面车辆的前方保持的跟随距离，并且执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随启动控制)等。因此，可以执行用于自动驾驶的协同控制，其使得车辆自主行驶而不依赖于驾驶员的操作等。

例如，微计算机12051可以基于从成像部12101到12104获得的距离信息，将关于三维对象的三维对象数据分类为两轮车辆、标准尺寸车辆、大型车辆、行人、电线杆和其他三维对象的三维对象数据，提取分类后的三维对象数据，以及使用提取的三维对象数据来自动避开障碍物。例如，微计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以在视觉上识别的障碍物以及车辆12100的驾驶员难以在视觉上识别的障碍物。然后，微计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设置值并且因此存在碰撞可能性的情况下，微计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由驱动系统控制单元12010执行强制减速或者回避转向。由此，微计算机12051可以辅助驱动以避免碰撞。

成像部12101至12104中的至少一个可以是检测红外线的红外摄像机。例如，微计算机12051可以通过确定成像部12101至12104的成像图像中是否存在行人来识别行人。例如，这样的对行人的识别通过以下过程来执行：提取作为红外摄像机的成像部12101到12104的成像图像中的特征点的过程，以及通过对表示对象的轮廓的一系列特征点进行模式匹配处理来确定其是否是行人的过程。当微计算机12051确定在成像部12101至12104的成像图像中存在行人并且因此识别行人时，声音/图像输出部12052控制显示部12062，使得显示用于强调的方形轮廓线以便叠加在所识别的行人上。声音/图像输出部12052还可以控制显示部12062，使得代表行人的图标等显示在期望的位置处。

根据本公开的技术可以应用于这样的系统，其中由上述车辆控制系统的配置当中的成像部12101、12102、12103、12104和12105捕获的图像被微计算机12051处理并且显示在显示部12062等上。也就是说，将根据本公开的技术中的第一视频信号处理单元和第二视频信号处理单元应用于微计算机12051的图像处理允许在显示部12062上显示强调对比度的车辆外部或内部的图像、提高观察准确度、以及提高车辆驾驶的安全性。

注意，本技术还可以采用以下配置。

(1)一种成像设备，包括：

第一视频信号处理单元，第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

第二视频信号处理单元，第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

(2)根据(1)所述的成像设备，其中，

所述亮度区域是超过规定阈值的高亮度部分的区域。

(3)根据(1)或(2)所述的成像设备，还包括：

第一输出单元，第一输出单元将第二视频信号输出到显示单元。

(4)根据(1)至(3)中任一项所述的成像设备，还包括：

第二输出单元，第二输出单元将第一视频信号输出到外部设备。

(5)根据(1)至(4)中任一项所述的成像设备，还包括：

取景器，所述取景器输出第二视频信号。

(6)根据(1)至(5)中任一项所述的成像设备，其中，

第二视频信号处理单元被配置为对第一视频信号执行拐点校正，以生成亮度降低视频信号。

(7)根据(1)至(6)中任一项所述的成像设备，其中，

第二视频信号处理单元被配置为使用高通滤波器从第一视频信号中提取高频亮度变化分量。

(8)根据(1)至(7)中任一项所述的成像设备，其中，

第二视频信号处理单元被配置为将所提取的高频亮度变化分量乘以规定增益，以生成亮度变化分量的信息信号。

(9)根据(1)至(8)中任一项所述的成像设备，其中，

第一视频信号是彩色视频信号，以及

第二视频信号处理单元被配置为根据多个计算公式从彩色视频信号生成多个亮度信号，并且选择具有最大绝对值的亮度信号，以生成高频亮度变化分量。

(10)根据(1)至(9)中任一项所述的成像设备，其中，

第二视频信号处理单元被配置为根据高频亮度变化分量的值是正还是负，将高频亮度变化分量的值乘以不同的增益，并且第二视频信号处理单元被配置为使得当高频亮度变化分量的值为正时使用的第二增益小于当高频亮度变化分量的值为负时使用的第一增益。

(11)根据(1)至(10)中任一项所述的成像设备，还包括：

操作输入单元，所述操作输入单元具有包括第一操作元件和第二操作元件的多个操作元件组，其中，第一操作元件接收来自用户的关于增益的第一设置信息，第二操作元件接收来自用户的关于计算公式的第二设置信息；以及

控制单元，所述控制单元在拍摄期间检测第一操作元件和第二操作元件的状态，并且使第一设置信息和第二设置信息中的至少一个实时地反映到第二视频信号处理单元的运行。

(12)根据(11)所述的成像设备，其中，

所述设置信息是关于增益的信息或关于计算公式的信息。

(13)根据(11)或(12)所述的成像设备，还包括：

用户界面，所述用户界面允许设置针对所述至少一个或多个操作元件分配的设置信息的类型。

(14)根据(1)至(13)中任一项所述的成像设备，其中，

第一视频信号处理单元是执行预处理以输出第一视频信号的校正电路，所述预处理包括校正由所述成像单元获得的像素信号。

(15)根据(1)至(14)中任一项所述的成像设备，其中，

第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

(16)根据(1)至(14)中任一项所述的成像设备，其中，

第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号，并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号。

(17)根据(1)至(14)中任一项所述的成像设备，其中，

第二视频信号处理单元被配置为能够在第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号、从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号的模式与第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号的模式之间进行切换。

(18)一种视频信号处理设备，包括：

第一视频信号处理单元，第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

第二视频信号处理单元，第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

(19)根据(18)所述的视频信号处理设备，其中，

所述亮度区域是超过规定阈值的高亮度部分的区域。

(20)根据(18)或(19)所述的视频信号处理设备，还包括：

第一输出单元，第一输出单元将第二视频信号输出到显示单元。

(21)根据(18)至(20)中任一项所述的视频信号处理设备，还包括：

第二输出单元，第二输出单元将第一视频信号输出到外部设备。

(22)根据(18)至(21)中任一项所述的视频信号处理设备，还包括：

取景器，所述取景器输出第二视频信号。

(23)根据(18)至(22)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元被配置为对第一视频信号执行拐点校正，以生成亮度降低视频信号。

(24)根据(18)至(23)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元被配置为使用高通滤波器从第一视频信号中提取高频亮度变化分量。

(25)根据(18)至(24)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元被配置为将所提取的高频亮度变化分量乘以规定增益，以生成亮度变化分量的信息信号。

(26)根据(18)至(25)中任一项所述的视频信号处理设备，其中，

第一视频信号是彩色视频信号，以及

第二视频信号处理单元被配置为根据多个计算公式从彩色视频信号生成多个亮度信号，并且选择具有最大绝对值的亮度信号，以生成高频亮度变化分量。

(27)根据(18)至(26)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元被配置为根据高频亮度变化分量的值是正还是负，将高频亮度变化分量的值乘以不同的增益，并且第二视频信号处理单元被配置为使得当高频亮度变化分量的值为正时使用的第二增益小于当高频亮度变化分量的值为负时使用的第一增益。

(28)根据(18)至(27)中任一项所述的视频信号处理设备，还包括：

操作输入单元，所述操作输入单元具有包括第一操作元件和第二操作元件的多个操作元件组，其中，第一操作元件接收来自用户的关于增益的第一设置信息，第二操作元件接收来自用户的关于计算公式的第二设置信息；以及

控制单元，所述控制单元在拍摄期间检测第一操作元件和第二操作元件的状态，并且使第一设置信息和第二设置信息中的至少一个实时地反映到第二视频信号处理单元的运行。

(29)根据(28)所述的视频信号处理设备，其中，

所述设置信息是关于增益的信息或关于计算公式的信息。

(30)根据(28)或(29)所述的视频信号处理设备，还包括：

用户界面，所述用户界面允许设置针对所述至少一个或多个操作元件分配的设置信息的类型。

(31)根据(18)至(30)中任一项所述的视频信号处理设备，其中，

第一视频信号处理单元是执行预处理以输出第一视频信号的校正电路，所述预处理包括校正由所述成像单元获得的像素信号。

(32)根据(18)至(31)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

(33)根据(18)至(31)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号，并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号。

(34)根据(18)至(31)中任一项所述的视频信号处理设备，其中，

第二视频信号处理单元被配置为能够在第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号、从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号的模式与第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号的模式之间进行切换。

(35)一种视频信号处理方法，包括：

由第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

由第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

(36)根据(35)所述的视频信号处理方法，其中，

所述亮度区域是超过规定阈值的高亮度部分的区域。

(37)根据(35)或(36)所述的视频信号处理方法，其中，

第一输出单元将第二视频信号输出到显示单元。

(38)根据(35)至(37)中任一项所述的视频信号处理方法，其中，

第二输出单元将第一视频信号输出到外部设备。

(39)根据(35)至(38)中任一项所述的视频信号处理方法，其中，

使得取景器输出第二视频信号。

(40)根据(35)至(39)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元对第一视频信号执行拐点校正，以生成亮度降低视频信号。

(41)根据(35)至(40)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元使用高通滤波器从第一视频信号中提取高频亮度变化分量。

(42)根据(35)至(41)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元将所提取的高频亮度变化分量乘以规定增益，以生成亮度变化分量的信息信号。

(43)根据(35)至(42)中任一项所述的视频信号处理方法，其中，

第一视频信号是彩色视频信号，以及

第二视频信号处理单元根据多个计算公式从彩色视频信号生成多个亮度信号，并且选择具有最大绝对值的亮度信号，以生成高频亮度变化分量。

(44)根据(35)至(43)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元根据高频亮度变化分量的值是正还是负，将高频亮度变化分量的值乘以不同的增益，并且第二视频信号处理单元使得当高频亮度变化分量的值为正时使用的第二增益小于当高频亮度变化分量的值为负时使用的第一增益。

(45)根据(35)至(44)中任一项所述的视频信号处理方法，其中，

控制单元在拍摄期间检测第一操作元件和第二操作元件的状态，其中，第一操作元件接收来自用户的关于增益的第一设置信息，第二操作元件接收来自用户的关于计算公式的第二设置信息，并且控制单元使第一设置信息和第二设置信息中的至少一个实时地反映到第二视频信号处理单元的运行。

(46)根据(45)所述的视频信号处理方法，其中，

所述设置信息是关于增益的信息或关于计算公式的信息。

(47)根据(45)或(46)所述的视频信号处理方法，其中，

设置针对所述至少一个或多个操作元件分配的设置信息的类型。

(48)根据(35)至(47)中任一项所述的视频信号处理方法，其中，

第一视频信号处理单元执行预处理以输出第一视频信号，所述预处理包括校正由所述成像单元获得的像素信号。

(49)根据(35)至(48)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

(50)根据(35)至(48)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号，并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号。

(51)根据(35)至(48)中任一项所述的视频信号处理方法，其中，

第二视频信号处理单元被配置为能够在第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号、从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号的模式与第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号的模式之间进行切换。

参考标记列表

1 视频信号处理设备

11 光学块

12 成像单元

13 主线视频信号处理单元

14 传送单元

15 对比度强调信号生成单元

16 VF信号处理单元

17 VF

18 控制单元

19 操作输入单元

Claims (19)

1.一种成像设备，包括：

第一视频信号处理单元，第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

第二视频信号处理单元，第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

2.根据权利要求1所述的成像设备，其中，

所述亮度区域是超过规定阈值的高亮度部分的区域。

3.根据权利要求1所述的成像设备，还包括：

第一输出单元，第一输出单元将第二视频信号输出到显示单元。

4.根据权利要求1所述的成像设备，还包括：

第二输出单元，第二输出单元将第一视频信号输出到外部设备。

5.根据权利要求1所述的成像设备，还包括：

取景器，所述取景器输出第二视频信号。

6.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元被配置为对第一视频信号执行拐点校正，以生成亮度降低视频信号。

7.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元被配置为使用高通滤波器从第一视频信号中提取高频亮度变化分量。

8.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元被配置为将所提取的高频亮度变化分量乘以规定增益，以生成亮度变化分量的信息信号。

9.根据权利要求1所述的成像设备，其中，

第一视频信号是彩色视频信号，以及

第二视频信号处理单元被配置为根据多个计算公式从彩色视频信号生成多个亮度信号，并且选择具有最大绝对值的亮度信号，以生成高频亮度变化分量。

10.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元被配置为根据高频亮度变化分量的值是正还是负，将高频亮度变化分量的值乘以不同的增益，并且第二视频信号处理单元被配置为使得当高频亮度变化分量的值为正时使用的第二增益小于当高频亮度变化分量的值为负时使用的第一增益。

11.根据权利要求1所述的成像设备，还包括：

操作输入单元，所述操作输入单元具有接收来自用户的操作的至少一个或多个操作元件，其中，

所述控制单元被配置为在拍摄期间检测所述至少一个或多个操作元件的状态，并且使基于所述操作的设置信息实时地反映到第二视频信号处理单元的运行。

12.根据权利要求11所述的成像设备，其中，

所述设置信息是关于增益的信息或关于计算公式的信息。

13.根据权利要求11所述的成像设备，还包括：

用户界面，所述用户界面允许设置针对所述至少一个或多个操作元件分配的设置信息的类型。

14.根据权利要求1所述的成像设备，其中，

第一视频信号处理单元是执行预处理以输出第一视频信号的校正电路，所述预处理包括校正由所述成像单元获得的像素信号。

15.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

16.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号，并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号。

17.根据权利要求1所述的成像设备，其中，

第二视频信号处理单元被配置为能够在第二视频信号处理单元从第一视频信号的亮度信号生成规定亮度区域中的亮度变化分量的信息信号、从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号的模式与第二视频信号处理单元生成对于第一视频信号的每个颜色分量的规定亮度区域中的亮度变化分量的信息信号并且基于每个颜色分量的信息信号和第二动态范围的每个颜色分量的亮度降低视频信号生成第二视频信号的模式之间进行切换。

18.一种视频信号处理设备，包括：

第一视频信号处理单元，第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

第二视频信号处理单元，第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。

19.一种视频信号处理方法，包括：

由第一视频信号处理单元从由成像单元获得的像素信号生成第一动态范围的第一视频信号；以及

由第二视频信号处理单元从第一视频信号生成规定亮度区域中的亮度变化分量的信息信号，从第一视频信号生成比第一动态范围更窄的第二动态范围的亮度降低视频信号，并且基于亮度降低视频信号和亮度变化分量的信息信号生成第二视频信号。