CN109863755A - 信号处理设备、方法和程序 - Google Patents

信号处理设备、方法和程序 Download PDF

Info

Publication number
CN109863755A
CN109863755A CN201780064322.4A CN201780064322A CN109863755A CN 109863755 A CN109863755 A CN 109863755A CN 201780064322 A CN201780064322 A CN 201780064322A CN 109863755 A CN109863755 A CN 109863755A
Authority
CN
China
Prior art keywords
equipment
signal
output
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780064322.4A
Other languages
English (en)
Other versions
CN109863755B (zh
Inventor
若园雅史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109863755A publication Critical patent/CN109863755A/zh
Application granted granted Critical
Publication of CN109863755B publication Critical patent/CN109863755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Abstract

本公开涉及可适当地变换输出信号的动态范围的信号处理设备、方法和程序。信息获取单元接收来自HDMI接口的输出设备的检测的通知,并在此时,控制HDMI接口,以便从输出设备获取输出设备信息。设备类别判定单元根据从HDMI接口获取的输出设备信息,判定连接的输出设备的类别、能力和其他特征,并根据判定结果,控制动态范围变换单元。本公开可以应用于例如用于输出信号的信号输出系统。

Description

信号处理设备、方法和程序
技术领域
本公开涉及信号处理设备、方法和程序,更特别地,涉及能够适当变换输出图像信号的动态范围的信号处理设备、方法和程序。
背景技术
显示设备的显示能力已提高,这些显示设备变得能够显示比传统设备能够显示的颜色更亮和更暗的颜色。制定了高动态范围信号(HDR信号)的多种标准,以定义用于利用显示器的这种发展的图像信号。随着这些新标准的制定,目前正在使用基于各种动态范围的假设的信号。
同时,如果HDR信号被输入不兼容HDR信号的显示设备(SDR设备),那么显示变暗,这是不可取的。鉴于此,为了实现与过去的显示设备的兼容性,视频输出设备通常检查各个输出目的地设备的性能,然后在按照显示性能变换图像信号的动态范围之后,输出图像信号(参见专利文献1)。
引文列表
专利文献
专利文献1:日本专利申请公开No.2015-8361
发明内容
本发明要解决的问题
然而,存在作为视频输出设备的输出目的地,连接除显示设备外的设备(下面,这样的设备被称为非显示设备)的情况。如果在输出指向非显示设备的情况下,进行动态范围变换处理,那么视频输出设备原有的动态范围不能被充分利用。
鉴于这些情况,产生了本公开,本公开使输出图像信号的动态范围的适当变换成为可能。
问题的解决方案
按照本技术的一个方面的信号处理设备包括:变换单元,当对于连接的输出设备的输出的用途不是显示时,所述变换单元禁止向所述输出设备输出的图像信号的变换;和发送单元,所述发送单元把图像信号发送给所述输出设备。
按照本技术的一个方面的信号处理方法包括:当对于连接的输出设备的输出的用途不是显示时,信号处理设备禁止向所述输出设备输出的图像信号的变换;和所述信号处理设备把图像信号发送给所述输出设备。
按照本技术的一个方面的程序使计算机起以下作用:变换单元,当对于连接的输出设备的输出的用途不是显示时,所述变换单元禁止向所述输出设备输出的图像信号的变换;和发送单元,所述发送单元把图像信号发送给所述输出设备。
在本技术的一个方面中,在对于连接的输出设备的输出的用途不是显示的情况下,禁止向所述输出设备输出的图像信号的变换,然后把信号发送给所述输出设备。
本发明的效果
按照本技术,可以变换输出图像信号的动态范围。特别地,按照本技术,可以适当地变换输出图像信号的动态范围。
注意,记载在本说明书中的有益效果仅仅是例子,本技术的有益效果不限于此,可以包括一些附加的效果。
附图说明
图1是表示本技术应用于的信号输出系统的例证构成的方框图。
图2是表示成像设备的例证构成的方框图。
图3是说明本技术的概况的示图。
图4是表示作为显示设备的输出设备的例证构成的方框图。
图5是表示动态范围变换单元的例证构成的方框图。
图6是说明由成像设备进行的信号输出处理的流程图。
图7是说明图像信号变换的其他例子的表格。
图8是说明图像信号变换的其他例子的表格。
图9是表示本技术适用于的计算机的例证构成的方框图。
图10是示意表示手术室系统的总体构成的示图。
图11是集中操作面板的操作画面上的显示的例子的示图。
图12是表示其中使用手术室系统的手术的例证情况的示图。
图13是表示图12中所示的相机头(camera head)和CCU的功能构成的例子的方框图。
具体实施方式
下面是实现本公开的方式的说明(下面,所述方式被称为实施例)。
<系统的例证构成>
图1是表示本技术适用于的信号输出系统的例证构成的示图。
在图1中所示的例子中,信号输出系统1包括作为信号处理设备的成像设备11,以及输出设备12。在信号输出系统1中,成像设备11拍摄被摄物体的图像,并进行控制,以按照输出设备12的能力和类型(输出的用途),对拍摄的图像信号进行动态范围变换处理。
在成像设备11中,例如,HDMI(注册商标)用于与输出设备12的连接,EDID或DEA/EIA-861信息作为输出设备信息,用于判定输出设备12的输出的用途。例如,在从EDID获得的输出设备信息中,使用输出设备12的制造商(名称或编号)、型号名称和/或序列号。
输出设备12由显示设备(HDR信号兼容显示器或HDR信号不兼容显示器)、记录设备(记录器)、便携式记录设备、测量设备等构成。
<成像设备的例证构成>
图2是表示成像设备的例证构成的方框图。
在图2中所示的例子中,成像设备11包括光学系统21、成像器22、数字信号处理LSI23、用户接口24、相机控制单元25和透镜驱动用驱动器IC 26。
光学系统21由透镜等构成。成像器22由CMOS固态成像元件等构成。在相机控制单元25的控制下,成像器22形成通过光学系统21输入的被摄物体的图像。这样,成像器22获取图像信号,并把获取的图像信号输出给数字信号处理LSI 23。
在相机控制单元25的控制下,数字信号处理LSI 23取决于附接到成像设备11的输出设备12,对来自成像器22的图像信号进行预定的数字信号处理,以及动态范围变换处理。数字信号处理LSI 23把处理后的视频信号发送给输出设备12。
数字信号处理LSI 23包括预处理单元31、去马赛克单元32、YC生成单元33、分辨率变换单元34、存储器35和信号处理单元36。
预处理单元31对来自成像器22的图像信号,进行诸如白平衡调整和γ校正之类的处理,把处理后的图像信号输出给去马赛克单元32。通过统计地计算颜色分布形状,去马赛克单元32进行去马赛克处理,以在γ校正后的马赛克图像中的各个像素位置处使R、G和B的所有强度(强度信息)一致。结果,来自去马赛克单元32的输出信号是与R、G和B这3种颜色对应的3个图像信号。此外,在这里的γ校正处理中,取决于要生成SDR信号的情况与要生成HDR信号的情况之间的不同光电变换特性,进行校正(在标准中,规定了SDR信号的特性和HDR信号的特性)。
YC生成单元33从来自去马赛克单元32的R、G和B图像信号,生成亮度信号和色差信号,并把生成的亮度信号和色差信号(下面统称为视频信号)输出给分辨率变换单元34。分辨率变换单元34把分辨率变换成适当的分辨率,然后把变换后的视频信号输出给存储器35或者信号处理单元36。
存储器35临时保存视频信号。
信号处理单元36包括动态范围变换单元41和HDMI接口42。在相机控制单元25的控制下,动态范围变换单元41取决于输出设备12地对来自分辨率变换单元34或存储器35的视频信号,进行动态范围变换处理,然后把视频信号输出给HDMI接口42。HDMI接口42把来自动态范围变换单元41的视频信号输出给输出设备12。当输出设备12与之连接时,HDMI接口42检测到该连接,并把所述检测通知相机控制单元25。在相机控制单元25的控制下,HDMI接口42从输出设备12获取输出设备信息,并把获取的输出设备信息提供给相机控制单元25。
用户接口24接收基于诸如模式设定之类的用户操作的操作信号,并把操作信号输出给相机控制单元25。相机控制单元25控制成像设备11的各个组件(成像器22、数字信号处理LSI 23、用户接口24和透镜驱动用驱动器IC 26)。此外,特别地,作为功能块,相机控制单元25包括信息获取单元51和设备类型判定单元52。
当收到来自HDMI接口42的输出设备12的检测的通知时,信息获取单元51控制HDMI接口42从输出设备12,获取输出设备信息(例如,EDID或DEA/EIA-861信息)。根据来自HDMI接口42的输出设备信息,设备类型判定单元52判定连接的输出设备12的类型(输出的用途)、能力(指示与HDR信号的兼容性的信息)等,并按照判定结果,控制动态范围变换单元41。
透镜驱动用驱动器IC 26在相机控制单元25的控制下,驱动光学系统21。
这里,作为是来自成像设备11的信号的输出目的地的输出设备12,可能连接不是显示器的设备。然而,如果在信号被输出给不是显示器的设备的情况下,进行动态范围变换处理,那么会变得不可能充分利用输出设备的动态范围。
注意,例如,在将信号输出给便携式记录器等的情况下,以及在将信号输出给用于分析信号的测量仪器的情况下,很可能发生这种情况。在信号被输出给这些设备任意之一时,理想的是不管设备的显示能力如何,都不进行任何动态范围变换处理。
<概况的说明>
鉴于上面所述,在图1中所示的信号输出系统1中,取决于输出设备12地进行信号变换处理(例如,与动态范围相关的变换处理)。现在参见图3,说明本技术的概况。
在图3中所示的例子中,连接到成像设备11的输出设备12是HDR信号兼容显示器12A、HDR信号不兼容显示器12B和记录设备12C。
在HDR信号兼容显示器12A连接到成像设备11,或者输出设备12兼容HDR信号并且要输出的信号是HDR信号的情况下,通过符合标准的过程,输出HDR信号。例如,在输出设备12符合HDMI 2.0a标准的情况下,在帧图像信号的传送之前,发送作为由该标准指定的控制信号(控制帧)的HDR InfoFrame。注意,在记录设备12C兼容HDR信号的情况下,同样如此。
在不兼容HDR信号的输出设备12连接到成像设备11,或者输出设备12不兼容HDR信号(但是兼容SDR信号)的情况下,取决于输出的目的(或者输出的用途),发送适当的视频信号。
例如,在输出的用途是显示,或者HDR信号不兼容显示器12B被连接的情况下,如果HDR信号被直接输出给HDR信号不兼容显示器12B,那么通常会显示较暗的图像。
鉴于此,动态范围变换单元41把HDR信号变换成SDR信号,随后发送视频信号。这种情况下的变换是其中对于HDR信号的各个RGB数据,应用EOTF,通过矩阵运算进一步变换RGB类型,变换动态范围,进一步应用符合SDR标准的OETF,随后发送作为结果的SDR视频信号的处理。或者,在更简单的处理中,如后参考图5所述,HDR视频信号可以利用固定的调整增益被校正为更明亮,随后作为SDR信号发送。
另一方面,在输出的用途不是显示,或者例如连接记录设备12C等的情况下,如果进行上述变换处理,那么关于图像的明亮部分的信息会丢失,归因于饱和等,视频信号会失真,或者归因于伴随变换的再量化,信号精度会变低。于是,进行上述变换处理不可取。鉴于此,在HDR输出的用途不是显示的情况下,在不进行从HDR信号到SDR信号的变换的情况下发送信号。这种情况下,以致发送的信号在接收侧被解释成SDR信号地进行发送。为此,不进行标准中规定的HDR输出过程。例如,在不发送任何HDR InfoFrame的情况下,发送图像信号。
输出的用途例如是取决于输出设备的类型判定的。例如,如果从诸如EDID信息之类的输出设备信息获取输出设备的型号名称,并且所述型号名称被认为是记录设备的名称,那么用途可被认为不是显示。
<输出设备的例证构成>
图4是表示作为显示设备的输出设备的例证构成的方框图。
作为显示器(例如,HDR信号兼容显示器或HDR信号不兼容显示器,下面统称为显示器)的输出设备12A或12B包括接口61、CPU 62、存储器63和显示单元64。
接口61与HDMI接口42通信,以发送和接收信息和数据。例如,接口61把接收的数据输出给显示单元64。接口61把接收的信息提供给CPU 62,把来自CPU 62的信息发送给HDMI接口42。
CPU 62按照通过操作单元(未图示)的用户操作信号、载入存储器63中的程序、和通过接口61,从外部接收的信息(比如请求),控制显示器12A或12B的各个组件。例如,当收到来自HDMI接口42的输出设备信息时,CPU 62从存储器63读取输出设备信息,并通过接口61,把输出设备信息输出给HDMI接口42。
存储器63记录必需的信息和程序。显示单元64显示与来自接口61的数据对应的图像。
<动态范围变换单元的例证构成>
图5是表示在RGB信号被假定为输入图像信号的情况下的动态范围变换单元的例证构成的方框图。注意,图5中所示的动态范围变换单元是例子,如上所述,可以采用各种方法。
动态范围变换单元41包括增益处理单元71和限幅器处理单元72。增益处理单元71通过把输入图像信号乘以调整增益,进行增益处理。经过增益处理的信号被输出给限幅器处理单元72。
调整增益是按照由相机控制单元25指定的并指示是否要进行变换的控制信号设定的。具体地,当变换不必要时,调整增益被设定为1.0,随后进行增益处理。换句话说,输入信号被原样直接输出给限幅器处理单元72。另一方面,例如,当HLG信号(混合对数-γ格式的HDR信号)要被变换成SDR信号时,调整增益被设定为2.0,随后进行增益处理。经过增益处理的信号被输出给限幅器处理单元72。
在由于增益处理单元71而发生溢出的情况下,限幅器处理单元72进行对于溢出施加限幅器的处理。经过限幅器处理的信号作为输出信号,被输出给HDMI接口42。
<成像设备的操作>
现在参考图6中的流程图,说明由成像设备11进行的信号输出处理。
例如,用户利用HDMI缆线(未图示),连接成像设备11和输出设备12。在步骤S11,当输出设备12连接到成像设备时,HDMI接口42检测到所述连接,并把所述检测通知相机控制单元25的信息获取单元51。
在步骤S12,信息获取单元51控制HDMI接口42,从输出设备12获取输出设备信息,并把获取的输出设备信息提供给相机控制单元25的设备类型判定单元52。例如,在输出设备12是HDR信号兼容显示器12A的情况下,HDR信号兼容显示器12A的接口61接收来自HDMI接口42的对输出设备信息的请求,并且响应所述请求,CPU 62从存储器63读取输出设备信息,然后通过接口61,发送读取的输出设备信息。
在步骤S13,设备类型判定单元52参考输出设备信息,判定输出设备12是否是显示器。如果在步骤S13,判定输出设备12是显示器,那么处理进入步骤S14。在步骤S14,设备类型判定单元52参考输出设备信息,判定输出设备12是否兼容HDR信号。如果在步骤S14,判定输出设备12不兼容HDR信号,那么处理进入步骤S15。
在步骤S15,在相机控制单元25的控制下,动态范围变换单元41取决于输出设备12地对来自分辨率变换单元34或存储器35的视频信号,进行动态范围变换处理。动态范围变换单元41把变换后的视频信号,输出给HDMI接口42。
在步骤S16,HDMI接口42把来自动态范围变换单元41的视频信号输出给输出设备12。
如果在步骤S14,判定输出设备12兼容HDR信号,那么处理进入步骤S18。
另一方面,如果在步骤S13,判定输出设备12不是显示器,那么处理进入步骤S17。
在步骤S17,设备类型判定单元52参考输出设备信息,判定输出设备12是否兼容HDR信号。如果在步骤S17,判定输出设备12兼容HDR信号,那么处理进入步骤S18。
在步骤S18,相机控制单元25使HDMI接口42发送HDR InfoFrame。在该阶段,在相机控制单元25的控制下,动态范围变换单元41不对来自分辨率变换单元34或存储器35的视频信号,进行任何动态范围变换处理,把视频信号输出给HDMI接口42。
在步骤S19,HDMI接口42把来自动态范围变换单元41的视频信号输出给输出设备12。
如果在步骤S17,判定输出设备12不兼容HDR信号,那么处理进入步骤S20。由于输出设备12不兼容HDR信号,因此不发送HDR InfoFrame。在该阶段,在相机控制单元25的控制下,动态范围变换单元41不对来自分辨率变换单元34或存储器35的视频信号,进行任何动态范围变换处理,把视频信号输出给HDMI接口42。
在步骤S20,HDMI接口42把来自动态范围变换单元41的视频信号输出给输出设备12。
注意,在成像设备11中,在再现操作期间,可显示输出的用途,在记录操作期间,可隐藏输出的用途。
此外,在连接的设备是记录器,或者输出的用途未知的情况下,可以指示用户指定设备的使用目的。
如上所述,取决于显示设备地进行动态范围变换处理。从而,作为动态变换,可以采取适当的措施。
注意,在上面说明的例子中,使用HDMI作为接口。不过,本技术也可适用于SDI连接、网络传输(DLNAI(注册商标))、WiDi、Displayport、Miracast、无线连接等。
此外,在上面的说明中,说明了HDR信号到SDR信号的变换。不过,本技术也可适用于HDR信号格式之间的变换。具体地,在上面说明的例子中,当HDR信号被输出给不兼容HDR信号但是兼容SDR信号的显示器时,动态范围被压缩(或者被调整成更明亮)。不过,在下面说明的情况下,也可应用本技术。
具体地,在当SDR信号被输出给HDR信号兼容显示器时,扩展动态范围的情况下,可以应用本技术。在当HDR(HLG)信号被输出给兼容HDR(PQ曲线)信号的显示器时,进行色调映射的情况下,也可应用本技术。此外,在当具有对数(Log)特性的图像信号被输出给电视设备时,进行色调映射的情况下,可以应用本技术。
<图像信号变换的其他例子>
图7和8是说明本技术适用于的图像信号变换的其他例子的表格。首先,在图7中,作为输出目的地设备(例如,输出设备)不兼容的信号被变换成输出目的地设备兼容的信号的例证情况,表示了输出具有对数特性的图像信号的情况,和进行信号类型变换(HLG到PQ曲线)的情况。
在输出具有对数特性的图像信号的情况下,如果输出目的地设备不兼容该图像信号,那么对于显示用途,变换并发送图像信号(不发送指示对数特性的任何控制信号)。对于任何其他用途,不变换地发送图像信号(不发送指示对数特性的任何控制信号)。另一方面,如果输出目的地设备兼容该图像信号,那么不变换地发送图像信号(发送指示对数特性的控制信号)。
此外,在进行信号类型变换(HLG到PQ曲线)的情况下,如果输出目的地设备不兼容该图像信号,那么对于显示用途,变换并发送图像信号(发送指示PQ特性的控制信号)。对于任何其他用途,不变换地发送图像信号(发送指示HLG特性的控制信号)。另一方面,如果输出目的地设备兼容该图像信号,那么不变换地发送图像信号(发送指示对数特性的控制信号)。
此外,在图8中,作为输出目的地设备兼容很多种类的信号的例证情况,说明了扩展动态范围的情况。
在扩展动态范围的情况下,如果信号输出设备(例如,成像设备11)内部的信号是SDR信号,那么对于显示用途,变换并发送图像信号(发送指示图像信号是HDR信号的控制信号)。对于其他用途,不变换地发送图像信号(不发送指示图像信号是HDR信号的任何控制信号)。另一方面,在信号输出设备内部的信号是HDR信号的情况下,不变换地发送图像信号(发送指示图像信号是HDR信号的控制信号)。
此外,在上面说明的例子中,作为图像信号变换的例子,说明了动态范围变换。不过,上述变换可以应用于例如色域(颜色空间)变换。
这种情况下,例如,YC生成单元33生成通过响应于由预处理单元31进行的γ校正处理,对来自去马赛克单元32的R、G和B图像信号进行逆γ校正处理而获得的线性图像信号。YC生成单元33可通过线性矩阵处理和γ校正处理,对线性图像信号进行色域变换。随后从经过色域变换的图像信号,生成亮度信号和色差信号。注意,在例如预处理单元32不进行γ校正处理的情况下,可以跳过在YC生成单元33处的逆γ校正。
在上面的例子中,动态范围变换单元41按照由设备类型判定单元52作出的判定结果,控制对与经过上述变换的色域不同的色域的色域变换处理。换句话说,在设备类型判定单元52参考输出设备信息,并判定输出设备12是显示器的情况下,动态范围变换单元41按照显示器的能力,进行色域变换。在设备类型判定单元52判定输出设备12不是显示器的情况下,动态范围变换单元41不进行色域变换处理。
这里,色域包括ACES/BT.2020/DCI-P3/BT.709(主要在运动图像的情况下),ProPhotoRGB/AdobeRGB/sRGB(主要在静止图像的情况下),S-Gamut3/S-Gamut3.cine/S-Gamut2等。可在这些色域之间进行变换。
注意,上述例子在从宽色域到窄色域的变换,和从窄色域到宽色域的变换中都是有用的。
在上面的说明中,说明了来自成像设备的输出处理。不过,进行输出处理的设备未必是成像设备,可以是进行输出信号的处理的任意设备,比如记录设备或计算机。此外,输出设备未必是显示器或记录设备,相反可以由测量设备、分析仪、编辑设备、变换器等构成。
如上所述,在本技术中,进行检查,以取决于输出设备判定是否进行变换处理。于是,按照本技术,当输出的用途是记录时,适当地变换输出信号的动态范围,从而可以提高用户的便利性。
除此之外,在外部记录设备上进行记录时,以预期的质量保存流。
此外,即使利用不兼容HDR显示的记录设备,也能够记录HDR信号。
除此之外,动态范围变换是取决于用途自动进行的,从而可以提高用户便利性。
此外,在输出设备连接到记录设备,以便进行记录的情况下,可防止输出设备因发送待输出以供观看的信号而意外降低记录信号的质量。
另外,在输出设备连接到电视设备,以便进行观看的情况下,可以防止信号处理设备发送待输出以便记录的信号。从而,可以避免意外的暗显示。
注意,本技术不仅可用硬件具体体现,而且可用软件具体体现。
<计算机的例证构成>
图9是表示本技术适用于的计算机的例证硬件构成的方框图。
在计算机500中,CPU 501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。
此外,输入/输出接口505连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506由键盘、鼠标、麦克风等构成。输出单元507由显示器、扬声器等构成。存储单元508由硬盘、非易失性存储器等构成。通信单元509由网络接口等构成。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸记录介质511。
在具有上述构成的计算机500中,CPU 501例如把保存在存储单元508中的程序,通过输入/输出接口505和总线504载入RAM 503中,并执行该程序。结果,进行上面说明的一系列处理。
由计算机(CPU 501)执行的程序可以记录在可拆卸记录介质511上地提供。例如,可拆卸记录介质511是由磁盘(包括软盘)、光盘(比如光盘只读存储器(CD-ROM)或数字通用光盘(DVD))、磁光盘、半导体存储器等构成的套装介质等。或者,可通过有线或无线传输介质,比如局域网、因特网或数字卫星广播,提供程序。
在计算机中,当可拆卸记录介质511被安装在驱动器510上时,可以通过输入/输出接口505,把程序安装在存储单元508中。或者,程序可以通过有线或无线传输介质,由通信单元509接收,随后被安装在存储单元508中。除上述之外,程序可以被预先安装在ROM 502或存储单元508中。
注意,由计算机执行的程序可以是按照在本说明书中说明的顺序,时序地进行处理的程序,或者可以是并行地进行处理,或者在必要的阶段(比如当存在调用时)进行处理的程序。
另外,在本说明书中,描述记录在记录介质上的程序的步骤不仅包括按照记载在本文中的顺序,时序地进行的处理,而且包括并行地或者彼此独立地进行的处理(如果不必按时序进行的话)。
此外,在本说明书中,系统指的是由多个设备构成的整个设备。
例如,可在其中一种功能通过网络在多个设备之间分担,处理由彼此协同的设备进行的云计算构成中,具体体现本公开。
此外,上面描述成一个设备(或处理单元)的任意构成可被分成多个设备(或处理单元)。相反,上面描述成多个设备(或处理单元)的任意构成可被组合成一个设备(或处理单元)。此外,当然可以向任意设备(或处理单元)的构成中,增加除上述组件以外的组件。此外,设备(或处理单元)的一些组件可被并入其他设备(或处理单元)的构成中,只要整个系统的构成和功能仍然实质相同即可。即,本技术不限于上面说明的实施例,相反可以对它们作出各种变更,而不脱离本技术的范围。
<例证应用>
按照本公开的技术可应用于各种产品。例如,按照本公开的技术可应用于手术室系统。
图10是示意表示按照本公开的技术可应用于的手术室系统5100的总体构成的示图。如图10中所示,手术室系统5100由安装在手术室中,并通过视听控制器(AV控制器)5107和手术室控制设备5109连接,以便能够相互协同的一组设备构成。
在手术室中可安装各种设备。例如,图10表示用于内窥镜手术的各种设备的设备组5101、设置在手术室的天花板上,拍摄手术者的双手的图像的天花板相机5187、设置在手术室的天花板上,拍摄整个手术室的图像的术野相机5189、多个显示设备5103A-5103D、记录器5105、病床5183和照明5191。
这里,在这些设备之中,设备组5101属于下面说明的内窥镜手术系统5113,包括内窥镜、显示由内窥镜拍摄的图像的显示设备等。属于内窥镜手术系统5113的各个设备也被称为医疗设备。同时,显示设备5103A-5103D、记录器5105、病床5183和照明5191是与内窥镜手术系统5113分离地安装在例如手术室中的设备。不属于内窥镜手术系统5113的各个这些设备也被称为非医疗设备。视听控制器5107和/或手术室控制设备5109协同地控制这些医疗设备和非医疗设备的操作。
视听控制器5107全面控制医疗设备和非医疗设备中的与图像显示相关的处理。具体地,在包含在手术室系统5100中的设备之中,设备组5101、天花板相机5187和术野相机5189可以是具有发送在手术期间显示的信息(下面也称为显示信息)的功能的设备(这些设备下面也被称为发送源设备)。此外,显示设备5103A-5103D可以是显示信息被输出给的设备(这些设备下面也称为输出目的地设备)。此外,记录器5105可以是可为发送源设备和输出目的地设备两者的设备。视听控制器5107具有控制发送源设备和输出目的地设备的操作,和从发送源设备获取显示信息的功能。视听控制器5107还具有把显示信息发送给输出目的地设备,使输出目的地设备显示或记录显示信息的功能。注意,显示信息是在手术期间拍摄的各种图像、关于手术的各种信息(例如,患者的身体信息,与过去的检查结果和手术方式有关的信息等),等等。
具体地,与由内窥镜拍摄的患者的体腔中的手术区的图像有关的信息,可作为显示信息从设备组5101发送给视听控制器5107。另外,从天花板相机5187,可作为显示信息地发送与由天花板相机5187拍摄的手术者的双手的图像有关的信息。此外,从术野相机5189,可作为显示信息地发送与由术野相机5189拍摄的,显示整个手术室的图像有关的信息。注意,在手术室系统5100中存在具有成像功能的其他设备的情况下,视听控制器5107可从所述其他设备,作为显示信息地获取与由所述其他设备拍摄的图像有关的信息。
或者,例如,视听控制器5107把与过去拍摄的这些图像有关的信息记录在记录器5105中。视听控制器5107可从记录器5105,获取与过去拍摄的图像有关的信息,作为显示信息。注意,与手术有关的各种信息也可被预先记录在记录器5105中。
视听控制器5107使作为输出目的地设备的显示设备5103A-5103D至少之一,显示获取的显示信息(在手术期间拍摄的图像,或者与手术相关的各种信息)。在图中所示的例子中,显示设备5103A是从手术室的天花板悬挂的显示设备,显示设备5103B是安装在手术室的墙面上的显示设备,显示设备5103C是安装在手术室中的桌子上的显示设备,显示设备5103D是具有显示功能的移动设备(例如,平板个人计算机(PC))。
尽管图10中未图示,不过,手术室系统5100还可包括安装在手术室外的设备。在手术室外的设备例如可以是连接到在医院内外构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在医院外存在外部设备的情况下,视听控制器5107可通过电视会议系统等,使在某个其他医院处的显示设备显示所述显示信息,以进行远程医疗。
手术室控制设备5109全面控制非医疗设备中的除与图像显示相关的处理之外的处理。例如,手术室控制设备5109控制病床5183、天花板相机5187、术野相机5189和照明5191的驱动。
集中操作面板5111设置在手术室系统5100中。通过集中操作面板5111,用户可以向视听控制器5107发出图像显示指令,或者向手术室控制设备5109发出关于非医疗设备操作的指令。集中操作面板5111是通过在显示设备的显示面上设置触摸面板而构成的。
图11是集中操作面板51111的操作画面上的显示的例子的示图。例如,图11表示在手术室系统5100中,设置2个显示设备作为输出目的地设备的情况下的操作画面。如图11中所示,操作画面5193包括源选择区5195、预览区5197和控制区5201。
在源选择区5195中,与表示由发送源设备保持的显示信息的缩略图画面关联地显示设置在手术室系统5100中的发送源设备。用户可从显示在源选择区5195中的发送源设备中,选择要显示在显示设备上的显示信息。
在预览区5197中,显示在作为输出目的地设备的2个显示设备(监视器1和监视器2)上显示的画面的预览。在图中所示的例子中,在1个显示设备上,PinP地显示4个图像。这4个图像对应于从在源选择区5195中选择的发送源设备发送的显示信息。在这4个图像中,1个图像是作为主图像较大地显示的,剩余的3个图像是作为子图像较小地显示的。通过从各个区域中适当地选择显示这4个图像的区域,用户可以交换主图像和子图像。此外,在显示这4个图像的区域下面,设置状态显示区5199,状态显示区5199可显示与手术相关的状态(例如,自手术开始以来过去的时间、患者的身体信息等)。
控制区5201包括源操作区5203和输出目的地操作区5205,在源操作区5203中,显示用于操作发送源设备的图形用户界面(GUI)组件,在输出目的地操作区5205中,显示用于操作输出目的地设备的GUI组件。在图中所示的例子中,在源操作区5203中,设置用于对具有成像功能的发送源设备的相机进行各种操作(平移、倾斜和缩放)的GUI组件。通过适当选择这些GUI组件之一,用户可控制发送源设备的相机的操作。注意,尽管图中未图示,不过当在源选择区5195中选择的发送源设备是记录器(或者,过去记录在记录器中的图像被显示在预览区5197中)时,在源操作区5203中,可以设置用于进行诸如图像的再现、停止、倒退和快进之类操作的GUI组件。
此外,在输出目的地操作区5205中,设置用于进行对于作为输出目的地设备的显示设备上的显示的各种操作(交换、翻转、颜色调整、对比度调整和在2D显示与3D显示之间切换)的GUI组件。通过适当选择这些GUI组件之一,用户可控制显示设备上的显示。
注意,显示在集中操作面板5111上的操作画面不限于图中所示的例子,通过集中操作面板5111,可允许用户输入对于包含在手术室系统5100中,可由视听控制器5107和手术室控制设备5109控制的各个设备的操作。
图12是表示其中使用上述手术室系统的手术的例证情况的示图。天花板相机5187和术野相机5189设置在手术室的天花板上,可拍摄对病床5183上的患者5185的患处进行治疗的手术者(医师)5181的双手,和整个手术室的图像。天花板相机5187和术野相机5189可具有放大倍率调整功能、焦距调整功能、成像方向调整功能等。照明5191设置在手术室的天花板上,至少照亮手术者5181的双手。照明5191能够适当地调整照明光量、照明光的波长(颜色)、光照射方向等。
如图10中所示,内窥镜手术系统5113、病床5183、天花板相机5187、术野相机5189和照明5191通过视听控制器5107和手术室控制设备5109(图12中未图示)连接,以便能够相互协同。集中操作面板5111设置在手术室中,如上所述,通过集中操作面板5111,用户可适当地操作存在于手术室中的这些设备。
在下面的说明中,详细说明内窥镜手术系统5113的构成。如图中所示,内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支持内窥镜5115的支持臂设备5141、和其中安装用于内窥镜手术的各种设备的推车5151。
在内窥镜手术中,不切开腹壁来打开腹腔,而是用称为套管针5139a-5139d的多个圆柱形穿刺设备穿刺腹壁。通过套管针5139a-5139d,内窥镜5115的镜筒5117和其他手术工具5131随后被插入患者5185的体腔中。在图中所示的例子中,作为其他手术工具5131,气腹管5133、能量治疗工具5135和手术钳5137被插入患者5185的体腔中。此外,能量治疗工具5135是利用高频电流或超声波振动,进行组织的切开和剥离、血管闭合等的治疗工具。不过,图中所示的手术工具5131仅仅是例子,作为手术工具5131,可以使用例如通常用于内窥镜手术的各种其他手术工具,比如镊子和牵开器。
由内窥镜5115成像的患者5185的体腔中的手术区的图像被显示在显示设备5155上。在观看实时显示在显示设备5155上的手术区的图像的同时,手术者5181利用例如能量治疗工具5135和手术钳5137,进行诸如切除患处之类的治疗。注意,尽管图中未图示,不过,气腹管5133、能量治疗工具5135和手术钳5137在手术期间,由手术者5181或助手等支持。
(支持臂设备)
支持臂设备5141包括从基座单元5143伸出的臂单元5145。在图中所示的例子中,臂单元5145包括关节部分5147a、5147b及5147c,和连杆5149a及5149b,在臂控制设备5159的控制下被驱动。内窥镜5115由臂单元5145支持,并且内窥镜5115的位置和姿态被控制。从而,内窥镜5115可被固定在稳定的位置。
(内窥镜)
内窥镜5115包括镜筒5117,和连接到镜筒5117的底端的相机头5119,镜筒5117具有从顶端起插入患者5185的体腔中的预定长度的区域。在图中所示的例子中,内窥镜5115是作为具有刚性镜筒5117的所谓刚性镜构成的。不过,内窥镜5115也可以是作为具有柔性镜筒5117的所谓柔性镜构成的。
在镜筒5117的顶端处,设置其中插入物镜的开口。光源设备5157连接到内窥镜5115,由光源设备5157产生的光由在镜筒5117内部延伸的光导管引导到镜筒的顶端,通过物镜射向患者5185的体腔中的当前观察目标。注意,内窥镜5115可以是直视镜、斜视镜或者侧视镜。
在相机头5119的内部,设置光学系统和成像元件,来自当前观察目标的反射光(观察光)由光学系统会聚到成像元件上。观察光由成像元件光电变换,生成与观察光对应的电信号,或者对应于观察图像的图像信号。该图像信号作为RAW数据被发送给相机控制单元(CCU)5153。注意,使相机头5119适当驱动光学系统,以实现调整放大倍率和焦距的功能。
注意,为了应付立体视觉(3D显示)等,例如,可在相机头5119中,设置多个成像元件。这种情况下,在镜筒5117的内部,设置多个中继光学系统,以把观察光导引到多个成像元件中的每一个。
(安装在推车中的各个设备)
CCU 5153由中央处理器(CPU)、图形处理器(GPU)等构成,全面控制内窥镜5115和显示设备5155的操作。具体地,CCU 5153进行例如用于显示基于从相机头5119接收的图像信号的图像的各种图像处理,比如显影处理(去马赛克处理)。CCU 5153把经过图像处理的图像信号提供给显示设备5155。图10中所示的视听控制器5107也连接到CCU 5153。CCU5153还把经过图像处理的图像信号提供给视听控制器5107。此外,CCU 5153向相机头5119发送控制信号,控制相机头5119的驱动。所述控制信号可包含与诸如放大倍率和焦距之类的成像条件有关的信息。所述与成像条件有关的信息可通过输入设备5161输入,或者可通过上述集中操作面板5111输入。
在CCU 5153的控制下,显示设备5155显示基于经过CCU 5153的图像处理的图像信号的图像。在内窥镜5115例如兼容诸如4K(水平方向的像素数×垂直方向的像素数:3840×2160)或8K(水平方向的像素数×垂直方向的像素数:7680×4320)之类的高分辨率成像,和/或兼容3D显示的情况下,相应地,显示设备5155可以是能够进行高分辨率显示和/或能够进行3D显示的显示设备。在内窥镜5115兼容诸如4K或8K之类的高分辨率成像的情况下,使用55英寸或尺寸更大的显示设备,作为显示设备5155,以获得更加身临其境的感觉。此外,可取决于使用目的,设置不同分辨率和尺寸的多个显示设备5155。
光源设备5157例如由诸如发光二极管(LED)之类的光源构成,向内窥镜5115供给用于对手术区成像的照明光。
臂控制设备5159例如由诸如CPU之类的处理器构成,按照预定程序工作,以按照预定控制方法,控制支持臂设备5141的臂单元5145的驱动。
输入设备5161是内窥镜手术系统5113的输入接口。用户可通过输入设备5161,向内窥镜手术系统5113输入各种信息和指令。例如,用户可通过输入设备5161,输入与手术有关的各种信息,比如患者的身体信息,和关于手术方法的信息。此外,例如,通过输入设备5161,用户可输入驱动臂单元5145的指令、改变内窥镜5115的成像条件(照明光的种类、放大倍率、焦距等)的指令、驱动能量治疗工具5135的指令等。
输入设备5161不限于任意特殊类型,输入设备5161可以是任意已知类型的输入设备。例如,输入设备5161可以是鼠标、键盘、触摸面板、开关、脚踏开关5171和/或控制杆等。在使用触摸面板作为输入设备5161的情况下,触摸面板可被设置在显示设备5155的显示面上。
或者,输入设备5161例如是用户穿戴的设备,比如眼镜式可穿戴设备或头戴式显示器(HMD),按照由这些设备检测到的用户的手势和视线,进行各种输入。输入设备5161还包括能够检测用户的运动的相机,按照从由所述相机拍摄的视频图像中检测到的用户的手势和视线,进行各种输入。此外,输入设备5161包括能够拾取用户的语音的麦克风,通过麦克风,利用语音进行各种输入。由于如上所述,输入设备5161被设计成能够不接触地输入各种信息,因此在洁净区的用户(例如,手术者5181)可以不接触地操作在非洁净区中的设备。此外,由于用户可在不放下已在他/她手中的手术工具的情况下操作设备,因此提高了用户便利性。
治疗工具控制设备5163控制用于组织烧灼、切开,血管闭合等的能量治疗工具5135的驱动。为了确保内窥镜5115的视野和手术者的工作空间,气腹设备5165通过气腹管5133,将气体注入患者5185的体腔中,以使体腔膨胀。记录器5167是能够记录关于手术的各种信息的设备。打印机5169是能够以各种格式,比如文本、图像、图形等,打印与手术相关的各种信息的设备。
在下面的说明中,更详细地说明内窥镜手术系统5113特有的组件。
(支持臂设备)
支持臂设备5141包括作为基座的基座单元5143,和从基座单元5143伸出的臂单元5145。在图中所示的例子中,臂单元5145包括多个关节部分5147a、5147b及5147c,和通过关节部分5147b连接的多个连杆5149a及5149b。为了简单起见,图12简化地表示了臂单元5145的构成。实际上,关节部分5147a-5147c和连杆5149a及5149b的形状、数量和布置,关节部分5147a-5147c的旋转轴的方向等被适当设定,以致臂单元5145可具有期望的自由度。例如,臂单元5145优选被设计成具有等于或大于6个自由度的自由度。这允许内窥镜5115在臂单元5145的可移动范围内自由移动。从而,能够从期望的方向,把内窥镜5115的镜筒5117插入患者5185的体腔中。
对于关节部分5147a-5147c,设置致动器,关节部分5147a-5147c被设计成当致动器被驱动时,能够绕预定旋转轴转动。由于致动器的驱动由臂控制设备5159控制,因此各个关节部分5147a-5147c的转动角度被控制,从而控制臂单元5145的驱动。按照这种方式,可控制内窥镜5115的位置和姿态。此时,臂控制设备5159可利用各种已知的控制方法,比如力控制或位置控制,控制臂单元5145的驱动。
例如,手术者5181可通过输入设备5161(包括脚踏开关5171),进行适当的操作输入,以致臂控制设备5159可按照所述操作输入,适当地控制臂单元5145的驱动,从而可控制内窥镜5115的位置和姿态。通过这种控制,可以使在臂单元5145的远端处的内窥镜5115从一个位置移动到期望的位置,可被固定地支持在移动后的期望位置处。注意,可利用所述的主-从方式,操纵臂单元5145。这种情况下,用户可通过安装在离开手术室的地方处的输入设备5161,远程操纵臂单元5145。
或者,在采用力控制的情况下,臂控制设备5159受到来自用户的外力,进行所谓的助力控制,以驱动各个关节部分5147a-5147c的致动器,以致臂单元5145借助外力平滑地移动。因此,当用户在直接接触臂单元5145的时候,移动臂单元5145时,可以用较小的力移动臂单元5145。从而,能够利用更简单的操作,更直观地移动内窥镜5115,从而提高用户便利性。
这里,在通常的内窥镜手术中,内窥镜5115由称为内镜医师(scopis t)的医生支持。另一方面,在利用支持臂设备5141的情况下,能够无任何手动操作地以更高的精度确保内窥镜5115的位置。从而,能够稳定地获得手术区的图像,可以平稳地进行手术。
注意,臂控制设备5159不一定安装在推车5151上。此外,臂控制设备5159不一定是一个设备。例如,臂控制设备5159可被设置在支持臂设备5141的臂单元5145的各个关节部分5147a-5147c中,并且多个臂控制设备5159可相互协同,以控制臂单元5145的驱动。
(光源设备)
光源设备5157向内窥镜5115提供用于对手术区成像的照明光。光源设备5157例如由LED、激光光源或者作为LED与激光光源的组合的白光光源构成。这里,在白光光源由RGB激光光源的组合构成的情况下,可以高精度地控制每种颜色(每种波长)的输出强度和输出定时。因而,在光源设备5157处可以调整拍摄图像的白平衡。或者,这种情况下,来自各个RGB激光光源的激光可被分时照射到当前观察目标上,并且可以与光发射的定时同步地控制相机头5119的成像元件的驱动。从而,可以分时地拍摄对应于各个RGB颜色的图像。按照这种方法,在未在成像元件中设置任何滤色器的情况下,可以获得彩色图像。
也可以控制光源设备5157的驱动,以致每隔预定时间地改变待输出的光的强度。与光的强度的变化定时同步地控制相机头5119的成像元件的驱动,从而分时地获取图像,随后合成这些图像。从而,可以生成没有黑色部分和没有白点的高动态范围图像。
光源设备5157也可被设计成能够供给与特殊光观察兼容的预定波段的光。在特殊光观察中,例如,通过利用身体组织中的光吸收的波长相关性,发射与普通观察时的照明光(或者白光)相比波段更窄的光。结果,进行所谓的窄带成像,以高对比度地对诸如在黏膜表层中的血管之类的预定组织成像。或者,在特殊光观察中,可以进行利用通过激发光的发射而产生的荧光,获得图像的荧光观察。在荧光观察中,激发光被发射到身体组织上,以致可以观察来自身体组织的荧光(自发荧光观察)。或者,例如,把诸如吲哚菁绿(ICG)之类的试剂局部注入身体组织中,并把与所述试剂的荧光波长对应的激发光发射到身体组织上,以致可以获得荧光图像。光源设备5157可被设计成能够供给与这类特殊光观察兼容的窄带光和/或激发光。
(相机头和CCU)
现在参考图13,更详细地说明内窥镜5115的相机头5119和CCU 5153的功能。图13是表示图12中所示的相机头5119和CCU 5153的功能构成的例子的方框图。
如图13中所示,作为其功能,相机头5119包括透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头控制单元5129。同时,作为其功能,CCU 5153包括通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU 5153通过传输缆线5179连接,以致能够进行双向通信。
首先,说明相机头5119的功能构成。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的顶端捕捉的观察光被引导到相机头5119,进入透镜单元5121。透镜单元5121由包括变焦透镜和聚焦透镜的多个透镜的组合构成。透镜单元5121的光学特性被调整,以便把观察光收集在成像单元5123的成像元件的受光面上。此外,变焦透镜和聚焦透镜被设计成以致它们在光轴上的位置可移动,以调整拍摄图像的放大倍率和焦点。
成像单元5123由成像元件构成,被布置在透镜单元5121的下一级。通过透镜单元5121的观察光被会聚在成像元件的受光面上,通过光电变换,生成与观测图像对应的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。
构成成像单元5123的成像元件例如是互补金属氧化物半导体(CMOS)式的图像传感器,这里使用的图像传感器具有Bayer阵列,能够进行彩色成像。注意,例如,成像元件可以是兼容拍摄诸如4K或者更高的高分辨率图像的成像元件。由于获得手术区的高分辨率图像,因此手术者5181可更详细地掌握手术区的状态,从而更平稳地进行手术。
此外,成像单元5123的成像元件被设计成包括用于获取与3D显示兼容的右眼和左眼图像信号的一对成像元件。由于进行3D显示,因此手术者5181可更精确地把握在手术区处的活体组织的深度。注意,在成像单元5123是多板式成像单元的情况下,对于各个成像元件,设置多个透镜单元5121。
此外,成像单元5123不一定设置在相机头5119中。例如,成像单元5123可以刚好在物镜之后地设置在镜筒5117内。
驱动单元5125由致动器构成,在相机头控制单元5129的控制下,把透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动预定距离。利用这种安排,可以适当调整成像单元5123拍摄的图像的放大倍率和焦点。
通信单元5127由往来于CCU 5153,发送和接收各种信息的通信设备构成。通信单元5127通过传输缆线5179,把从成像单元5123获得的图像信号,作为RAW数据发送给CCU5153。此时,为了等待时间短地显示手术区的拍摄图像,优选通过光通信,发送图像信号。在手术期间,手术者5181一边通过拍摄的图像,观察患处的状态,一边进行手术。于是,为了手术者5181进行安全且可靠的手术,应尽可能实时地显示手术区的运动图像。在进行光通信的情况下,在通信单元5127中,设置把电信号变换成光信号的光电变换模块。图像信号由光电变换模块变换成光信号,随后通过传输缆线5179,被发送给CCU 5153。
通信单元5127还从CCU 5153,接收用于控制相机头5119的驱动的控制信号。该控制信号例如包括与成像条件有关的信息,比如指定拍摄图像的帧速率的信息、指定成像时的曝光值的信息,和/或指定拍摄图像的放大倍率和焦点的信息。通信单元5127把接收的控制信号提供给相机头控制单元5129。注意,来自CCU 5153的控制信号也可通过光通信发送。这种情况下,在通信单元5127中,设置把光信号变换成电信号的光电变换模块,控制信号由该光电变换模块变换成电信号,随后被提供给相机头控制单元5129。
注意,诸如帧速率、曝光值、放大倍率和焦点之类的上述成像条件由CCU 5153的控制单元5177根据获取的图像信号自动设定。即,内窥镜5115具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
相机头控制单元5129根据通过通信单元5127,从CCU 5153接收的控制信号,控制相机头5119的驱动。例如,相机头控制单元5129根据指定拍摄图像的帧速率的信息,和/或指定成像时的曝光的信息,控制成像单元5123的成像元件的驱动。或者,例如,相机头控制单元5129根据指定拍摄图像的放大倍率和焦点的信息,通过驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可具有保存用于识别镜筒5117和相机头5119的信息的功能。
注意,诸如透镜单元5121和成像单元5123之类的组件被布置在气密性和防水性高的密封结构中,以致相机头5119能耐高压灭菌消毒处理。
下面,说明CCU 5153的功能构成。通信单元5173由用于往来于相机头5119,发送和接收各种信息的通信设备构成。通信单元5173接收通过传输缆线5179,从相机头5119发送的图像信号。此时,如上所述,可优选通过光通信,发送图像信号。这种情况下,为了应付光通信,通信单元5173包括把光信号变换成电信号的光电变换模块。通信单元5173把变换成电信号的图像信号提供给图像处理单元5175。
通信单元5173还向相机头5119发送用于控制相机头5119的驱动的控制信号。该控制信号也可以通过光通信发送。
图像处理单元5175对从相机头5119发送的作为RAW数据的图像信号,进行各种图像处理。例如,图像处理的例子包括各种已知的信号处理,比如显影处理、图像质量增强处理(频带强调处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理等)、和/或放大处理(电子变焦处理)。图像处理单元5175还对图像信号进行检测处理,以便进行AE、AF和AWB。
图像处理单元5175由诸如CPU或GPU之类的处理器构成。由于所述处理器按照预定程序工作,从而可以进行上述图像处理和检测处理。注意,在图像处理单元5175由多个GPU构成的情况下,图像处理单元5175适当地划分关于图像信号的信息,所述多个GPU并行地进行图像处理。
控制单元5177进行与利用内窥镜5115的手术区的成像,和拍摄图像的显示相关的各种控制。例如,控制单元5177生成用于控制相机头5119的驱动的控制信号。此时,在用户已输入成像条件的情况下,控制单元5177根据用户的输入,生成控制信号。或者,在内窥镜5115具有AE功能、AF功能和AWB功能的情况下,控制单元5177通过按照由图像处理单元5175进行的检测处理的结果,适当计算最佳曝光值、最佳焦距和最佳白平衡,生成控制信号。
控制单元5177还根据经过图像处理单元5175的图像处理的图像信号,使显示设备5155显示手术区的图像。这样做时,控制单元5177可利用各种图像识别技术,识别显示在手术区的图像中的各种对象。例如,控制单元5177可检测显示在手术区的图像中的对象的边缘的形状、颜色等,以识别诸如手术钳之类的手术工具、特定的身体部位、出血、使用能量治疗工具5135时的薄雾等。当使显示设备5155显示手术区的图像时,控制单元5177可利用识别的结果,使显示设备5155在显示屏上,把各种手术辅助信息叠加在手术区的图像上。由于手术辅助信息被叠加地显示,从而被呈现给手术者5181,因此手术者5181能够更可靠地进行更安全的手术。
连接相机头5119和CCU 5153的传输缆线5179是与电信号通信兼容的电信号缆线、与光通信兼容的光纤、或者它们的复合缆线。
这里,在图中所示的例子中,利用传输缆线5179,有线地进行通信。不过,也可无线地进行相机头5119和CCU 5153之间的通信。在无线地进行相机头5119和CCU 5153之间的通信的情况下,不需要在手术室中铺设传输缆线5179。从而,可以避免传输缆线5179妨碍手术室中的医务人员的移动的情况。
上面说明了按照本公开的技术可应用于的手术室系统5100的例子。注意,在上述例证情况下,手术室系统5100应用于的医疗系统是内窥镜手术系统5113。不过,手术室系统5100的构成不限于这样的例子。例如,代替内窥镜手术系统5113,手术室系统5100可应用于检查用柔性内窥镜系统,或者显微手术系统。
按照本公开的技术可适当地应用于上述组件中的视听控制器5107和CCU 5153。具体地,视听控制器5107取决于诸如多个显示设备5103A-5103D和记录器5105之类的输出设备地判定是否进行变换处理。CCU 5153取决于诸如集中操作面板5111和记录器5167之类的输出设备地判定是否进行变换处理。由于按照本公开的技术应用于视听控制器5107和CCU5153,因此当输出的用途是记录时,可以适当变换输出信号的动态范围,从而可以提高用户便利性。
尽管上面参考附图,说明了本公开的优选实施例,不过,本公开不限于这些例子。显然本领域的普通技术人员可在这里要求保护的技术思想的范围内,作出各种变化或修改,应明白这些变化或修改在本公开的技术范围之内。
注意,也可用下述构成,具体体现本技术。
(1)一种信号处理设备,包括:
变换单元,当对于连接的输出设备的输出的用途不是显示时,所述变换单元禁止向所述输出设备输出的信号的变换;和
发送单元,所述发送单元把信号发送给所述输出设备。
(2)按照(1)所述的信号处理设备,其中
当对于所述输出设备的输出的用途是显示时,
所述变换单元取决于所述输出设备的能力地变换所述图像信号。
(3)按照(1)或(2)所述的信号处理设备,其中所述变换是所述图像信号的动态范围的变换。
(4)按照(1)或(2)所述的信号处理设备,其中所述变换是所述图像信号的色域的变换。
(5)按照(1)-(4)任意之一所述的信号处理设备,其中所述输出的用途是根据输出设备信息判定的,所述输出设备信息是关于所述输出设备的信息。
(6)按照(5)所述的信号处理设备,其中所述输出设备信息是所述输出设备的制造商、型号名称和序列号中的至少一个。
(7)按照(1)-(6)任意之一所述的信号处理设备,其中当要输出给所述输出设备的信号是HDR信号,并且所述输出设备的能力兼容HDR信号时,所述发送单元在发出符合标准的帧之后,发送所述信号。
(8)按照(7)所述的信号处理设备,其中所述符合标准的帧是InfoFrame。
(9)按照(1)-(8)任意之一所述的信号处理设备,其中当要输出给所述输出设备的信号是HDR信号,并且所述输出设备的能力兼容SDR信号时,所述发送单元在不发出符合标准的帧的情况下,发送所述信号。
(10)按照(5)所述的信号处理设备,其中当所述信号处理设备是成像设备时,在再现中时根据所述输出设备信息判定的所述输出的用途是显示,而在记录中时根据所述输出设备信息判定的所述输出的用途不是显示。
(11)按照(1)-(10)任意之一所述的信号处理设备,其中所述变换单元把HDR信号变换成SDR信号。
(12)按照(1)-(10)任意之一所述的信号处理设备,其中所述变换单元把SDR信号变换成HDR信号。
(13)按照(1)-(10)任意之一所述的信号处理设备,其中所述变换单元把混合对数-γ(HLG)信号变换成PQ信号。
(14)按照(1)-(13)任意之一所述的信号处理设备,其中HDMI、SDI、DLNA和无线连接之一用于与所述输出设备的连接。
(15)按照(1)-(14)任意之一所述的信号处理设备,其中所述输出设备是显示器、记录设备、测量设备、分析仪、编辑设备和变换器之一。
(16)一种由信号处理设备实现的信号处理方法,
所述信号处理方法包括:
当对于连接的输出设备的输出的用途不是显示时,禁止向所述输出设备输出的图像信号的变换;和
把信号发送给所述输出设备。
(17)一种程序,所述程序使计算机起以下作用:
变换单元,当对于连接的输出设备的输出的用途不是显示时,所述变换单元禁止向所述输出设备输出的图像信号的变换;和
发送单元,所述发送单元把信号发送给所述输出设备。
附图标记列表
1 信号输出系统
11 成像设备
12 输出设备
12A HDR 信号兼容显示器
12B HDR 信号不兼容显示器
12C 记录设备
21 光学系统
22 成像器
23 数字信号处理LSI
24 用户接口
25 相机控制单元
26 透镜驱动用驱动器IC
31 预处理单元
32 去马赛克单元
33 YC生成单元
34 分辨率变换单元
35 存储器
36 信号处理单元
41 动态范围变换单元
42 HDMI接口
51 信息获取单元
52 设备类型判定单元
61 接口
62 CPU
63 存储器
64 显示单元
71 增益处理单元
72 限幅器处理单元

Claims (17)

1.一种信号处理设备,包括:
变换单元,当对于连接的输出设备的输出的用途不是显示时,所述变换单元禁止要向所述输出设备输出的图像信号的变换;和
发送单元,所述发送单元把信号发送给所述输出设备。
2.按照权利要求1所述的信号处理设备,其中
当对于所述输出设备的输出的用途是显示时,
所述变换单元根据所述输出设备的能力来变换所述图像信号。
3.按照权利要求1所述的信号处理设备,其中所述变换是所述图像信号的动态范围的变换。
4.按照权利要求1所述的信号处理设备,其中所述变换是所述图像信号的色域的变换。
5.按照权利要求1所述的信号处理设备,其中所述输出的用途是基于输出设备信息判定的,所述输出设备信息是关于所述输出设备的信息。
6.按照权利要求5所述的信号处理设备,其中所述输出设备信息是所述输出设备的制造商、型号名称以及序列号中的至少一个。
7.按照权利要求1所述的信号处理设备,其中当要输出给所述输出设备的信号是HDR信号,并且所述输出设备的能力兼容HDR信号时,所述发送单元在发出符合标准的控制信号之后,发送所述图像信号。
8.按照权利要求7所述的信号处理设备,其中所述符合标准的控制信号是InfoFrame。
9.按照权利要求7所述的信号处理设备,其中当要输出给所述输出设备的信号是HDR信号,并且所述输出设备的能力兼容SDR信号时,所述发送单元在不发出符合标准的控制信号的情况下,发送所述图像信号。
10.按照权利要求5所述的信号处理设备,其中当所述信号处理设备是成像设备时,在再现中时基于所述输出设备信息判定的所述输出的用途是显示,而在记录中时基于所述输出设备信息判定的所述输出的用途不是显示。
11.按照权利要求1所述的信号处理设备,其中所述变换单元把HDR信号变换成SDR信号。
12.按照权利要求1所述的信号处理设备,其中所述变换单元把SDR信号变换成HDR信号。
13.按照权利要求1所述的信号处理设备,其中所述变换单元把混合对数-γ(HLG)信号变换成PQ信号。
14.按照权利要求1所述的信号处理设备,其中HDMI、SDI、DLNA以及无线连接中的任意一个用于与所述输出设备的连接。
15.按照权利要求1所述的信号处理设备,其中所述输出设备是显示器、记录设备、测量设备、分析仪、编辑设备以及变换器中的任意一个。
16.一种由信号处理设备实现的信号处理方法,
所述信号处理方法包括:
当对于连接的输出设备的输出的用途不是显示时,禁止要向所述输出设备输出的图像信号的变换;和
把信号发送给所述输出设备。
17.一种程序,所述程序使计算机起以下作用:
变换单元,当对于连接的输出设备的输出的用途不是显示时,所述变换单元禁止要向所述输出设备输出的图像信号的变换;和
发送单元,所述发送单元把信号发送给所述输出设备。
CN201780064322.4A 2016-10-25 2017-10-11 信号处理设备、方法和程序 Active CN109863755B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-208272 2016-10-25
JP2016208272A JP6819208B2 (ja) 2016-10-25 2016-10-25 信号処理装置および方法、並びにプログラム
PCT/JP2017/036768 WO2018079259A1 (ja) 2016-10-25 2017-10-11 信号処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN109863755A true CN109863755A (zh) 2019-06-07
CN109863755B CN109863755B (zh) 2022-02-11

Family

ID=62023465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064322.4A Active CN109863755B (zh) 2016-10-25 2017-10-11 信号处理设备、方法和程序

Country Status (5)

Country Link
US (1) US20190268653A1 (zh)
EP (1) EP3534620B1 (zh)
JP (1) JP6819208B2 (zh)
CN (1) CN109863755B (zh)
WO (1) WO2018079259A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449169A (zh) * 2021-01-28 2021-03-05 北京达佳互联信息技术有限公司 色调映射的方法和装置
CN113950032A (zh) * 2020-06-30 2022-01-18 北京小米移动软件有限公司 状态信息上报的控制方法,装置及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
JP7307560B2 (ja) * 2019-03-13 2023-07-12 キヤノン株式会社 画像表示装置、画像供給装置、制御方法およびプログラム
JP2021150791A (ja) * 2020-03-18 2021-09-27 ソニーグループ株式会社 撮像装置および撮像装置の制御方法
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11612812B1 (en) * 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11666823B1 (en) 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242370A1 (en) * 2010-03-31 2011-10-06 Kazuo Endo Camera system, video processing apparatus, and camera apparatus
US20130058624A1 (en) * 2011-09-02 2013-03-07 Kenji Tsunashima Network control device, display device, and network control method
US20130308015A1 (en) * 2012-05-18 2013-11-21 Canon Kabushiki Kaisha Transmitting apparatus
CN105409208A (zh) * 2014-06-20 2016-03-16 松下知识产权经营株式会社 再现方法及再现装置
CN105794216A (zh) * 2014-09-08 2016-07-20 索尼公司 图像处理设备和图像处理方法
CN105979192A (zh) * 2016-05-16 2016-09-28 福州瑞芯微电子股份有限公司 一种视频显示方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4288398B2 (ja) * 2000-01-18 2009-07-01 株式会社ニコン 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
KR20100055949A (ko) * 2008-11-18 2010-05-27 삼성전자주식회사 영상 촬영/재생 시스템 및 그의 동작 방법
US20140308017A1 (en) * 2011-11-25 2014-10-16 Mitsubishi Electric Corporation Imaging device, video recording device, video display device, video monitoring device, video monitoring system, and video monitoring method
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
CN106134184A (zh) * 2014-02-10 2016-11-16 株式会社理光 信息终端、系统、控制方法和记录介质
WO2016063474A1 (ja) * 2014-10-21 2016-04-28 パナソニックIpマネジメント株式会社 再生装置、表示装置および伝送方法
US10057104B2 (en) * 2015-03-27 2018-08-21 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, display device, signal processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242370A1 (en) * 2010-03-31 2011-10-06 Kazuo Endo Camera system, video processing apparatus, and camera apparatus
US20130058624A1 (en) * 2011-09-02 2013-03-07 Kenji Tsunashima Network control device, display device, and network control method
US20130308015A1 (en) * 2012-05-18 2013-11-21 Canon Kabushiki Kaisha Transmitting apparatus
CN105409208A (zh) * 2014-06-20 2016-03-16 松下知识产权经营株式会社 再现方法及再现装置
CN105794216A (zh) * 2014-09-08 2016-07-20 索尼公司 图像处理设备和图像处理方法
CN105979192A (zh) * 2016-05-16 2016-09-28 福州瑞芯微电子股份有限公司 一种视频显示方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERSIN ESEN; A. AYDIN ALATAN: "Robust Video Data Hiding Using Forbidden Zone Data Hiding and Selective Embedding", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
李飞: "基于FPGA的数字摄像机输出视频DVI显示", 《激光与红外》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113950032A (zh) * 2020-06-30 2022-01-18 北京小米移动软件有限公司 状态信息上报的控制方法,装置及存储介质
CN113950032B (zh) * 2020-06-30 2023-08-29 北京小米移动软件有限公司 状态信息上报的控制方法,装置及存储介质
CN112449169A (zh) * 2021-01-28 2021-03-05 北京达佳互联信息技术有限公司 色调映射的方法和装置
CN112449169B (zh) * 2021-01-28 2021-05-18 北京达佳互联信息技术有限公司 色调映射的方法和装置

Also Published As

Publication number Publication date
EP3534620A1 (en) 2019-09-04
EP3534620B1 (en) 2022-06-15
JP2018074226A (ja) 2018-05-10
US20190268653A1 (en) 2019-08-29
EP3534620A4 (en) 2019-09-04
JP6819208B2 (ja) 2021-01-27
WO2018079259A1 (ja) 2018-05-03
CN109863755B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN109863755A (zh) 信号处理设备、方法和程序
US20200312255A1 (en) Image Signal Luminance Processing Method, Device And Display Apparatus
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
JP7095693B2 (ja) 医療用観察システム
US11694725B2 (en) Information processing apparatus and information processing method
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
US10694141B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
EP3731073A1 (en) Information processing device, information processing method, and program
US20200084412A1 (en) Information processing device, information processing method, and information processing program
US11910105B2 (en) Video processing using a blended tone curve characteristic
JP2022012599A (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant