CN110798631A - 摄像设备和信息处理设备及其控制方法以及记录介质 - Google Patents

摄像设备和信息处理设备及其控制方法以及记录介质 Download PDF

Info

Publication number
CN110798631A
CN110798631A CN201910706979.7A CN201910706979A CN110798631A CN 110798631 A CN110798631 A CN 110798631A CN 201910706979 A CN201910706979 A CN 201910706979A CN 110798631 A CN110798631 A CN 110798631A
Authority
CN
China
Prior art keywords
image
information
infrared
visible
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910706979.7A
Other languages
English (en)
Inventor
冈本慧
原田智博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110798631A publication Critical patent/CN110798631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明涉及一种摄像设备和信息处理设备及其控制方法以及记录介质。提供了容易地判断由于可视图像和合成图像之间的切换而引起的色感的改变的技术。在能够拍摄可视图像和红外图像的摄像设备(101)中，合成单元(110)对可视图像和红外图像进行合成以生成合成图像。叠加单元(114)将表示可视图像和红外图像的合成比的合成信息叠加在合成图像上。

Description

摄像设备和信息处理设备及其控制方法以及记录介质
技术领域
本发明涉及用于基于用可视光拍摄的图像和用红外光拍摄的图像输出合成图像的技术。
背景技术
在相关技术中，为了进行利用可视光的摄像和利用红外光(非可视光)的摄像，已知在一个光学系统中包括用于接收可视光的可视光传感器和用于接收红外光的红外传感器的摄像设备(日本特开2010-103740)。在照度低的环境或其它类似情况下，通过将可视光传感器输出的图像数据(可视图像)和红外传感器输出的图像数据(红外图像)合成，可以获得噪声很少的彩色图像。
在这种合成图像中，包括颜色。因此，与红外图像相比，可视性更高，但与可视图像相比，颜色再现是不同的。因此，随着照度降低，当从照相机传送的图像从可视图像切换到合成图像时，图像的色感可能改变。然而，用户难以根据图像内容来区分可视图像和合成图像。因此，当发生色感改变时，难以确定该改变是由可视图像和合成图像之间的切换引起的还是由摄像区域的周围环境的改变引起的。
发明内容
本发明的目的是提供用于容易地判断由可视图像和合成图像之间的切换引起的色感的改变。
根据本发明的一个方面的一种摄像设备，其能够拍摄可视图像和红外图像，所述摄像设备包括：合成单元，其被配置为对所述可视图像和所述红外图像进行合成以生成合成图像；以及叠加单元，其被配置为将表示所述可视图像和所述红外图像的合成比的合成信息叠加在所述合成图像上。
根据本发明的一个方面的一种摄像设备，其能够拍摄可视图像和红外图像，所述摄像设备包括：第一叠加单元，其被配置为将第一叠加信息叠加在所述可视图像上；第二叠加单元，其被配置为将第二叠加信息叠加在所述红外图像上；以及合成单元，其被配置为对叠加有所述第一叠加信息的所述可视图像和叠加有所述第二叠加信息的所述红外图像进行合成以生成合成图像。
根据本发明的一个方面的一种摄像设备的控制方法，所述摄像设备能够拍摄可视图像和红外图像的摄像设备，所述控制方法包括：对所述可视图像和红外图像进行合成以生成合成图像；以及将表示所述可视图像和所述红外图像的合成比的合成信息叠加在所述合成图像上。
根据本发明的一个方面的一种记录介质，用于记录使计算机用作上述摄像设备的各单元的程序。
根据本发明的一个方面的一种信息处理设备，其能够与摄像设备通信，所述摄像设备拍摄可视图像和红外图像、并且输出所述可视图像和所述红外图像的合成图像以及与所述合成图像的合成比有关的信息，所述信息处理设备包括：生成单元，其被配置为基于与所述合成比有关的信息，生成表示所述可视图像和所述红外图像的合成比的合成信息；以及显示单元，其被配置为显示所述合成图像和所述合成信息。
根据本发明的一个方面的一种信息处理设备的控制方法，所述信息处理设备能够与摄像设备通信，所述摄像设备用于拍摄可视图像和红外图像、并且输出所述可视图像和所述红外图像的合成图像以及与所述合成图像的合成比有关的信息，所述控制方法包括：基于与所述合成比有关的信息，生成表示所述可视图像和所述红外图像的合成比的合成信息；以及显示所述合成图像和所述合成信息。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示出根据第一实施例的包括摄像设备的摄像系统的框图。
图2是示出根据第一实施例的摄像系统的硬件结构的示例的框图。
图3是示出根据第一实施例的生成合成图像并叠加合成信息的处理的流程图。
图4是示出根据第一实施例的合成信息的示例的示意图。
图5是示出根据第一实施例的合成信息的另一示例的示意图。
图6是示出根据第二实施例的包括摄像设备的摄像系统的框图。
图7是示出根据第二实施例的第一叠加信息、第二叠加信息和合成信息的示例的示意图。
图8是示出根据第二实施例的第一叠加信息、第二叠加信息和合成信息的其它示例的示意图。
图9是示出根据第三实施例的包括客户端设备的摄像系统的框图。
具体实施方式
下文将详细描述实施本发明的模式。下面描述的实施例是为实现本发明而给出的示例，并且可以根据应用本发明的设备的配置或各种条件进行适当的修改或改变。本发明不限于以下实施例。
(第一实施例)
下文将参考图1描述根据第一实施例的摄像设备101的结构和功能的概述。图1是示出根据第一实施例的包括摄像设备101的摄像系统100的框图。摄像系统100包括摄像设备101和客户端设备103。
网络102是用于将摄像设备101连接到客户端设备103的网络。例如，网络102包括符合诸如以太网(Ethernet，商标)等的通信标准的多个路由器、交换机和线缆。只要网络102可以在摄像设备101和客户端设备103之间进行通信，网络102的通信标准、规模和结构并不重要。网络102可以用例如因特网、有线局域网(LAN)、无线LAN或广域网(WAN)等配置成。
例如，客户端设备103是诸如个人计算机(PC)、服务器设备或平板电脑设备等的信息处理设备。客户端设备103向摄像设备101输出与摄像设备101的控制相关的各种命令。摄像设备101向客户端设备103输出图像或对这种命令的响应。
接着，将详细描述摄像设备101。例如，摄像设备101是诸如网络照相机等的摄像设备。摄像设备101可以拍摄可视图像和红外图像，并且被连接成能够经由网络102与客户端设备103通信。摄像设备101包括摄像单元116、第一图像处理单元108、第二图像处理单元109、合成单元110、改变单元111、红外照明单元112、照明控制单元113、叠加单元114和NW处理单元115。摄像单元116可以包括透镜104、波长分离棱镜105、第一图像传感器106和第二图像传感器107。透镜104是一种光学透镜，其根据从被摄体入射的光来形成图像。波长分离棱镜105将穿过透镜104的光按波长分离。更具体地，波长分离棱镜105将穿过透镜104的光分离为波长约400nm至700nm的可视光分量和波长约700nm或更长的红外分量。
第一图像传感器106将穿过波长分离棱镜105的可视光转换为电信号。第二图像传感器107将穿过波长分离棱镜105的红外光转换为电信号。第一图像传感器106和第二图像传感器107是例如互补金属氧化物半导体(CMOS)或带电耦合装置(CCD)等。
第一图像处理单元108对第一图像传感器106所拍摄的图像信号进行显像处理以生成可视图像。第一图像处理单元108根据可视图像的亮度信号判断可视图像的被摄体照度。第二图像处理单元109对第二图像传感器107所拍摄的图像信号进行显像处理以生成红外图像。当第一图像传感器106和第二图像传感器107的分辨率不同时，第一图像处理单元108和第二图像处理单元109中的任一个进行分辨率转换处理以使可视图像和红外图像的分辨率相等。在本实施例中，将描述包括例如一个光学系统、两个图像传感器和两个图像处理单元的摄像设备。摄像设备101能够同时拍摄同一被摄体的可视图像和红外图像并能够生成可视图像和红外图像，但本发明不限于这种配置。例如，可以使用用于输出与可视光和红外光相对应的多个图像信号的一个图像传感器，或者一个图像处理单元可以处理可视图像的图像信号和红外图像的图像信号。
合成单元110基于例如以下表达式(1)对由第一图像处理单元108生成的可视图像和由第二图像处理单元109生成的红外图像进行合成以生成合成图像。
[数学式1]
Figure BDA0002152452740000051
这里，Ys、Cbs和Crs分别表示合成图像的亮度信号、蓝色差信号和红色差信号。Yv、Cbv和Crv分别表示可视图像的亮度信号、蓝色差信号和红色差信号。Yi是红外图像的亮度信号，并且α和β表示系数。
改变单元111确定表达式(1)中的系数α和β。改变单元111根据例如可视光的图像的亮度信号Yv和红外图像的亮度信号Yi来确定系数α和β。改变单元111通过改变系数α和β来改变可视图像和红外图像的合成比。改变单元111向合成单元110输出所确定的合成比。
红外照明单元112向被摄体照射红外光。照明控制单元113基于合成比或合成单元110生成的合成图像来控制红外光的打开/关闭的切换或红外光的强弱。例如，当红外图像的系数β为0时，从合成单元110输出的合成图像仅是可视图像的图像。因此，照明控制单元113可以控制红外照明单元112，使得红外照明单元112关闭。叠加单元114生成表示可视图像和红外图像的合成比的合成信息作为在屏显示(OSD)图像，并将OSD图像叠加在合成图像上。合成信息例如是字符或图形，且以根据合成比的颜色或亮度叠加在合成图像上。稍后将描述叠加在合成图像上的合成信息的细节。这里，合成比可以是α与β的比或可以基于可视图像和红外图像的亮度信号如αYv与(1-α)Yi的比那样来确定。NW处理单元115经由网络102向客户端设备103输出合成图像、对来自客户端设备103的命令的响应等。
图2是示出根据第一实施例的摄像系统100的硬件结构的示例的框图。摄像设备101包括CPU 211、ROM 212、RAM 213、摄像单元116和NW处理单元115。CPU 211读取ROM 212中存储的程序并控制摄像设备101的处理。RAM 213用作CPU 211的诸如主存储器或工作区域等的临时存储区域。ROM212存储引导程序等。当CPU 211基于ROM 212中存储的程序进行处理时，实现了摄像设备101的功能和摄像设备101的处理等。
客户端设备103包括CPU 220、ROM 221、RAM 222、NW处理单元223、输入单元224和显示单元225。CPU 220读取ROM 221中存储的程序并进行各种处理。ROM 221存储引导程序等。RAM 222用作CPU 220的诸如主存储器或工作区域等的临时存储区域。NW处理单元223经由网络102向摄像设备101输出与摄像设备101的控制相关的各种命令，并接收从摄像设备101输出的合成图像。
输入单元224是键盘等，并进行向客户端设备103的信息的输入。显示单元225是诸如显示器等的显示介质并显示由摄像设备101生成的合成图像和作为合成图像中所包括的可视图像和红外图像的合成比的合成信息。输入单元224和显示单元225是独立于客户端设备103的装置，或者可以包括在客户端设备103中。存储单元226例如是诸如硬盘或SD卡等的存储介质，并存储叠加有从摄像设备101输出的合成信息的合成图像。
下文将参考图3描述合成图像的生成和作为OSD图像的合成信息的叠加的流程。图3是示出根据第一实施例的生成合成图像并叠加合成信息的处理的流程图。首先，在S201中，在第一图像处理单元108和第二图像处理单元109中处理由第一图像传感器106和第二图像传感器107转换得到的电信号，以分别生成可视图像和红外图像。随后，在S202中，第一图像处理单元108判断可视图像中的被摄体照度是否等于或大于t1，并将判断结果输出到合成单元110。在第一图像处理单元108判断被摄体照度时，例如，可视图像可以被分割为多个块(例如8×8＝64)，对各分割块计算亮度信号的平均值，并且可以根据各块的亮度信号的平均值来计算被摄体照度。在本实施例中根据亮度信号的平均值来计算被摄体照度，但是只要可以知道各分割块的明亮度，可以用积分值来表示，或者可以用诸如EV值等的用作明亮度的指标的值来表示。
当在S202中被摄体照度等于或大于t1时(是)，在S203中照明控制单元113关闭红外照明单元112。随后，在S204中，在合成单元110中将红外图像的系数β设置为0，并将生成的合成图像输出到叠加单元114。此时，由于红外图像的系数β被设置为0，因此在合成单元110中仅选择可视图像，并将可视图像输出到叠加单元114。然而，在本实施例中，从合成单元110输出的包括这种图像的该图像被称为合成图像。
当在S202中可视图像中的被摄体照度小于t1时(否)，在S205中照明控制单元113打开红外照明单元112。随后，在S206中，第一图像处理单元108判断可视图像中的被摄体照度是否等于或大于t2(其中t1>t2)，并将判断结果输出到合成单元110。判断被摄体照度的方法与S202中的方法相同。当在S206可视图像中的被摄体照度等于或大于t2时(是)，在S207中合成单元110对可视图像和红外图像进行合成。随后，在S208中，将所生成的合成图像输出到叠加单元114。当在S206可视图像中的被摄体照度小于t2时(否)，在S209中合成单元110将可视图像的系数α设置为0并将生成的合成图像输出到叠加单元114。此时，由于可视图像的系数α为0，因此在合成单元110中仅选择红外图像并输出到叠加单元114。最后，将表示合成单元110中的可视图像和红外图像的合成比的合成信息叠加在输入到叠加单元114的图像上。
下文将描述合成信息的细节。图4是示出根据第一实施例的合成信息的示例的示意图。在图中，示出叠加字符作为合成信息的示例。合成比作为字符被叠加在可视图像301a、合成图像302a和红外图像303a上。诸如“100％”等的字符作为合成信息301b被叠加在可视图像301a上。这表示可视图像的比例为100％。诸如“60％”等的字符作为合成信息302b被叠加在合成图像302a上。这表示可视图像的比例为60％。诸如“0％”等的字符作为合成信息303b被叠加在红外图像303a上。这表示可视图像的比例为0％。在图4中，叠加可视图像的合成比，但是可以叠加红外图像的合成比，或者可以叠加可视图像和红外图像两者的合成比。
通过叠加作为字符的合成比作为合成信息，当客户端设备103中显示的图像的色感改变时可以容易地判断图像的色感是由于合成图像而改变还是由于其它原因而改变。在合成图像的情况下，也可以判断合成比。由于红外图像不包括颜色，因此通过在客户端设备103中检查图像，容易判断为该图像是红外图像。因此，对于红外图像，合成比可以不叠加在图像上。
图5是示出根据第一实施例的合成信息的另一示例的示意图。在图中，示出了叠加根据合成比的亮度的图形作为合成信息的示例。根据各合成比的亮度的图形被叠加在可视图像401a、合成图像402a和红外图像403a上。黑色即低亮度的图形作为合成信息401b被叠加在可视图像401a上。这表示可视图像的比例为100％。白色即高亮度的图形作为合成信息403b被叠加在红外图像403a上。这表示可视图像的比例为0％。亮度高于叠加在可视图像401a上的图形且亮度低于叠加在红外图像403a上的图形的图形作为合成信息402b被叠加在图像402a上。这表示对可视图像和红外图像进行合成。在本实施例中，合成信息的亮度被设置为随着可视图像的比例越高而越低，但是合成信息的亮度可以被设置为随着可视图像的比例越高而越高。
通过以这种方式叠加根据合成比的亮度的图形，当客户端设备103中显示的图像的色感改变时可以容易地判断图像的色感是由于合成图像而改变还是由于其它原因而改变。在图5中以根据合成比的亮度叠加图形，但是可以以根据合成比的颜色(例如，对于可视图像401a为蓝色，且对于红外图像403a为绿色)来叠加图形。通过以预定的时间间隔重复图3的流程，存在切换输出图像的可能性。在图5的示例中，仅叠加与当前输出图像的合成比相对应的信息，但是可以叠加与改变前的合成比和改变后的合成比两者都有关的信息，使得改变前的合成比转变为改变后的当前合成比，诸如“100％→60％(当前)”等。
(第二实施例)
接着，将描述第二实施例。第二实施例中未提及的细节与上述实施例相同。下文，将参考图6描述根据第二实施例的摄像设备501的结构和功能的概述。图6是示出根据第二实施例的包括摄像设备501的摄像系统500的框图。由于网络102、客户端设备103、摄像单元116、改变单元111、红外照明单元112和照明控制单元113与第一实施例相同，因此将省略对其的描述。
第一图像处理单元502计算可视图像的亮度信号的平均值。第二图像处理单元503计算红外图像的亮度信号的平均值。稍后将描述计算各图像的亮度信号的平均值的方法的细节。第一叠加单元504在可视图像上叠加诸如字符或图形等的第一叠加信息。第二叠加单元505在红外图像上叠加诸如字符或图形等的第二叠加信息。稍后将描述第一叠加信息和第二叠加信息的细节。合成单元506基于第一实施例的表达式(1)对叠加有第一叠加信息的可视图像和叠加有第二叠加信息的红外图像进行合成以生成合成图像。
下文将描述第一叠加信息和第二叠加信息的细节。图7是示出根据第二实施例的第一叠加信息、第二叠加信息和合成信息的示例的示意图。在图中，示出以不同的亮度叠加相同的字符作为第一叠加信息和第二叠加信息的示例。相同的字符以不同的亮度叠加在可视图像601a和红外图像603a各自的相同位置。黑色即低亮度的字符作为第一叠加信息601b被叠加在可视图像601a上。白色即高亮度的字符作为第二叠加信息603b被叠加在红外图像603a上。
当合成单元506对叠加有第一叠加信息601b的可视图像601a和叠加有第二叠加信息603b的红外图像603a进行合成时，生成合成图像602a。通过对第一叠加信息601b和第二叠加信息603b进行合成，根据合成比的亮度的字符作为合成信息602b被叠加在合成图像602a。当红外图像的合成比为0时(其中系数β＝0)，仅第一叠加信息601b作为合成信息相应地被叠加在可视图像601a上，并被输出到客户端设备103。当可视图像的合成比为0时(其中系数α＝0)，仅第二叠加信息603b作为合成信息相应地被叠加在红外图像603a上，并被输出到客户端设备103。
以这种方式，通过分别在可视图像和红外图像上叠加第一叠加信息和第二叠加信息以生成合成图像，可以将叠加有合成信息的图像输出到客户端设备103。因此，当客户端设备103中显示的图像的色感改变时，可以容易地判断图像的色感是由于合成图像而改变还是由于其它原因而改变。在图7中，相同的字符以不同的亮度被叠加作为第一叠加信息和第二叠加信息，但是可以叠加相同的图形。相同的字符或图形可以以不同的颜色(例如，对于可视图像601a为蓝色，且对于红外图像603a为绿色)叠加。
图8是示出根据第二实施例的第一叠加信息、第二叠加信息和合成信息的其它示例的示意图。在图中，示出不同图形作为第一叠加信息和第二叠加信息被叠加在合成图像中的不同位置的示例。当生成合成图像时，在可视图像701a和红外图像703a的不同位置叠加不同图形。在图中，类似于太阳的图形作为第一叠加信息701b被叠加在可视图像701a上，并且类似于月亮的图形作为第二叠加信息703b被叠加在红外图像703a上。第一叠加信息701b和第二叠加信息703b的各亮度根据各图像的亮度信号的平均值来确定。例如，第一图像处理单元502将可视图像分割为多个块(例如，8×8＝64)，针对各分割块计算亮度信号的平均值，并根据各块的亮度信号的平均值来计算可视图像的亮度信号的平均值。第二图像处理单元503根据同样的方法来计算红外图像的亮度信号的平均值。
合成单元506对叠加有第一叠加信息701b的可视图像701a和叠加有第二叠加信息703b的红外图像703a进行合成，并生成合成图像702a。第一叠加信息701b和第二叠加信息703b叠加在合成图像702a上。作为第一叠加信息701b的图形和作为第二叠加信息703b的图形这两个图形被叠加作为合成信息702b。可以根据合成信息702b中包括的两个图形各自的亮度来检查合成比。
以这种方式，通过分别在可视图像和红外图像上叠加第一叠加信息和第二叠加信息以生成合成图像，可以将叠加有合成信息的图像输出到客户端设备103。因此，当客户端设备103中显示的图像的色感改变时，可以容易地判断图像的色感是由于合成图像而改变还是由于其它原因而改变。
(第三实施例)
接着，将描述第三实施例。第三实施例中未提及的细节与上述实施例相同。下文将参考图9描述根据第三实施例的客户端设备802的结构和功能的概述。图9是示出根据第三实施例的包括客户端设备802的摄像系统800的框图。由于网络102、摄像单元116、第一图像处理单元108、第二图像处理单元109、改变单元111、红外照明单元112和照明控制单元113与第一实施例的相同，因此将省略对其的描述。
合成单元803基于根据第一实施例的表达式(1)对由第一图像处理单元108生成的可视图像和由第二图像处理单元109生成的红外图像进行合成，以生成合成图像。合成单元803将合成图像和由改变单元111所确定的合成比输出到NW处理单元805。NW处理单元805经由网络102将由合成单元803生成的合成图像(视频数据806)和由改变单元111所确定的合成比(元数据807)输出到客户端设备802。
客户端设备802包括NW处理单元808、生成单元811、显示单元812和存储单元813。NW处理单元808经由网络102接收从摄像设备801输出的视频数据806和元数据807。生成单元811根据元数据807，生成表示可视图像和红外图像的合成比的合成信息作为OSD图像。生成单元811可以如第一实施例那样将合成信息叠加在视频数据806上。例如，合成信息可以与第一实施例的合成信息相同，或者可以是可以从中理解合成比的字符串等。显示单元812是诸如显示器等的显示介质，并显示合成图像和合成信息。显示单元812可以叠加并显示合成图像和合成信息或者可以在不叠加合成图像和合成信息以进行显示的情况下排列并显示合成图像和合成信息等。存储单元813例如是诸如硬盘或SD卡等的存储介质，并存储合成图像和合成信息。
以这种方式，通过将作为元数据所接收到的合成比与合成图像一起显示，当客户端设备103中显示的图像的色感改变时，可以容易地判断图像的色感是由于合成图像而改变还是由于其它原因而改变。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2018年8月1日提交的日本专利申请2018-145090的权益，其全部内容通过引用包含于此。

Claims (17)

1.一种摄像设备，其能够拍摄可视图像和红外图像，所述摄像设备包括：
合成单元，其被配置为对所述可视图像和所述红外图像进行合成以生成合成图像；以及
叠加单元，其被配置为将表示所述可视图像和所述红外图像的合成比的合成信息叠加在所述合成图像上。
2.根据权利要求1所述的摄像设备，其中，所述合成信息为字符或图形。
3.根据权利要求1所述的摄像设备，其中，所述合成信息以根据所述合成比的颜色或亮度而叠加。
4.根据权利要求1所述的摄像设备，其中，基于所述可视图像和所述红外图像的亮度信号来确定所述合成比。
5.根据权利要求1所述的摄像设备，还包括：
输出单元，其被配置为将叠加有所述合成信息的所述合成图像输出到信息处理装置。
6.根据权利要求1所述的摄像设备，还包括：
第一摄像单元，其被配置为拍摄所述可视图像；以及
第二摄像单元，其被配置为拍摄所述红外图像。
7.根据权利要求1所述的摄像设备，还包括：
改变单元，其被配置为改变所述可视图像和所述红外图像的合成比。
8.一种摄像设备，其能够拍摄可视图像和红外图像，所述摄像设备包括：
第一叠加单元，其被配置为将第一叠加信息叠加在所述可视图像上；
第二叠加单元，其被配置为将第二叠加信息叠加在所述红外图像上；以及
合成单元，其被配置为对叠加有所述第一叠加信息的所述可视图像和叠加有所述第二叠加信息的所述红外图像进行合成以生成合成图像。
9.根据权利要求8所述的摄像设备，其中，所述合成单元被配置为生成叠加有表示所述可视图像和所述红外图像的合成比的合成信息的合成图像。
10.根据权利要求9所述的摄像设备，还包括：
输出单元，其被配置为将叠加有所述合成信息的所述合成图像输出到信息处理装置。
11.根据权利要求8所述的摄像设备，其中，所述第一叠加信息和所述第二叠加信息是字符或图形。
12.根据权利要求8所述的摄像设备，其中，所述第一叠加信息和所述第二叠加信息是相同的字符或图形且具有不同的颜色或亮度。
13.根据权利要求8所述的摄像设备，其中，所述第一叠加信息和所述第二叠加信息是不同的字符或图形且被叠加到所述合成图像中的不同位置。
14.一种摄像设备的控制方法，所述摄像设备能够拍摄可视图像和红外图像的摄像设备，所述控制方法包括：
对所述可视图像和红外图像进行合成以生成合成图像；以及
将表示所述可视图像和所述红外图像的合成比的合成信息叠加在所述合成图像上。
15.一种记录介质，用于记录使计算机用作根据权利要求1至13中任一项所述的摄像设备的各单元的程序。
16.一种信息处理设备，其能够与摄像设备通信，所述摄像设备拍摄可视图像和红外图像、并且输出所述可视图像和所述红外图像的合成图像以及与所述合成图像的合成比有关的信息，所述信息处理设备包括：
生成单元，其被配置为基于与所述合成比有关的信息，生成表示所述可视图像和所述红外图像的合成比的合成信息；以及
显示单元，其被配置为显示所述合成图像和所述合成信息。
17.一种信息处理设备的控制方法，所述信息处理设备能够与摄像设备通信，所述摄像设备用于拍摄可视图像和红外图像、并且输出所述可视图像和所述红外图像的合成图像以及与所述合成图像的合成比有关的信息，所述控制方法包括：
基于与所述合成比有关的信息，生成表示所述可视图像和所述红外图像的合成比的合成信息；以及
显示所述合成图像和所述合成信息。
CN201910706979.7A 2018-08-01 2019-08-01 摄像设备和信息处理设备及其控制方法以及记录介质 Pending CN110798631A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-145090 2018-08-01
JP2018145090A JP7254461B2 (ja) 2018-08-01 2018-08-01 撮像装置、制御方法、記録媒体、および、情報処理装置

Publications (1)

Publication Number Publication Date
CN110798631A true CN110798631A (zh) 2020-02-14

Family

ID=69229253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706979.7A Pending CN110798631A (zh) 2018-08-01 2019-08-01 摄像设备和信息处理设备及其控制方法以及记录介质

Country Status (4)

Country Link
US (1) US20200045247A1 (zh)
JP (1) JP7254461B2 (zh)
KR (1) KR102415631B1 (zh)
CN (1) CN110798631A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911159B (zh) * 2018-08-27 2023-04-18 深圳市大疆创新科技有限公司 图像呈现方法、图像获取设备及终端装置
KR102597823B1 (ko) * 2019-06-11 2023-11-03 엘지전자 주식회사 먼지 측정 장치
US11496694B2 (en) * 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
WO2023204083A1 (ja) * 2022-04-18 2023-10-26 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024603A1 (en) * 1996-10-02 2002-02-28 Nikon Corporation Image processing apparatus, method and recording medium for controlling same
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
CN101107556A (zh) * 2005-02-11 2008-01-16 宝马股份公司 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置
US20080099678A1 (en) * 2004-12-03 2008-05-01 Johnson Kirk R Camera with visible light and infrared image blending
US20100103268A1 (en) * 2008-10-23 2010-04-29 Katsumi Tokuyama Digital camera
CN102148930A (zh) * 2010-02-05 2011-08-10 佳能株式会社 摄像设备和图像处理方法
US20140240512A1 (en) * 2009-03-02 2014-08-28 Flir Systems, Inc. Time spaced infrared image enhancement
CN105247849A (zh) * 2013-05-31 2016-01-13 佳能株式会社 摄像系统、摄像设备及其控制方法
JP2016076912A (ja) * 2014-10-09 2016-05-12 株式会社Ｊｖｃケンウッド 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298764A (ja) * 1998-04-14 1999-10-29 Fuji Photo Film Co Ltd 合成画像表示機能付きデジタルスチルカメラ
JP2010082027A (ja) 2008-09-30 2010-04-15 Fujifilm Corp 画像表示システム、記録媒体、プログラム及び画像表示方法
JP5815541B2 (ja) 2010-09-29 2015-11-17 株式会社日立メディコ 超音波診断装置、超音波画像表示方法、および、プログラム
JP5218634B2 (ja) 2011-12-26 2013-06-26 株式会社豊田中央研究所 擬似濃淡画像生成装置及びプログラム
JP6533358B2 (ja) 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
JP6502509B2 (ja) 2015-09-10 2019-04-17 富士フイルム株式会社 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024603A1 (en) * 1996-10-02 2002-02-28 Nikon Corporation Image processing apparatus, method and recording medium for controlling same
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
US20080099678A1 (en) * 2004-12-03 2008-05-01 Johnson Kirk R Camera with visible light and infrared image blending
CN101107556A (zh) * 2005-02-11 2008-01-16 宝马股份公司 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置
US20100103268A1 (en) * 2008-10-23 2010-04-29 Katsumi Tokuyama Digital camera
US20140240512A1 (en) * 2009-03-02 2014-08-28 Flir Systems, Inc. Time spaced infrared image enhancement
CN102148930A (zh) * 2010-02-05 2011-08-10 佳能株式会社 摄像设备和图像处理方法
CN105247849A (zh) * 2013-05-31 2016-01-13 佳能株式会社 摄像系统、摄像设备及其控制方法
JP2016076912A (ja) * 2014-10-09 2016-05-12 株式会社Ｊｖｃケンウッド 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム

Also Published As

Publication number Publication date
JP2020022088A (ja) 2020-02-06
KR20200014691A (ko) 2020-02-11
US20200045247A1 (en) 2020-02-06
JP7254461B2 (ja) 2023-04-10
KR102415631B1 (ko) 2022-07-01

Similar Documents

Publication Publication Date Title
JP7254461B2 (ja) 撮像装置、制御方法、記録媒体、および、情報処理装置
KR102557794B1 (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체
JP5769751B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2536152B1 (en) Image processing device and image processing method
JP4530277B2 (ja) 画像再生装置、画像再生方法、プログラムおよび記録媒体
JP5566133B2 (ja) フレームレート変換処理装置
EP3402179B1 (en) Image-capturing system, image-capturing method, and program
CN108476326B (zh) 视频系统及方法、介质、摄像机系统和视频转换器
JP2006238163A5 (zh)
JP2015109563A (ja) 映像信号処理装置及びその制御方法
US11356633B2 (en) Video signal processing apparatus, video signal processing method, and video signal processing system
EP4013026A1 (en) Signal processing device, signal processing method, camera system, video system, and server
KR20190041586A (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
JP2020080458A (ja) 撮像装置及び制御方法
JP5181894B2 (ja) 画像処理装置および電子カメラ
JP2008011531A (ja) 色変換システム、記録媒体および方法
JP6137910B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020119096A (ja) 画像処理装置、画像処理方法、および、プログラム
US11665434B2 (en) Information processing apparatus having capability of appropriately setting regions displayed within an image capturing region using different image categories
JP2005173879A (ja) 融合画像表示装置
JP2006197524A (ja) 撮像装置
JP6750594B2 (ja) 撮像システムおよび撮像方法
JP2011205275A (ja) 画像処理装置、画像処理プログラム、撮像装置及び画像表示装置
JP2006243410A (ja) 画像処理装置
EP4216539A2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214

WD01 Invention patent application deemed withdrawn after publication