CN107544124B - 摄像设备及其控制方法和存储介质 - Google Patents

摄像设备及其控制方法和存储介质 Download PDF

Info

Publication number
CN107544124B
CN107544124B CN201710500535.9A CN201710500535A CN107544124B CN 107544124 B CN107544124 B CN 107544124B CN 201710500535 A CN201710500535 A CN 201710500535A CN 107544124 B CN107544124 B CN 107544124B
Authority
CN
China
Prior art keywords
unit
display
data
display data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710500535.9A
Other languages
English (en)
Other versions
CN107544124A (zh
Inventor
下仓进太郎
木下亚也加
松野太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107544124A publication Critical patent/CN107544124A/zh
Application granted granted Critical
Publication of CN107544124B publication Critical patent/CN107544124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/38Releasing-devices separate from shutter
    • G03B17/40Releasing-devices separate from shutter with delayed or timed action

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种摄像设备及其控制方法和存储介质。能够选择摄像设备中的显示开始定时和显示质量。该摄像设备具有开关,其中该开关使要显示在显示部上的显示数据在第一输出单元所输出的第一显示数据和第二输出单元所输出的第二显示数据之间选择性地切换,并且将第一显示数据或第二显示数据显示在显示部上,其中第一显示数据是通过对摄像元件所输出的图像数据进行显像而生成的,并且第二显示数据是通过对传送单元所传送的图像数据进行显像而生成的。

Description

摄像设备及其控制方法和存储介质
技术领域
本发明涉及显示开始定时和显示质量可选择的摄像设备。
背景技术
作为诸如数字照相机等的摄像设备上所安装的图像传感器,近年来,具有摄像单元的半导体集成电路芯片(摄像芯片)堆叠在用于对图像信号进行图像处理的半导体集成电路芯片(处理芯片)上的堆叠型图像传感器已出现。在包括这种图像传感器的摄像设备中,入射到摄像单元的光被转换成电气信号,并且通过对该电气信号进行AD转换所得到的数字图像数据被传送至主芯片。然后,在主芯片侧进行针对图像数据的图像处理、显示处理等。此外,日本特开2015-148676提出了如下结构:分两个阶段(在堆叠型图像传感器的处理芯片侧和在主芯片侧)进行自动调焦,由此实现与仅在主芯片侧所进行的自动调焦的精度相比更高的精度。
然而,近来,图像传感器的分辨率和可能帧频趋于明显增加,并且在图像传感器和主芯片之间所通信的数据量不断增加。通常,图像传感器将通过拍摄图像所获得的图像数据传送至主芯片,并且主芯片对所传送的图像数据进行显像以生成能够显示的可显示数据。在这样在主芯片侧进行用于生成显示数据的显像处理的情况下,由于将图像数据从图像传感器传送至主芯片并且主芯片进行诸如图像数据向存储器的一次存储等的处理,因此开始图像显示需要时间。因此,图像数据的数据量越大,以实时取景方式再现图像数据时开始图像显示的延迟时间越长。此外,如果图像传感器和主芯片之间的通信频带不足,则传送花费时间,这导致图像显示的开始的进一步延迟。此外,主芯片中的显像处理的最高速度依赖于数据传送速度;因此,如果通信频带不足,则通过拍摄所得到的图像无法按原始速度以实时取景方式再现,并且最终以慢动作再现。
发明内容
本发明的目的是能够选择摄像设备中的显示开始定时和显示质量。
因此,本发明提供一种摄像设备,包括:摄像元件,用于将所接收到的光转换成电气信号以输出图像数据;第一显像单元,用于对所述摄像元件所输出的图像数据进行显像以生成第一显示数据;第一输出单元,用于输出所述第一显像单元所生成的第一显示数据;第二显像单元,用于对所输出的由传送单元传送的图像数据进行显像以生成第二显示数据;第二输出单元,用于将所述第二显像单元所生成的第二显示数据经由与所述第一输出单元的输出所使用的路径不同的路径输出;显示部;以及开关,用于使供给至所述显示部以显示在所述显示部上的显示数据在所述第一输出单元所输出的第一显示数据和所述第二输出单元所输出的第二显示数据之间选择性地切换。
另外,本发明提供一种摄像设备的控制方法,所述摄像设备具有显示部,所述控制方法包括以下步骤:摄像步骤,用于将所接收到的光转换成电气信号以输出图像数据;第一显像步骤,用于对所输出的图像数据进行显像以生成第一显示数据;第一输出步骤,用于输出所述第一显像步骤所生成的第一显示数据;第二显像步骤,用于对所输出的图像数据进行显像以生成第二显示数据;第二输出步骤,用于将所述第二显像步骤所生成的第二显示数据经由与所述第一输出步骤的输出所使用的路径不同的路径输出;以及使要显示在所述显示部上的显示数据在所述第一输出步骤所输出的第一显示数据和所述第二输出步骤所输出的第二显示数据之间选择性地切换,并且将所述第一显示数据或所述第二显示数据显示在所述显示部上。
此外,本发明提供一种计算机可读存储介质,用于存储用于使计算机执行摄像设备的控制方法的程序,所述摄像设备具有显示部,所述控制方法包括以下步骤:摄像步骤,用于将所接收到的光转换成电气信号以输出图像数据;第一显像步骤,用于对所输出的图像数据进行显像以生成第一显示数据;第一输出步骤,用于输出所述第一显像步骤所生成的第一显示数据;第二显像步骤,用于对所输出的图像数据进行显像以生成第二显示数据;第二输出步骤,用于将所述第二显像步骤所生成的第二显示数据经由与所述第一输出步骤的输出所使用的路径不同的路径输出;以及使要显示在所述显示部上的显示数据在所述第一输出步骤所输出的第一显示数据和所述第二输出步骤所输出的第二显示数据之间选择性地切换,并且将所述第一显示数据或所述第二显示数据显示在所述显示部上。
根据本发明,能够选择摄像设备中的显示开始定时和显示质量。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是摄像设备的框图。
图2是在芯片间通信频带不足的情况下的时序图。
图3是在芯片间通信频带充足的情况下的时序图。
具体实施方式
以下将参考示出本发明的实施例的附图来详细说明本发明。
图1是根据本发明实施例的摄像设备1000的框图。摄像设备1000例如被配置为安装有堆叠型图像传感器100的数字照相机。然而,本发明可以应用于包括堆叠型图像传感器并且具有摄像功能的任何设备。例如,本发明可以应用于数字摄像机、蜂窝电话、智能电话、平板电脑和其它电子装置。
摄像设备1000包括堆叠型图像传感器100(以下称为“图像传感器100”)和第二逻辑单元106。图像传感器100包括呈堆叠配置的传感器单元101(摄像元件)、第一存储器单元102和第一逻辑单元103。第二逻辑单元106包括在与图像传感器100分开设置的半导体芯片中。第二逻辑单元106电气连接至第二存储器单元104、显示单元105、记录介质I/F 107和操作单元109。第二逻辑单元106电气连接至第一逻辑单元103。
传感器单元101是所谓的CMOS图像传感器单元。传感器单元101包括摄像元件和驱动单元,其中该摄像元件包括多个像素单元,并且该驱动单元驱动该摄像元件。传感器单元101将RAW(原始)数据发送至第一逻辑单元103,其中该RAW数据是通过将所接收到的光转换成电气信号并且进一步对该电气信号进行模数转换所获得的数字图像数据。第一逻辑单元103包括第一存储器控制单元1031、第一芯片间通信I/F 1032(传送单元)、简单显像单元1033(第一显像单元)和第一显示控制单元1034(第一输出单元)。第一存储器单元102是随机存取存储器,并且由第一存储器控制单元1031进行读/写控制。
第一存储器控制单元1031是所谓的存储器控制器,并且连接至传感器单元101、第一逻辑单元103内的各块和第一存储器单元102。响应于接收到来自第一逻辑单元103内的各块的请求,第一存储器控制单元1031进行调节,使得各块均可以适当地访问第一存储器单元102。第一存储器控制单元1031将从传感器单元101输出的RAW数据写入第一存储器单元102。
第一芯片间通信I/F 1032是用于传输数字信号的接口,并且使图像传感器100和第二逻辑单元106相连接,使得这两者可以彼此进行通信。作为第一芯片间通信I/F 1032要采用的标准例如包括LVDS(Low Voltage Differential Signaling,低电压差分信号)、SATA(Serial ATA,串行ATA)和PCIe(PCI Express)等。然而,要采用的标准不限于这些标准。
第一芯片间通信I/F 1032经由第一存储器控制单元1031访问第一存储器单元102以从第一存储器单元102读取RAW数据,并且将所读取的RAW数据传送至第二逻辑单元106。这里,RAW数据与经过显像处理之前的数据相对应;可以利用第一逻辑单元103中所包括的图像处理单元(未示出)来对RAW数据进行缺陷校正、预定偏移处理等。
简单显像单元1033经由第一存储器控制单元1031访问第一存储器单元102以从第一存储器单元102读取RAW数据,并且对所读取的RAW数据进行显像处理。简单显像单元1033对RAW数据进行显像处理以生成作为可显示在显示单元105上的图像数据的第一显示数据。简单显像单元1033将所生成的第一显示数据经由第一存储器控制单元1031写回至第一存储器单元102。后面将说明该显像处理。
第一显示控制单元1034经由第一存储器控制单元1031访问第一存储器单元102,并且在按预定间隔重复地读取第一存储器单元102中所存储的第一显示数据的同时,将所读取的第一显示数据经由第二逻辑单元106的显示切换单元1066输出到显示单元105上。作为从第一显示控制单元1034经由第二逻辑单元106的显示切换单元1066向显示单元105的路径,使用与第一芯片间通信I/F 1032和第二芯片间通信I/F 1061之间的传输路径分开设置的传输路径。因此,各个通信频带不会彼此影响。
第二逻辑单元106包括第二芯片间通信I/F 1061、第二存储器控制单元1062、高质量显像单元1063(第二显像单元)和第二显示控制单元1064(第二输出单元)。第二逻辑单元106还包括显示切换控制单元1065、显示切换单元1066、记录控制单元1067和操作指示控制单元1068。第二存储器单元104是可随机存取的存储器,并且由第二存储器控制单元1062进行读/写控制。显示单元105例如是液晶面板,并且在该显示单元105上显示由第一逻辑单元103或第二逻辑单元106通过显像处理所生成的显示数据。
第二逻辑单元106的第二芯片间通信I/F 1061是基于与第一逻辑单元103的第一芯片间通信I/F 1032相同的标准的传输接口。响应于接收到从第一芯片间通信I/F 1032传送来的RAW数据,第二芯片间通信I/F 1061将RAW数据经由第二存储器控制单元1062写入第二存储器单元104。第二存储器控制单元1062是所谓的存储器控制器,并且连接至第二逻辑单元106内的多个块以及第二存储器单元104。响应于接收到来自第二逻辑单元106内所连接的各块的请求,第二存储器控制单元1062进行调节,使得各块可以适当地访问第二存储器单元104。
高质量显像单元1063经由第二存储器控制单元1062访问第二存储器单元104以从第二存储器单元104读取RAW数据,并且对所读取的RAW数据进行显像处理。高质量显像单元1063对RAW数据进行显像处理以生成作为可显示在显示单元105上的第二显示数据,并且还生成要记录在记录介质108上的记录图像数据。高质量显像单元1063将所生成的第二显示数据和所生成的记录图像数据经由第二存储器控制单元1062写回至第二存储器单元104。后面将说明该显像处理。
第二显示控制单元1064经由第二存储器控制单元1062访问第二存储器单元104以按预定间隔重复地读取第二存储器单元104中所存储的第二显示数据,同时将所读取的第二显示数据经由显示切换单元1066输出到显示单元105上。操作单元109是用户对摄像设备1000进行操作所经由的开关、触摸面板等,并且操作单元109对用户所输入的操作进行AD转换以生成操作信号,并将所生成的操作信号发送至第二逻辑单元106。
响应于接收到从操作单元109发送来的操作信号,操作指示控制单元1068将控制信号发送至第二逻辑单元106的各块。显示切换控制单元1065基于从操作指示控制单元1068发送来的表示来自用户的操作指示的控制信号来将用于切换显示的控制信号发送至显示切换单元1066。
显示切换单元1066是用于在从第一显示控制单元1034输出的第一显示数据和从第二显示控制单元1064输出的第二显示数据中选择要显示在显示单元105上的数据的开关。显示切换单元1066基于从显示切换控制单元1065接收到的控制信号来对该开关进行切换,由此用作用于在第一显示数据和第二显示数据之间选择性地切换并且将第一显示数据或第二显示数据显示在显示单元105上的切换单元。
记录控制单元1067经由第二存储器控制单元1062读取第二存储器单元104中所存储的记录图像数据,并且将所读取的记录图像数据经由记录介质I/F 107记录到记录介质108上。此外,记录控制单元1067还可以经由记录介质I/F 107从记录介质108读取记录图像数据,并且将所读取的记录图像数据写入第二存储器单元104。记录介质108是诸如所谓的SD卡(注册商标)等的存储卡那样的记录介质。记录介质I/F 107是记录介质108可以可移除地安装至的卡槽那样的装置。以上是摄像设备1000的结构。
随后,详细说明摄像时简单显像单元1033和高质量显像单元1063的操作。简单显像单元1033通过处理与高质量显像单元1063对RAW数据进行显像时所处理的数据量相比更少的数据量,来以与高质量显像单元1063所进行的显像处理相比更加简单的方式进行显像处理(以下还称为“简单显像处理”)。例如,针对第一存储器单元102中所存储的RAW数据,简单显像单元1033对像素数或帧数进行间隔剔除、或者减少插值或图像创建时的参考像素数,由此进行数据处理量有所减少的显像处理。
例如,在从传感器单元101向第一存储器单元102的RAW数据的传送速率为120fps的情况下,简单显像单元1033仅对RAW数据的四分之一进行显像处理。即,简单显像单元1033对RAW数据进行与针对传送速率为30fps的数据所进行的显像处理相对应的简单显像处理,由此生成第一显示数据。此外,例如,在从传感器单元101向第一存储器单元102要传送的RAW数据的像素数是4K大小的情况下,简单显像单元1033通过将该4K大小间隔剔除为例如VGA大小来进行显像处理。即,简单显像单元1033对RAW数据进行与针对VGA大小的数据所进行的显像处理相对应的简单显像处理,由此生成第一显示数据。4K大小是4096×2160个像素,并且VGA大小是640×480个像素。
应当注意,利用简单显像单元1033的简单显像处理不限于这些示例。简单显像处理应是用于生成图像质量受到限制的显示数据的显像处理,由此使电路大小或电力消耗与高质量显像单元1063的电路大小或电力消耗相比变小。
另一方面,针对第二存储器单元104中所写入的RAW数据,高质量显像单元1063进行高质量显像处理,其中在该高质量显像处理期间,没有对像素数或帧数进行间隔剔除,并且插值或图像创建时的参考像素数尽可能多地增多。
例如,在RAW数据向第二存储器单元104的传送速率为120fps的情况下,高质量显像单元1063对所有的RAW数据进行显像处理。即,高质量显像单元1063对RAW数据进行针对传送速率为120fps的数据要进行的显像处理,由此生成第二显示数据和记录图像数据。可选地,例如,在要传送至第二存储器单元104的RAW数据的像素数是4K大小的情况下,高质量显像单元1063对RAW数据的所有像素进行显像处理。即,高质量显像单元1063对RAW数据进行针对4K大小的数据要进行的显像处理,由此生成第二显示数据和记录图像数据。
应当注意,同样在高质量显像单元1063所进行的显像处理中,可以对RAW数据进行像素数或帧数的间隔剔除。然而,同样在这种情况下,简单显像单元1033被配置为将与在高质量显像单元1063所进行的显像处理中作为对象的帧数或像素数一样多或更少的帧数或像素数设置为显像处理的对象,由此进行与高质量显像单元1063所进行的显像处理等同或更简单的显像处理。
应当注意,高质量显像单元1063可被配置为进行用于生成记录图像数据的图像处理,然后根据显示单元105的分辨率来缩小记录图像数据以生成第二显示数据。在摄像时,将RAW数据经由第二芯片间通信I/F 1061实时地传送至第二存储器单元104。另一方面,在再现图像时,将RAW数据经由记录控制单元1067传送至第二存储器单元104。
随后,利用图2和3所示的时序图来说明在将实时取景图像显示在显示单元105上时进行摄像的处理的流程。图2和3分别是第一芯片间通信I/F 1032和第二芯片间通信I/F1061之间的芯片间通信频带不足和充足的情况下的时序图。
首先,说明图2所示的示例。在图2所示的示例中,将第一芯片间通信I/F 1032和第二芯片间通信I/F 1061之间(芯片之间)的数据传送的间隔Tc_t描述为Tc_t=11.1msec、即等同于90fps。将从传感器单元101向第一存储器单元102的RAW数据的传送间隔Tc_cap描述为Tc_cap=8.33msec、即等同于120fps。数据传送间隔Tc_t应受到第一芯片间通信I/F1032和第二芯片间通信I/F 1061之间的传送频带(通信频带)所限制,并且在图2所示的示例中,Tc_t>Tc_cap成立。尽管从传感器单元101向第一存储器单元102的RAW数据的输出速率等同于120fps,但芯片间传送速率等同于比120fps慢的90fps,因此芯片间通信频带不足。
首先,说明第一逻辑单元103的简单显像处理和显示操作。在时刻T0_0,从传感器单元101向第一存储器单元102的RAW数据的传送开始。之后,在从时刻T0_0起经过了时间Td_l0之后,在与开始显像处理所需的像素一样多的像素的传送完成时,简单显像单元1033开始从第一存储器单元102读出RAW数据,并且开始简单显像处理。该简单显像处理生成第一显示数据。
简单显像单元1033开始从经过了简单显像处理的像素区域起顺次将第一显示数据传送至第一存储器单元102。将自开始从传感器单元101传送RAW数据起直到开始将第一显示数据传送至第一存储器单元102为止的经过时间称为延迟时间Td_l1。
之后,第一显示控制单元1034从第一存储器单元102读出第一显示数据,并且将所读取的第一显示数据输出至显示切换单元1066。此时,在利用显示切换单元1066选择来自第一显示控制单元1034的输出的情况下,将第一显示数据显示在显示单元105上。将自开始从传感器单元101传送RAW数据起直到开始将第一显示数据显示在显示单元105上为止的经过时间称为延迟时间Td_l2。
接着,说明第二逻辑单元106的高质量显像处理和显示操作。在时刻T0_0,在从传感器单元101向第一存储器单元102的RAW数据的传送开始之后,第一芯片间通信I/F 1032开始从第一存储器单元102读出RAW数据。之后,第一芯片间通信I/F 1032开始将RAW数据经由第二芯片间通信I/F 1061传送至第二存储器单元104。这里,第一芯片间通信I/F 1032所进行的向第二芯片间通信I/F 1061的RAW数据的传送与简单显像单元1033所进行的简单显像处理在时间上重叠,即与简单显像处理并行地进行。即,在生成第一显示数据的背景下进行RAW数据的传送。通过这样并行地进行处理,使第二逻辑单元106中的显像处理的开始提前。
在从时刻T0_0起经过了时间Td_h0之后,在与开始显像处理所需的像素一样多的像素的传送完成时,高质量显像单元1063开始从第二存储器单元104读出RAW数据,并且开始高质量显像处理。该高质量显像处理生成第二显示数据和记录图像数据。高质量显像单元1063开始从经过了高质量显像处理的像素区域起顺次将第二显示数据传送至第二存储器单元104。将自开始从传感器单元101传送RAW数据起直到开始将第二显示数据传送至第二存储器单元104为止的经过时间称为延迟时间Td_h1。
此外,记录控制单元1067从经过了高质量显像处理的像素区域起顺次将记录图像数据传送至记录介质108。之后,第二显示控制单元1064从第二存储器单元104读出第二显示数据,并且将该第二显示数据经由显示切换单元1066输出至显示单元105。此时,在利用显示切换单元1066选择来自第二显示控制单元1064的输出的情况下,将第二显示数据显示在显示单元105上。将自开始从传感器单元101传送RAW数据起直到开始将第二显示数据显示在显示单元105上为止的经过时间称为延迟时间Td_h2。
这里,要将第一显示数据显示在显示单元105上的情况下的显示开始定时早于要将第二显示数据显示在显示单元105上的情况下的显示开始定时。即,可以使第一显示数据与第二显示数据相比提早了Td_h2和Td_l2之间的差(Td_h2-Td_l2)显示在显示单元105上。
顺便提及,简单显像单元1033对帧数或像素数进行间隔剔除以进行显像处理;因此,与可以按原始图像质量显示的第二显示数据相比,第一显示数据的图像质量变低。另一方面,在显示第一显示数据的情况下的每画面读取间隔是Tc_ld(33.3ms),并且这与时刻T0_0~时刻T1_0的时间间隔相同。然而,由于Tc_t>Tc_cap,因此第二显示控制单元1064的作为显示速率的读取间隔Tc_hd比传送间隔Tc_cap(8.33ms)长。因而,在显示第二显示数据的情况下的每画面读取间隔Tc_hd4比Tc_ld长。即,在显示第二显示数据的情况下,再现速度与在显示第一显示数据的情况下的再现速度(等同于120fps)相比变慢,并且以慢动作(等同于90fps)再现第二显示数据。
因此,在如图2所示的示例那样、Tc_t>Tc_cap的情况下,在期望使显示延迟的抑制优先于图像质量的情况下,显示切换单元1066应选择第一显示数据的显示。另一方面,在期望优先显示质量的情况下,尽管显示的开始延迟并且再现速度变慢,但显示切换单元1066应选择第二显示数据的显示。用户可以经由操作单元109来任意选择显示数据的显示。
随后,说明图3所示的示例。在图3所示的示例中,将第一芯片间通信I/F1032和第二芯片间通信I/F 1061之间的数据传送的间隔Tc_t描述为Tc_t=8.33msec、即等同于120fps。与图2所示的示例相同,从传感器单元101向第一存储器单元102的RAW数据的传送间隔Tc_cap是Tc_cap=8.33msec、即等同于120fps。在图3所示的示例中,Tc_t=Tc_cap成立。在从传感器单元101向第一存储器单元102的RAW数据的输出速率等同于120fps的情况下,芯片间传送速率也等同于120fps,这满足Tc_t≤Tc_cap,因此芯片间通信频带充足。
在图3所示的示例中,第一逻辑单元103的简单显像处理和显示操作以及第二逻辑单元106的高质量显像处理和显示操作与图2所示的示例基本相同。图3所示的示例中的第一逻辑单元103的操作与图2所示的示例中的第一逻辑单元103的操作相同;因此,图3的示例中的时间Td_l0、延迟时间Td_l1和延迟时间Td_l2的长度与图2所示的示例中的这些时间的长度相同。另一方面,数据传送间隔Tc_t比图2所示的示例中的数据传送间隔短,从而使时间Td_h0、延迟时间Td_h1、延迟时间Td_h2、读取间隔Tc_hd和每画面读取间隔Tc_hd4在时间长度方面比图2所示的示例中的这些时间短。应当注意,每画面读取间隔Tc_hd4在时间长度方面与Tc_ld相同。
用以开始图像显示的定时与图2所示的示例相同。即,在显示单元105上显示第一显示数据情况下的显示开始定时比在显示单元105上显示第二显示数据的情况下的显示开始定时早了Td_h2和Td_l2之间的差(Td_h2-Td_l2)。在图3所示的示例中,Td_h2和Td_l2之间的差小于图2所示的示例中的该差。关于图3所示的示例中的图像显示质量,利用简单显像单元1033的简单显像处理与图2所示的示例中的简单显像处理相同;因此,第一显示数据的图像质量与图2所示的示例中的图像质量相同。图3所示的示例中的第二显示数据的图像质量也与图2所示的示例中的图像质量相同。
在图3所示的示例中,读取间隔Tc_hd从未低于传送间隔Tc_cap。即,关于再现速度,每画面读取间隔Tc_hd4在时间长度方面与Tc_ld相同。这里,高质量显像单元1063所进行的显像处理的最高速度依赖于数据传送间隔Tc_t。通过利用高质量显像单元1063按与数据传送间隔Tc_t相对应的处理速度(在图3所示的示例中,相同速度)进行显像处理,可以按与传送速率相对应的再现速度来显示第二显示数据。因此,即使在显示第二显示数据的情况下,也可以按原始速度再现(可以实时地显示)第二显示数据。
因此,在如图3所示的示例那样Tc_t≤Tc_cap的情况下,在期望使显示延迟的抑制优先于图像质量的情况下,显示切换单元1066应选择第一显示数据的显示。另一方面,在期望优先显示质量的情况下,尽管显示的开始延迟,但显示切换单元1066应选择第二显示数据的显示。
根据本实施例,堆叠型图像传感器100上所安装的简单显像单元1033进行与第二逻辑单元106上所安装的高质量显像单元1063所进行的显像处理相比更加简单的显像处理。此外,第一显示数据的输出开始定时早于第二显示数据的输出开始定时。然后,显示切换单元1066在简单显像单元1033所生成的第一显示数据和高质量显像单元1063所生成的第二显示数据之间选择性地切换,并且将第一显示数据或第二显示数据显示在显示单元105上。因此,可以选择性地切换通过两种显像处理所生成的两种显示数据以供显示,从而使得可以选择显示开始定时和显示质量。
在显示第一显示数据的情况下的最早的显示开始定时与芯片间通信频带无关;然而,关于在显示第二显示数据的情况下的最早的显示开始定时,芯片间通信频带越不足,显示开始定时的延迟程度越大。因而,特别是在芯片间通信频带不足的情况下,通过选择第一显示数据作为要显示的数据,提高了显示延迟的抑制效果。顺便提及,简单显像单元1033所进行的简单显像处理越简单,第一显示数据的输出开始定时越提前。因此,应当根据所要求的显示延迟的抑制效果的程度来设置简单显像处理期间所处理的数据量。
应当注意,可以采用在显示单元105上显示第一显示数据期间暂停高质量显像单元1063所进行的显像处理的省电模式。例如,在显示第一显示数据期间,切断向高质量显像单元1063的供电。应当注意,此时,在与第二显示数据的生成和显示有关的组件的操作停止的情况下,可以提高省电。因此,还可以切断向第二显示控制单元1064和显示切换控制单元1065的供电。应当注意,在省电模式期间,经由记录控制单元1067要记录在记录介质108上的数据可以是经过显像处理之前的RAW数据。
应当注意,显示切换单元1066基于经由操作单元109所接收到的用户的指示来切换显示单元105上要显示的显示数据。然而,显示切换单元1066可以根据经由操作单元109所指示的显示的状态来进行切换。例如,在经由操作单元109接收到用以放大图像的指示的情况下,可以选择由高质量显像单元1063进行显像的第二显示数据,以抑制显示放大图像时的图像质量的劣化。
应当注意,在显示单元105上显示第一显示数据的中途、第二显示数据的生成完成的情况下,可被配置为自动将要显示的显示数据从第一显示数据切换为第二显示数据。例如,在第一显示数据的显示期间利用高质量显像单元1063的显像完成、并且第二显示数据的显示变得可能的时间点,高质量显像单元1063向操作指示控制单元1068输出预定信号。响应于接收到该预定信号,操作指示控制单元1068向显示切换单元1066发送控制信号,由此代替第一显示数据,选择显示第二显示数据。
应当注意,关于芯片间数据传送间隔Tc_t,说明了Tc_t与90fps等同(图2)的示例和Tc_t与120fps等同(图3)的示例;然而,芯片间数据传送间隔Tc_t不限于这些示例。应当注意,在这些示例中,显示切换单元1066配置在第二逻辑单元106内;然而,显示切换单元1066可以配置在第二逻辑单元106外。
如上所述,基于优选实施例详细说明了本发明;然而,本发明不限于该特定实施例,并且在没有背离本发明的范围的情况下包括各种形式。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
本申请要求2016年6月27日提交的日本专利申请2016-126564的优先权,在此通过引用包含其全部内容。

Claims (12)

1.一种摄像设备,包括:
图像传感器,其包括用于将所接收到的光转换成电气信号以输出图像数据的摄像元件、用于对所输出的图像数据进行存储的第一存储器以及用于对所输出的图像数据进行显像以生成第一显示数据的第一显像单元;
第二显像单元,用于对所输出的图像数据进行显像以生成具有比所述第一显示数据的数据量大的数据量的第二显示数据;以及
第二存储器,用于对所输出的图像数据或者所述第二显像单元所显像的所述第二显示数据进行存储,
其中,所述第一显像单元通过处理与所述第二显像单元在对所述图像数据进行显像时所处理的数据量相比更少的数据量,来进行与所述第二显像单元所进行的显像处理相比更加简单的简单显像处理。
2.根据权利要求1所述的摄像设备,还包括:
第一传送单元,用于将所述第一存储器中所存储的图像数据传送至所述第二存储器;
第二传送单元,用于将所述第一显示数据传送至显示部;以及
第三传送单元,用于将所述第二存储器中所存储的第二显示数据传送至所述显示部,
其中,所述第二传送单元开始传送所述第一显示数据的定时早于所述第三传送单元开始传送所述第二显示数据的定时。
3.根据权利要求1所述的摄像设备,其中,所述摄像元件、所述第一存储器和所述第一显像单元彼此堆叠。
4.根据权利要求1所述的摄像设备,其中,所述第二显像单元设置在与所述图像传感器分开设置的半导体芯片中。
5.根据权利要求2所述的摄像设备,其中,在所述显示部上显示所述第一显示数据期间,所述第二显像单元和所述第三传送单元处于省电模式。
6.根据权利要求1所述的摄像设备,其中,所述第一显像单元通过在对所述图像数据进行显像时对帧进行间隔剔除或者对像素数进行间隔剔除,来进行所述简单显像处理。
7.根据权利要求1所述的摄像设备,其中,所述第一显像单元通过将与在所述第二显像单元所进行的显像处理中作为对象的帧数或像素数相比相同或更少的帧数或像素数设置为显像处理的对象,来进行所述简单显像处理。
8.根据权利要求2所述的摄像设备,其中,在所述第一显像单元进行所述第一显示数据的生成的背景下,所述第一传送单元传送所述图像数据。
9.根据权利要求5所述的摄像设备,其中,在所述显示部上显示所述第一显示数据期间,切断向所述第二显像单元和所述第三传送单元的供电。
10.根据权利要求1所述的摄像设备,还包括:
开关,用于使供给至显示部以显示在所述显示部上的显示数据在所述第一显示数据和所述第二显示数据之间选择性地切换,
其中,所述开关基于来自用户的指示来切换要显示在所述显示部上的显示数据。
11.根据权利要求10所述的摄像设备,其中,在用户作出用以放大图像的指示的情况下,所述开关选择所述第二显示数据作为要显示在所述显示部上的显示数据。
12.根据权利要求1所述的摄像设备,其中,所述图像数据是原始数据即RAW数据。
CN201710500535.9A 2016-06-27 2017-06-27 摄像设备及其控制方法和存储介质 Active CN107544124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016126564A JP6752640B2 (ja) 2016-06-27 2016-06-27 撮像装置
JP2016-126564 2016-06-27

Publications (2)

Publication Number Publication Date
CN107544124A CN107544124A (zh) 2018-01-05
CN107544124B true CN107544124B (zh) 2021-03-09

Family

ID=59523533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710500535.9A Active CN107544124B (zh) 2016-06-27 2017-06-27 摄像设备及其控制方法和存储介质

Country Status (5)

Country Link
US (2) US10362216B2 (zh)
JP (1) JP6752640B2 (zh)
CN (1) CN107544124B (zh)
DE (1) DE102017114066A1 (zh)
GB (1) GB2553206B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022866B2 (ja) * 2019-02-20 2022-02-18 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
CN113454977B (zh) * 2019-02-20 2023-05-09 富士胶片株式会社 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4691253A (en) 1985-05-13 1987-09-01 Polaroid Corporation Electronic imaging camera for recording either moving or still images
EP1526720A3 (en) 1997-01-20 2005-05-11 Matsushita Electric Industrial Co., Ltd. Digital camera with interchangeable displays
JP2002142149A (ja) * 2000-11-06 2002-05-17 Mega Chips Corp 画像処理回路
JP3988461B2 (ja) * 2001-12-28 2007-10-10 株式会社ニコン 電子カメラ
CN2726007Y (zh) * 2004-07-21 2005-09-14 志合电脑股份有限公司 具有选择性切换多个显示处理器的信息装置
JP2007067917A (ja) * 2005-08-31 2007-03-15 Matsushita Electric Ind Co Ltd 画像データ処理装置
US20080043132A1 (en) * 2006-08-21 2008-02-21 Micron Technology, Inc. Method and apparatus for displaying a power-up image on an imaging device upon power-up
JP5521334B2 (ja) * 2009-01-29 2014-06-11 株式会社リコー 撮像装置及び撮像方法
JP5108802B2 (ja) * 2009-02-03 2012-12-26 富士フイルム株式会社 撮像装置及びそのスルー画像表示方法
JP5407762B2 (ja) * 2009-10-30 2014-02-05 ヤマハ株式会社 画像プロセッサの制御方法およびプログラム
JP5530279B2 (ja) * 2010-07-13 2014-06-25 オリンパス株式会社 撮像装置、撮像制御方法、およびプログラム
US20140118577A1 (en) 2011-07-05 2014-05-01 Nec Casio Mobile Communications, Ltd. Imaging device and recording medium
JP5871535B2 (ja) 2011-09-22 2016-03-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9093015B2 (en) * 2012-01-27 2015-07-28 Samsung Electronics Co., Ltd. Display apparatus, upgrade apparatus, control method thereof, and display system
JP6005989B2 (ja) * 2012-05-16 2016-10-12 オリンパス株式会社 内視鏡装置
JP6006083B2 (ja) * 2012-10-30 2016-10-12 オリンパス株式会社 撮像装置および撮像方法
JP2014096749A (ja) * 2012-11-12 2014-05-22 Sony Corp 撮像装置及び画像処理方法
CN103853516B (zh) * 2012-12-05 2017-11-07 联想(北京)有限公司 一种电子设备及切换方法
EP2950517B1 (en) * 2013-01-24 2020-12-23 Nikon Corporation Imaging device
JP2015148676A (ja) * 2014-02-05 2015-08-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6261430B2 (ja) * 2014-04-01 2018-01-17 キヤノン株式会社 撮像装置及び画像処理システム
JP2016076771A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 撮像装置
KR20160054850A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 다수의 프로세서들을 운용하는 장치 및 방법
EP3235418A4 (en) * 2014-12-15 2018-10-24 Olympus Corporation Display control device and endoscope system
JP6399549B2 (ja) 2015-01-05 2018-10-03 Kddi株式会社 電子チケットの誤使用を防止する方法及びシステム
JP6603558B2 (ja) * 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置

Also Published As

Publication number Publication date
US20170374275A1 (en) 2017-12-28
GB201710209D0 (en) 2017-08-09
JP2018006806A (ja) 2018-01-11
GB2553206B (en) 2020-07-15
US10771681B2 (en) 2020-09-08
JP6752640B2 (ja) 2020-09-09
US20190297250A1 (en) 2019-09-26
GB2553206A (en) 2018-02-28
CN107544124A (zh) 2018-01-05
DE102017114066A1 (de) 2017-12-28
US10362216B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
US10082723B2 (en) Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
JP2005287029A (ja) データを動的に処理する方法及びデジタルカメラ
CN101860682B (zh) 摄像设备
JP6356970B2 (ja) 記録装置、及び記録装置の制御方法
US9569160B2 (en) Display processing device and imaging apparatus
JP5325655B2 (ja) 撮像装置
JP2001238190A (ja) 画像処理装置及びその制御処理方法
CN107544124B (zh) 摄像设备及其控制方法和存储介质
US9363440B2 (en) Imaging device and imaging method that sets a phase difference between first and second synchronization signals
CN102625086B (zh) 一种用于高清数字矩阵的ddr2存储方法和系统
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
JP2007199815A (ja) メモリ制御装置およびメモリ制御方法
US9609215B2 (en) Moving-image recording/reproduction apparatus
JP4298358B2 (ja) 画像処理システム
JP2007135102A (ja) 撮像装置
US20060077201A1 (en) Synchronous image-switching device and method thereof
JP2015142178A (ja) 記録装置、撮像装置、記録装置の制御方法、及びプログラム
JP2013219624A (ja) 撮像装置
JP6403479B2 (ja) 撮像装置およびその制御方法
US10769095B2 (en) Image processing apparatus
KR100715522B1 (ko) 카메라 컨트롤 장치, 영상 데이터 표시 장치 및 그 방법
JP2017055217A (ja) 画像処理装置と画像処理方法及び撮像装置
JP5478761B2 (ja) 撮像装置
JP2017208674A (ja) 映像処理装置及び映像処理方法
JP2021125748A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant