CN104052934A - 用于处理图像的电子装置和方法 - Google Patents

用于处理图像的电子装置和方法 Download PDF

Info

Publication number
CN104052934A
CN104052934A CN201410093497.6A CN201410093497A CN104052934A CN 104052934 A CN104052934 A CN 104052934A CN 201410093497 A CN201410093497 A CN 201410093497A CN 104052934 A CN104052934 A CN 104052934A
Authority
CN
China
Prior art keywords
view data
memory
processor
image
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410093497.6A
Other languages
English (en)
Other versions
CN104052934B (zh
Inventor
白宇铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130139907A external-priority patent/KR102186383B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104052934A publication Critical patent/CN104052934A/zh
Application granted granted Critical
Publication of CN104052934B publication Critical patent/CN104052934B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种用于处理图像的电子装置和方法。一种电子装置包括：第一图像传感器，产生第一图像数据；第二图像传感器，产生第二图像数据；至少一个处理器，处理第一图像数据和第二图像数据；和显示器，显示由所述至少一个处理器处理的第一图像数据和第二图像数据中的至少一个图像数据，其中，所述电子装置被配置为在第一图像数据和第二图像数据上设置每个时间戳，并且显示器被配置为基于时间戳显示至少一个图像数据。一种电子装置的操作方法包括：通过使用第一图像传感器和第二图像传感器来分别产生第一图像数据和第二图像数据；以及基于时间戳在显示器上显示至少一个图像数据。

Description

用于处理图像的电子装置和方法
技术领域
本公开的各种实施例总体上涉及一种用于处理图像的方法和电子装置。
背景技术
随着信息和通信技术以及半导体技术的发展，各种电子装置成为提供各种多媒体服务的多媒体装置。例如，便携式电子装置可提供各种多媒体服务，诸如广播服务、无线互联网服务和音乐播放服务。
电子装置可通过从图像传感器获得的至少一个图像来提供各种服务。
发明内容
如果包括多个图像传感器，则电子装置可能由于通过所述多个图像传感器获得的图像的不同处理时间而无法同时在显示单元上显示这些图像。
为了解决以上讨论的缺点，主要目的在于提供一种用于高效地处理通过电子装置中的多个图像传感器获得的图像的装置和方法。
本公开的另一目的在于提供一种用于减小通过电子装置中的多个图像传感器获得的图像的处理延迟的装置和方法。
本公开的另一目的在于提供一种用于通过使用布置在处理器的内部或外部的图像处理单元来处理通过电子装置中的多个图像传感器获得的图像的装置和方法。
本公开的另一目的在于提供一种用于通过使用布置在电子装置中的处理器的外部的至少一个图像处理器来将通过至少一个图像传感器获得的至少一个图像转换成具有可在显示单元上显示的格式的图像的装置和方法。
本公开的另一目的在于提供一种用于为通过电子装置中的多个图像传感器获得的图像设置时间戳的装置和方法。
本公开的另一目的在于提供一种用于通过使用为通过电子装置中的多个图像传感器获得的图像设置的时间戳来选择用于合成的多个图像的装置和方法。
本公开的另一目的在于提供一种用于通过使用为通过电子装置中的多个图像传感器获得的图像设置的图像处理延迟时间和时间戳来选择用于合成的多个图像的装置和方法。
根据本公开的一方面，一种电子装置包括：第一图像传感器，产生第一图像数据；第二图像传感器，产生第二图像数据；至少一个处理器，处理第一图像数据和第二图像数据中的至少一个图像数据；显示单元，显示由所述至少一个处理器处理的第一图像数据和第二图像数据中的至少一个图像数据，其中，所述电子装置在第一图像数据和第二图像数据上设置时间戳，并且显示单元基于时间戳显示至少一个图像数据。
根据本公开的一方面，一种电子装置包括：第一图像传感器，产生第一图像数据；第二图像传感器，产生第二图像数据；应用处理器，处理第一图像数据；图像处理处理器，处理第二图像数据，其中，所述图像处理处理器将第二图像数据转换成可在显示单元上显示的格式。
根据本公开的一方面，一种电子装置包括：存储装置，存储添加有第一时间戳的第一图像数据和添加有第二时间戳的第二图像数据；至少一个处理器，处理第一图像数据和第二图像数据中的至少一个图像数据；显示单元，显示由所述至少一个处理器处理的第一图像数据和第二图像数据中的至少一个图像数据，其中，所述显示单元基于时间戳显示至少一个图像数据。
根据本公开的一方面，一种电子装置包括：第一图像传感器，产生第一图像数据；第二图像传感器，产生第二图像数据；至少一个处理器，处理第一图像数据和第二图像数据中的至少一个；存储装置，存储与第一图像数据和第二图像数据相应的时间戳，其中，所述电子装置比较图像数据的时间戳。
根据本公开的一方面，一种电子装置的操作方法包括：通过使用多个图像传感器来产生多个图像数据；设置与所述多个图像数据中的每一个图像数据相应的时间戳；以及基于时间戳在显示单元上显示至少一个图像数据。
根据本公开的一方面，一种电子装置的操作方法包括：通过使用第一图像传感器和第二图像传感器来产生第一图像数据和第二图像数据；以及通过使用应用处理器来处理第一图像数据并且通过使用图像处理处理器来处理第二图像数据，其中，处理第二图像数据的步骤包括将第二图像数据转换成可在显示单元上显示的格式。
根据本公开的一方面，一种电子装置的操作方法包括：存储包括添加的第一时间戳的第一图像数据和包括添加的第二时间戳的第二图像数据；以及基于时间戳在显示单元上显示至少一个图像数据。
根据本公开的一方面，一种电子装置的操作方法包括：通过使用第一图像传感器和第二图像传感器来产生第一图像数据和第二图像数据；存储包括添加的第一时间戳的第一图像数据和包括添加的第二时间戳的第二图像数据；以及基于时间戳在显示单元上显示至少一个图像数据。
在进行下面的具体实施方式的描述之前，阐述贯穿本专利文档使用的特定词语和短语的定义可以是有益的：术语“包括”和“包含”及其衍生词表示没有限制的包括；术语“或”是包括性的，表示“和/或”；短语“与…关联”和“与其关联”及其衍生词可表示包括、被包括于…中、与…互相连接、包含、被包含于…中、连接到…或与…连接、结合到…或与…结合、可与…通信、与…协作、交错、并列、接近于…、绑定到…或与…绑定、具有、具有…的属性等；术语“控制器”表示控制至少一个操作的任何装置、系统或其部件，这样的装置可以以硬件、固件或软件或所述硬件、固件和软件中的至少两个的某种组合来实现。应该注意的是，可本地或远程地集中或分布与任何特定控制器关联的功能。贯穿本专利文档提供特定词语和短语的定义，本领域的普通技术人员应理解，在很多(如果不是大多数)情况下，这样的定义应用于这样定义的词语和短语的现有以及未来的使用。
附图说明
为了更完整地理解本公开及其优点，现在参照下面结合附图进行的描述，其中，相同附图标号表示相同部件：
图1是示出根据本公开的各种实施例的电子装置的配置的框图。
图2是示出根据本公开的各种实施例的处理器的配置的框图。
图3是示出根据本公开的各种实施例的电子装置的配置的框图。
图4是示出根据本公开的各种实施例的处理器的配置的框图。
图5是示出根据本公开的各种实施例的电子装置的配置的框图。
图6是示出根据本公开的各种实施例的处理器的配置的框图。
图7是示出根据本公开的各种实施例的外部图像处理单元的配置的框图。
图8是示出根据本公开的各种实施例的存储器的配置的框图。
图9是示出根据本公开的各种实施例的电子装置中的选择用于合成的图像的方法的流程图。
图10是示出根据本公开的各种实施例的电子装置中的选择用于合成的图像的方法的流程图。
图11是示出根据本公开的各种实施例的用于选择用于合成的图像的配置的示图。
图12是示出根据本公开的各种实施例的电子装置中的选择用于合成的图像的方法的流程图；和
图13是示出根据本公开的各种实施例的用于选择用于合成的图像的配置的示图。
具体实施方式
以下讨论的图1至图13和用于在本专利文档中描述本公开的原理的各种实施例仅用作说明，而不应该以任何方式被解释为限制本公开的范围。本领域技术人员将会理解，本公开的原理可被实现于任何适当地布置的电子装置中。以下，将会参照附图更详细地描述本公开的实施例。在下面的描述中，由于公知的功能和结构将会在不必要的细节上使本公开变得模糊，因此公知的功能和构造的详细描述将会被省略。此外，根据本公开的功能定义在这里使用的术语。因此，术语可根据用户或操作者的意图或实践而变化。因此，必须基于在这里进行的描述来理解在这里使用的术语。
本公开的各种实施例描述一种用于高效地处理通过电子装置中的多个图像传感器获得的图像的装置和方法。
根据本公开的实施例的电子装置可以是各种装置中的一个或各种装置的组合，诸如智能电话、平板PC、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、笔记本计算机、PDA、PMP、MP3播放器、移动医疗装备、珠宝首饰、电子配件、相机、可穿戴装置、电子表、手表、冰箱、空调、真空吸尘器、人工智能机器人、TV、DVD播放器、音频、烤箱、微波、洗衣机、微波手镯、电子项链、空气净化器、电子相框、医疗装置(例如，MRA、MRI、CT、摄像机或超声装置)、导航装置、GPS接收器、EDR、FDR、机顶盒、TV盒(例如，SamSung HomeSyncTM、Apple TVTMTM或Google TVTMTM)、电子词典、汽车信息娱乐装置、船用电子装备(例如，船用导航系统和陀螺罗盘)、航空电子设备、安全装置和电子服装、电子钥匙、摄像机、游戏控制台、HMD、平板显示装置、电子相册、包括电子装置的家具或建筑物/结构的一部分、电子板、电子签名输入装置或投影仪，所有这些装置包括多个传感器。对于本领域技术人员而言清楚的是，电子装置不限于上述装置。
图1是示出根据本公开的各种实施例的电子装置的配置的框图。
参照图1，电子装置100包括：处理器110、存储器120、图像传感器130-1至130-N、显示单元140和用户输入单元150。这里，处理器110可包括应用程序处理器AP。
处理器110可控制电子装置100，以使得电子装置100可提供各种服务。
处理器110解释从电子装置100中所包括的至少另一组件(例如，存储器120、图像传感器130-1至130-N、显示单元140和用户输入单元150)接收的命令，然后响应于解释的命令执行操作和数据处理。例如，处理器110可对从图像传感器130-1至130-N提供的图像执行至少一种图像处理，例如电平调整、降噪、伽马校正和用于在显示单元140上显示图像的格式转换。处理器110可将处理的图像存储在存储器120中，或者在显示单元140上显示处理的图像。此时，处理器110可将显示单元140上显示的图像发送给存储器120以临时将显示单元140上显示的图像存储在存储器120中。这里，图像处理(也就是说，用于在显示单元140上显示图像的格式转换)可包括色彩空间转换。
处理器110可通过执行存储在存储器120中的至少一个程序来允许电子装置100提供各种多媒体服务。处理器110可通过执行存储在存储器120中的程序来从通过图像传感器130-1至130-N获得的图像之中选择至少两个图像并且合成所述至少两个图像。例如，处理器110可设置与通过图像传感器130-1至130-N之中的至少一个图像传感器获得的图像相应的时间戳。作为另一示例，如果发生捕捉事件，则处理器110可基于通过图像传感器130-1至130-N中的每一个图像传感器获得的图像的时间戳来选择并合成用于合成的至少两个图像。作为另一示例，如果发生捕捉事件，则处理器110可基于通过图像传感器130-1至130-N中的每一个图像传感器获得的图像的时间戳和处理延迟时间来选择并合成用于合成的至少两个图像。
存储器120可存储从电子装置100中所包括的至少一个组件接收或产生的命令或数据。例如，存储器120可包括程序模块，例如内核（kernel）、中间件、应用程序接口(API)和应用。这里，程序模块可包括控制与电子装置100相关的资源的操作系统(OS)或在OS上运行的各种应用。此时，可利用软件、固件、硬件或它们的组合构造每个程序模块。OS可包括Android、iOS、Windows、Symbian、Tizen或bada。
图像传感器130-1至130-N可将收集到的通过捕捉对象而获得的图像提供给处理器110。此时，图像传感器130-1至130-N可通过串行接口(诸如，MIPI和MDDI)或并行接口(诸如，并行总线)将图像发送到处理器110。这里，第一图像传感器130-1可被布置在电子装置100的正面，并且第N图像传感器130-N可被布置在电子装置100的背面。
显示单元140可提供电子装置100的图形用户界面，诸如状态信息、由用户输入的字符、运动图像或静止图像。例如，显示单元140可显示从处理器110提供的至少一个图像。作为另一示例，显示单元140可显示由处理器110基于时间戳或者时间戳和图像处理延迟时间而选择的至少两个图像。
用户输入单元150可将通过用户选择而产生的命令或数据发送到处理器110或存储器120。例如，用户输入单元150可包括触摸输入单元、笔传感器、键或超声输入装置。
虽然在附图中未示出，但电子装置100还可包括用于通过语音通信或数据通信与另一电子装置或服务器通信的通信单元。这里，通信单元可包括支持不同通信网络的多个通信子模块。例如，通信网络不限于但可支持短距通信协议(例如，Wifi、BT、NFC)或网络通信(例如，互联网、LAN、WAN、电信网络、蜂窝网络、卫星网络或POTS)。
根据上述实施例，电子装置100包括图像传感器130-1至130-N。此时，图像传感器130-1至130-N之中的至少一个图像传感器可被选择性地安装在电子装置100上。例如，图像传感器130-1至130-N之中的至少一个图像传感器可通过有线接口被选择性地安装在电子装置100上。作为另一示例，图像传感器130-1至130-N之中的至少一个图像传感器可通过无线接口(诸如，蓝牙和无线LAN)选择性地连接到电子装置100。
图2是示出根据本公开的各种实施例的处理器的配置的框图。
参照图2，处理器110包括图像处理单元200、显示控制单元210和图像产生控制单元220。
图像处理单元200可对从图像传感器130-1至130-N中的每一个图像传感器提供的图像数据执行至少一种图像处理，例如电平调整、降噪、伽马校正和色彩空间转换。图像处理单元200可将处理的图像发送到存储器120和显示控制单元210中的至少一个。此时，图像处理单元200可将显示单元140上显示的图像发送到存储器120以临时将显示单元140上显示的图像存储在存储器120中。
显示控制单元210可通过显示单元140提供图形用户界面。例如，显示控制单元210可在显示单元140上显示从图像处理单元200或存储器120提供的图像。此时，显示控制单元210可同时在显示单元140上显示通过图像处理单元200从图像传感器130-1至130-N提供的图像。
图像产生控制单元220可从通过图像传感器130-1至130-N获得的图像之中选择至少两个图像并合成所述至少两个图像。例如，如果发生捕捉事件，则图像产生控制单元220可基于存储在存储器120中的图像的时间戳来选择并合成用于合成的至少两个图像。例如，如果合成通过低像素第一图像传感器130-1和高像素第N图像传感器130-N获得的不同尺寸的图像，则图像产生控制单元220可从通过第一图像传感器130-1获得的图像之中选择包括早于捕捉事件发生时间的时间戳的至少一个第一图像。此时，图像产生控制单元220可通过使用关于第一图像传感器130-1的图像和第N图像传感器130-N的图像的处理延迟差来从包括早于捕捉事件发生时间的时间戳的图像之中选择至少一个第一图像。图像产生控制单元220可根据通过第N图像传感器130-N获得的图像的时间戳选择在最接近捕捉事件发生时间的时间获得的至少一个第二图像，然后可合成第二图像与第一图像。此时，图像产生控制单元220可将存储在存储器120中的第一图像和第二图像发送给控制单元210以在显示单元140上显示合成的图像。
虽然在附图中未示出，但处理器110还可包括用于为从图像传感器130-1至130-N提供的至少一个图像数据设置时间戳的时间设置单元。例如，时间设置单元可按照每个帧单位记录与从图像传感器130-1至130-N提供的每个图像数据相应的时间。作为另一示例，如果在图像传感器130-1至130-N之中存在选择性地安装在电子装置100上的至少一个图像传感器，则时间设置单元可在从安装在电子装置100上的所述至少一个图像传感器提供的至少一个图像数据上设置时间戳。此时，可由每个图像传感器中所包括的另外的模块为通过选择性地安装在电子装置100上的至少一个图像传感器获得的图像设置时间戳。
根据上述实施例，处理器110可通过图像处理单元200处理从图像传感器130-1至130-N提供的图像。
根据另一实施例，处理器110可通过处理器110中的多个图像处理单元处理从图像传感器130-1至130-N提供的图像。
图3是示出根据本公开的各种实施例的电子装置的配置的框图。
参照图3，电子装置300包括：处理器310、存储器320、图像传感器330-1至330-N、外部图像处理单元340-1至340-(N-1)、用户输入单元350和显示单元360。这里，处理器310可包括应用程序处理器AP。
处理器310可控制电子装置300，以使得电子装置300可提供各种服务。
处理器310解释从电子装置300中所包括的至少另一组件(例如，存储器320、第一图像传感器330-1、外部图像处理单元340-1至340-(N-1)、用户输入单元350和显示单元360)接收的命令，然后响应于解释的命令执行操作和数据处理。例如，处理器310可对从第一图像传感器330-1提供的图像执行至少一种图像处理，例如电平调整、降噪、伽马校正和用于在显示单元360上显示图像的格式转换。处理器310可将处理的图像存储在存储器320中，或者在显示单元360上显示处理的图像。此时，处理器310可将显示单元360上显示的图像发送给存储器320以临时将显示单元360上显示的图像存储在存储器320中。作为另一示例，处理器310可通过外部图像处理单元340-1至340-(N-1)将存储在存储器320中的图像转换成具有用于在显示单元360上显示图像的格式的图像，然后在显示单元360上显示转换的图像。这里，图像处理(也就是说，用于在显示单元360上显示图像的格式转换)可包括色彩空间转换。
处理器310可通过执行存储在存储器320中的至少一个程序来允许电子装置300提供各种多媒体服务。处理器310可通过执行存储在存储器320中的程序从通过图像传感器330-1至330-N获得的图像之中选择至少两个图像并合成所述至少两个图像。例如，处理器310可在从第一图像传感器330-1或者第一图像传感器330-1和外部图像处理单元340-1至340-(N-1)提供的图像数据上设置时间戳。作为另一示例，如果发生捕捉事件，则处理器310可基于通过图像传感器330-1至330-N中的每一个图像传感器获得的图像的时间戳来选择并合成用于合成的至少两个图像。作为另一示例，如果发生捕捉事件，则处理器310可基于通过图像传感器330-1至330-N中的每一个图像传感器获得的图像的时间戳和处理延迟时间来选择并合成用于合成的至少两个图像。
存储器320可存储从电子装置300中所包括的至少一个组件接收或产生的命令或数据。
图像传感器330-1至330-N可将收集到的通过捕捉对象获得的图像提供给处理器310。此时，图像传感器330-1至330-N可通过串行接口(诸如，MIPI和MDDI)或并行接口(诸如，并行总线)将图像发送到处理器310或外部图像处理单元340-1至340-(N-1)。这里，第一图像传感器330-1可被布置在电子装置300的正面，并且第N图像传感器330-N可被布置在电子装置300的后面。
外部图像处理单元340-1至340-(N-1)可对从图像传感器330-2至330-N提供的图像执行图像处理，例如电平调整、降噪和伽马校正。
用户输入单元350可将通过用户选择而产生的命令或数据发送到处理器310或存储器320。例如，用户输入单元350可包括触摸输入单元、笔传感器、键或超声输入装置。
显示单元360可提供电子装置300的图形用户界面，诸如状态信息、由用户输入的字符、运动图像或静止图像。例如，显示单元360可显示从处理器310提供的至少一个图像。作为另一示例，显示单元360可显示由处理器310基于时间戳或者时间戳和图像处理延迟时间选择的至少两个图像。
虽然在附图中未示出，但电子装置300还可包括用于通过语音通信或数据通信与另一电子装置或服务器进行通信的通信单元。这里，通信单元可包括支持不同通信网络的多个通信子模块。
根据上述实施例，电子装置300包括图像传感器330-1至330-N。此时，图像传感器330-1至330-N之中的至少一个图像传感器可被选择性地安装在电子装置300上。例如，图像传感器330-1至330-N之中的至少一个图像传感器可通过有线接口被选择性地安装在电子装置300上。在这种情况下，除了第N图像传感器之外，连接到被选择性地安装在电子装置300上的至少一个图像传感器的外部图像处理单元可被安装在电子装置300上或者也可被选择性地安装在电子装置300上。
作为另一示例，图像传感器330-1至330-N之中的至少一个图像传感器可通过无线接口(诸如，蓝牙和无线LAN)被选择性地连接到电子装置300。在这种情况下，除了第N图像传感器之外，连接到被选择性地连接到电子装置300的至少一个图像传感器的外部图像处理单元可被安装在电子装置300上或者也可被选择性地安装在电子装置300上。
图4是示出根据本公开的各种实施例的处理器的配置的框图。
参照图4，处理器310包括图像处理单元400、内部接口430、显示控制单元410、格式转换单元420和图像产生控制单元440。
图像处理单元400可对从第一图像传感器330-1提供的图像数据执行至少一种图像处理，例如电平调整、降噪、伽马校正和色彩空间转换。图像处理单元400可将处理的图像发送到存储器320和显示控制单元410中的至少一个。此时，图像处理单元400可将显示单元360上显示的图像发送到存储器320以临时将显示单元360上显示的图像存储在存储器320中。
内部接口430可将从外部图像处理单元340-1至340-(N-1)中的每一个外部图像处理单元提供的图像发送到存储器320。例如，内部接口430可包括MIFI和CAMIF中的至少一个。
显示控制单元410可通过显示单元360提供图形用户界面。例如，显示控制单元410可在显示单元360上显示从图像处理单元400或存储器320提供的图像。此时，显示控制单元410可同时在显示单元360上显示通过图像处理单元400从第一图像传感器330-1提供的图像和通过存储器320从第N图像传感器330-N提供的图像。例如，显示控制单元410可同时显示通过格式转换单元420转换成用于在显示单元360上显示图像的数据格式的图像和通过图像处理单元400从第一图像传感器330-1提供的图像。
格式转换单元420可将从存储器320提供的图像转换成可在显示单元360上显示的数据格式。例如，格式转换单元420可对从存储器320提供的图像执行色彩空间转换并将转换的图像发送到显示控制单元410。
图像产生控制单元440可从通过图像传感器330-1至330-N获得的图像之中选择至少两个图像并合成所述至少两个图像。例如，如果发生捕捉事件，则图像产生控制单元440可基于存储在存储器320中的图像的时间戳来选择并合成用于合成的至少两个图像。如果合成通过低像素第一图像传感器330-1和高像素第N图像传感器330-N获得的不同尺寸的图像，则图像产生控制单元440可从通过第一图像传感器330-1获得的图像之中选择包括早于捕捉事件发生时间的时间戳的至少一个第一图像。此时，图像产生控制单元440可通过使用关于第一图像传感器330-1的图像和第N图像传感器330-N的图像的处理延迟差来从包括早于捕捉事件发生时间的时间戳的图像之中选择至少一个第一图像。图像产生控制单元440可根据通过第N图像传感器330-N获得的图像的时间戳来选择在最接近捕捉事件发生时间的时间获得的至少一个第二图像，然后可合成第二图像与第一图像。此时，图像产生控制单元440可将存储在存储器320中的第一图像和第二图像发送到显示控制单元410以在显示单元360上显示合成的图像。
虽然在附图中未示出，但处理器310还可包括用于在从第一图像传感器330-1或者第一图像传感器330-1和外部图像处理单元340-1至340-(N-1)提供的图像数据上设置时间戳的时间设置单元。例如，时间设置单元可按照每个帧单位记录与从图像传感器130-1提供的每个图像数据相应的时间。此时，通过第二图像传感器330-2至第N图像传感器330-N获得的图像可通过连接到每个图像传感器的外部图像处理单元被设置有时间戳。
图5是示出根据本公开的各种实施例的电子装置的配置的框图。
参照图5，电子装置500包括：处理器510、存储器520和550、图像传感器530-1至530-N、外部图像处理单元540-1至540-(N-1)、显示单元560和用户输入单元570。这里，处理器510可包括应用程序处理器AP。
处理器510可控制电子装置500，以使得电子装置500可提供各种服务。
处理器510可解释从电子装置500中所包括的至少另一组件接收的命令，并且响应于解释的命令执行操作或数据处理。例如，处理器510可对从第一图像传感器530-1提供的图像执行至少一种图像处理，例如电平调整、降噪、伽马校正和用于在显示单元560上显示图像的格式转换。处理器510可将处理的图像存储在第一存储器520中，或者在显示单元560上显示处理的图像。此时，处理器510可将显示单元560上显示的图像发送给第一存储器520以临时将显示单元560上显示的图像存储在第一存储器520中。作为另一示例，处理器510可通过外部图像处理单元540-1至540-(N-1)将存储在第一存储器520中的图像转换成具有用于在显示单元560上显示图像的格式的图像，然后在显示单元560上显示转换的图像。这里，图像处理(也就是说，用于在显示单元560上显示图像的格式转换)可包括色彩空间转换。
处理器510可通过执行存储在第一存储器520中的至少一个程序来允许电子装置500提供各种多媒体服务。处理器510可通过执行存储在存储器520中的程序从通过图像传感器530-1至530-N获得的图像之中选择至少两个图像并合成所述至少两个图像。例如，处理器510可在从第一图像传感器530-1或者第一图像传感器530-1和外部图像处理单元540-1至540-(N-1)提供的图像数据上设置时间戳。作为另一示例，如果发生捕捉事件，则处理器510可基于通过图像传感器530-1至530-N中的每一个图像传感器获得的图像的时间戳来选择并合成用于合成的至少两个图像。作为另一示例，如果发生捕捉事件，则处理器510可基于通过图像传感器530-1至530-N中的每一个图像传感器获得的图像的处理延迟时间和时间戳来选择并合成用于合成的至少两个图像。
第一存储器520可存储从电子装置500中所包括的至少一个组件接收或产生的命令或数据。
图像传感器530-1至530-N可将收集到的通过捕捉对象获得的图像提供给处理器510。此时，图像传感器530-1至530-N可通过串行接口(诸如，MIPI和MDDI)或并行接口(诸如，并行总线)将图像发送给处理器510或外部图像处理单元540-1至540-(N-1)。这里，第一图像传感器530-1可被布置在电子装置500的正面，并且第N图像传感器530-N可被布置在电子装置500的背面。
外部图像处理单元540-1至540-(N-1)可对从图像传感器530-2至530-N提供的图像执行图像处理(例如，电平调整、降噪、伽马校正和色彩空间转换)，并且将处理的图像存储在第一存储器520中。另外，外部图像处理单元540-1至540-(N-1)可在从图像传感器530-2至530-N提供的图像中设置时间信息，并且将图像存储在第二存储器550中。
第二存储器550可存储从外部图像处理单元540-1至540-(N-1)提供的未处理的图像。例如，第二存储器550可存储从外部图像处理单元540-1至540-(N-1)提供的原始图像数据。此时，第二存储器550可存在于外部图像处理单元540-1至540-(N-1)中的每一个外部图像处理单元。
显示单元560可提供电子装置500的图形用户界面，诸如状态信息、由用户输入的字符、运动图像或静止图像。例如，显示单元560可显示从处理器510提供的至少一个图像。作为另一示例，显示单元560可显示由处理器510基于时间戳或者时间戳和图像处理延迟时间选择的至少两个图像。
用户输入单元570可将通过用户选择而产生的命令或数据发送到处理器510或第一存储器520。例如，用户输入单元570可包括触摸输入单元、笔传感器、键或超声输入装置。
虽然在附图中未示出，但电子装置500还可包括用于通过语音通信或数据通信与另一电子装置或服务器进行通信的通信单元。这里，通信单元可包括支持不同通信网络的多个通信子模块。
根据上述实施例，电子装置500包括图像传感器530-1至530-N。此时，图像传感器530-1至530-N之中的至少一个图像传感器可被选择性地安装在电子装置500上。例如，图像传感器530-1至530-N之中的至少一个图像传感器可通过有线接口被选择性地安装在电子装置500上。在这种情况下，除了第N图像传感器之外，连接到被选择性地安装在电子装置500上的至少一个图像传感器的外部图像处理单元可被安装在电子装置500上或者也可被选择性地安装在电子装置500上。
作为另一示例，图像传感器530-1至530-N之中的至少一个图像传感器可通过无线接口(诸如，蓝牙和无线LAN)被选择性地连接到电子装置500。在这种情况下，除了第N图像传感器之外，连接到被选择性地连接到电子装置500的至少一个图像传感器的外部图像处理单元可被安装在电子装置500上或者也可被选择性地连接到电子装置500。
图6是示出根据本公开的各种实施例的处理器的配置的框图。
参照图6，处理器510包括图像处理单元600、内部接口620、显示控制单元610和图像产生控制单元630。
图像处理单元600可对从第一图像传感器530-1提供的图像数据执行至少一种图像处理，例如电平调整、降噪、伽马校正和色彩空间转换。图像处理单元600可将处理的图像发送到第一存储器520和显示控制单元610中的至少一个。此时，图像处理单元600可将显示单元560上显示的图像发送给第一存储器520以临时将显示单元560上显示的图像存储在第一存储器520中。
内部接口620可将从外部图像处理单元540-1至540-(N-1)中的每一个外部图像处理单元提供的图像发送到第一存储器520。例如，内部接口620可包括原始数据转储接口(RDI)以及MIFI和CAMIF中的至少一个以便从外部图像处理单元540-1至540-(N-1)发送为了在显示单元560上显示图像而转换的图像。
显示控制单元610可通过显示单元560提供图形用户界面。例如，显示控制单元610可在显示单元560上显示从图像处理单元600或第一存储器520提供的图像。此时，显示控制单元610可同时在显示单元560上显示通过图像处理单元600从第一图像传感器530-1提供的图像和通过第一存储器520从第N图像传感器530-N提供的图像。
图像产生控制单元630可从通过图像传感器530-1至530-N获得的图像之中选择至少两个图像并合成所述至少两个图像。例如，如果发生捕捉事件，则图像产生控制单元630可基于存储在第一存储器520和第二存储器550中的图像的时间戳来选择并合成用于合成的至少两个图像。如果合成通过低像素第一图像传感器530-1和高像素第N图像传感器530-N获得的图像，则图像产生控制单元630可从存储在第一存储器520中并通过第一图像传感器530-1获得的图像之中选择包括早于捕捉事件发生时间的时间戳的至少一个第一图像。此时，图像产生控制单元630可通过使用关于第一图像传感器530-1的图像和第N图像传感器530-N的图像的处理延迟差来从包括早于捕捉事件发生时间的时间戳的图像之中选择至少一个第一图像。图像产生控制单元630可根据存储在第二存储器550中并通过第N图像传感器530-N获得的图像的时间戳来选择在最接近捕捉事件发生时间的时间获得的第二图像，然后可合成第二图像与第一图像。作为另一实施例，如果合成通过低像素第一图像传感器530-1和高像素第N图像传感器530-N获得的图像，则图像产生控制单元630可根据存储在第二存储器550中并通过第N图像传感器530-N获得的图像的时间戳来选择在最接近捕捉事件发生时间的时间获得的至少一个第二图像。从图像产生控制单元630选择的存储在第二存储器550中的第二图像可通过处理器510而被存储在第一存储器520中。图像产生控制单元630可根据存储在第一存储器520中并通过第一图像传感器530-1获得的图像的时间戳，来选择在最接近第二图像开始被发送到处理器510的时间的时间或者在最接近第二图像开始被存储在第一存储器520中的时间的时间获得的第一图像，然后合成选择的第一图像与第二图像。此时，图像产生控制单元630可将存储在第一存储器520中的第一图像和第二图像发送到显示控制单元610以在显示单元560上显示合成的图像。
虽然在附图中未示出，但处理器510还可包括用于在从第一图像传感器530-1或者第一图像传感器530-1和外部图像处理单元540-1至540-(N-1)提供的图像数据上设置时间戳的时间设置单元。例如，时间设置单元可按照每个帧单位记录与从图像传感器530-1提供的每个图像数据相应的时间。此时，通过第二图像传感器530-2至第N图像传感器530-N获得的图像可通过连接到每个图像传感器的外部图像处理单元被设置有时间戳。作为另一示例，时间设置单元可按照每个帧单位记录与从外部图像处理单元540-1提供的图像数据相应的时间。例如，图像产生控制单元630可基于存储在第一存储器520中的图像的时间戳来选择并合成用于合成的至少两个图像。
图7是示出根据本公开的各种实施例的外部图像处理单元的配置的框图。
参照图7，外部图像处理单元540包括图像处理控制单元700和时间设置单元710。
图像处理控制单元700可对从图像传感器530-2至530-N提供的图像数据执行至少一种图像处理，例如电平调整、降噪、伽马校正和用于在显示单元560上显示图像的格式转换。例如，图像处理控制单元700可通过色彩空间转换将从图像传感器530-2至530-N提供的YUV422的图像数据转换成YUV420的图像数据，以将图像转换成可在显示单元560上显示的格式。
图像处理控制单元700可将存储在第二存储器550中的至少一个图像数据转换成可在显示单元560上显示的格式，然后可将转换的图像发送到图像产生控制单元630。例如，图像处理控制单元700可根据图6的图像产生控制单元630的控制从第二存储器550接收选择的用于图像合成的图像数据，然后可将接收的图像数据转换成可在显示单元560上显示的格式以将转换的图像数据发送到图像产生控制单元630。作为另一示例，当发生捕捉事件时，图像处理控制单元700可将存储在第二存储器550中的图像之中的至少一个图像数据转换成可在显示单元560上显示的格式，然后可将转换的图像数据发送到图像产生控制单元630。
时间设置单元710可在从图像传感器530-2至530-N提供的图像数据中设置时间戳。例如，时间设置单元可包括时间插入单元和帧设置单元，并且可按照每个帧单位记录与从图像传感器530-2至530-N提供的每个图像数据相应的时间。
根据上述实施例，外部图像处理单元可包括图像处理控制单元700和时间设置单元710。根据另一实施例，时间设置单元710可被布置在外部图像处理单元的外部。
图8是示出根据本公开的各种实施例的存储器的配置的框图。
参照图8，第一存储器520在逻辑上或在物理上包括多个块800、810和820，并且在所述多个块800、810和820中存储数据。例如，从处理器510的图像处理单元600提供的图像数据可被存储在第一存储器520的第三块820中。
从外部图像处理单元540-1至540-(N-1)提供的图像数据可被存储在第一存储器520的第一块800中。此时，图像数据可被分类为Y数据、UV数据和元数据，并且可被存储在第一块800的内部块802、804和806中。这里，元数据可包括图像数据的帧标识符、时间戳、焦点（focus）信息和图像设置信息EXIF中的至少一个。
如果发生捕捉事件，则存储在第二存储器550中的图像数据可通过外部图像处理单元540-1至540-(N-1)而被存储在第一存储器520的第三块820中。
如上所述，电子装置500可通过外部图像处理单元540-(N-1)将通过图像传感器530-N获得的图像转换成用于在显示单元560上显示图像的格式，然后可将转换的图像存储在第一存储器520中，以使得可减小由于另外的格式转换导致的延迟。
图9是示出根据本公开的各种实施例的电子装置中的选择用于合成的图像的方法的流程图。
参照图9，在操作901中，电子装置可在显示单元上显示通过多个图像传感器获得的图像。此时，电子装置可将显示单元上显示的至少一个图像存储在至少一个存储器中。例如，参照图5，电子装置500通过处理器510的图像处理单元600对通过第一图像传感器530-1获得的图像执行图像处理，并且按照每个帧单位将处理的图像存储在第一存储器520的第三块820中。电子装置500通过外部图像处理单元540-(N-1)对通过第N图像传感器530-N获得的图像执行图像处理，并且按照每个帧单位将处理的图像存储在第一存储器520的第一块800中。此时，处理器510可在输入到图像处理单元600的图像或从图像处理单元600输出的图像上设置时间戳，并且可在从外部图像处理单元540-(N-1)提供的图像上设置时间戳。作为另一示例，参照图5，电子装置500通过处理器510的图像处理单元600对通过第一图像传感器530-1获得的图像执行图像处理，并且按照每个帧单位将处理的图像存储在第一存储器520中。此时，处理器510可在输入到图像处理单元600的图像或从图像处理单元600输出的图像中设置时间戳。电子装置500可在通过外部图像处理单元540-(N-1)的图像处理控制单元700执行图像处理之前将通过第N图像传感器530-N获得的图像存储在第二存储器550中。此时，外部图像处理单元540-(N-1)可通过使用时间设置单元710来在存储于第二存储器550中的图像中设置时间戳。这里，存储在存储器520或550中的图像可包括元数据，元数据具有帧标识符、时间戳、焦点信息和图像设置信息EXIF中的至少一个。
在操作903中，电子装置可基于存储在存储器中的图像的时间戳来选择用于合成的多个图像。例如，如果发生捕捉事件，则电子装置500可在存储于第一存储器520的第一块800中的图像之中选择时间戳最接近捕捉事件发生时间的第一图像。此外，电子装置500可从存储在第一存储器520的第三块820中的图像之中选择时间戳最接近捕捉事件发生时间的第二图像。电子装置500可将从第一存储器520选择的第一图像和第二图像合成为一个图像。作为另一示例，如果发生捕捉事件，则电子装置500可从存储在第一存储器520中的图像之中选择时间戳最接近捕捉事件发生时间的第一图像。另外，电子装置500可从存储在第二存储器550中的图像之中选择时间戳最接近捕捉事件发生时间的第二图像。电子装置500可将从第一存储器520选择的第一图像和第二图像合成为一个图像。
包括多个图像传感器的电子装置可由于每个图像传感器中的像素的数量、第N图像传感器的灵敏度、通过第N图像传感器获得的图像的尺寸或图像处理速度的至少一种差异而具有关于通过每个图像传感器获得的图像的不同处理延迟。因此，电子装置可如图10或图12中所示同步用于合成的图像。
图10是示出根据本公开的各种实施例的电子装置中的选择用于合成的图像的方法的流程图。以下，将参照图11中示出的存储器配置来描述用于选择用于合成的图像的流程图。以下，假设电子装置包括低像素第一图像传感器530-1和高像素第N图像传感器530-N，如图5中所示。
参照图10，在操作1001中，电子装置可在通过多个图像传感器获得的图像上设置时间戳。例如，参照图5，电子装置500的处理器510可在输入到图像处理单元600的图像或从图像处理单元600输出的图像上设置时间戳，并且可在从外部图像处理单元540-(N-1)提供的图像上设置时间戳。作为另一示例，参照图5，电子装置500的处理器510可在输入到图像处理单元600的图像或从图像处理单元600输出的图像上设置时间戳。另外，电子装置500的外部图像处理单元540-(N-1)可通过使用时间设置单元710来在从第N图像传感器530-N提供的图像上设置时间戳。
在操作1003中，电子装置可在显示单元上显示通过图像传感器获得的图像。此时，电子装置可将显示单元上显示的至少一个图像存储在至少一个存储器中。例如，当通过处理器510在输入到图像处理单元600的图像中设置了时间戳时，电子装置500可通过处理器510的图像处理单元600对设置了时间戳的图像执行图像处理，并且可将图像存储在第一存储器520的第三块820中。作为另一示例，当通过处理器510在从图像处理单元600输出的图像中设置了时间戳时，电子装置500可将设置了时间戳的图像存储在第一存储器520的第三块820中。作为另一示例，当通过处理器510在从外部图像处理单元540-(N-1)输出的图像中设置了时间戳时，电子装置500可将设置了时间戳的图像存储在第一存储器520的第一块800中。作为另一示例，当通过时间设置单元710在从外部图像处理单元530-N输出的图像中设置了时间戳时，电子装置500可将设置了时间戳的图像存储在第二存储器550中。此时，参照图11，电子装置可按照帧单位将图像存储在存储器520或550中。这里，存储在存储器520或550中的图像可包括元数据，元数据具有帧标识符、时间戳、焦点信息和图像设置信息EXIF中的至少一个。
在操作1005中，电子装置可确认是否发生捕捉事件。例如，电子装置可确认是否检测到与捕捉事件相应的硬件按钮输入。作为另一示例，电子装置可确认是否检测到与捕捉事件相应的图标。作为另一示例，电子装置可确认是否检测到与捕捉事件相应的用户手势。
如果未发生捕捉事件，则电子装置可在操作1001中在通过多个图像传感器获得的图像上设置时间戳。
如果发生捕捉事件，则电子装置可在操作1007中从存储在存储器中的通过第一图像传感器获得的图像之中选择包括早于捕捉事件发生时间并最接近捕捉事件发生时间的时间戳的用于合成的至少一个图像。例如，参照图5，电子装置500可从通过第一图像传感器530-1获得并被顺序地存储在第一存储器520中的图像1100之中选择包括早于捕捉事件发生时间1120并最接近捕捉事件发生时间1120的时间戳的一个第一图像1130作为用于合成的图像。此时，电子装置500可考虑关于通过第一图像传感器530-1获得的图像的处理延迟和关于通过第N图像传感器530-N获得的图像的处理延迟之间的差异，从包括早于捕捉事件发生时间1120的时间戳的图像之中选择一个第一图像1130。
另外，如果发生捕捉事件，则电子装置可在操作1009中从存储在存储器中的通过第N图像传感器获得的图像之中选择包括最接近捕捉事件发生时间的时间戳的用于合成的一个图像。例如，参照图5，电子装置500可从通过第N图像传感器530-N获得并被顺序地存储在第一存储器520或第二存储器550中的图像1110之中选择包括最接近捕捉事件发生时间1120的时间戳的一个第二图像1140作为用于合成的图像。
如果在操作1007和操作1009中选择了用于合成的图像，则电子装置可在操作1011中将从通过第一图像传感器提供的图像所选择的第一图像与从通过第N图像传感器提供的图像所选择的第二图像合成为一个图像。
图12是示出根据本公开的各种实施例的电子装置中的选择用于合成的图像的方法的流程图。以下，将参照图13中示出的存储器配置来描述用于选择用于合成的图像的流程图。以下，假设电子装置包括低像素第一图像传感器530-1和高像素第N图像传感器530-N，如图5中所示。
参照图12，在操作1201中，电子装置可在通过多个图像传感器获得的图像上设置时间戳。例如，参照图5，电子装置500的处理器510可在输入到图像处理单元600的图像或从图像处理单元600输出的图像上设置时间戳。另外，电子装置500的外部图像处理单元540-(N-1)可通过使用时间设置单元710来在从第N图像传感器530-N提供的图像上设置时间戳。
在操作1203中，电子装置可在显示单元上显示通过图像传感器获得的图像。此时，电子装置可将显示单元上显示的至少一个图像存储在至少一个存储器中。例如，参照图5，当通过处理器510在输入到图像处理单元600的图像中设置了时间戳时，电子装置500可通过处理器510的图像处理单元600对设置了时间戳的图像执行图像处理，并且可将图像存储在第一存储器520的第三块820中。作为另一示例，参照图5，当通过处理器510在从图像处理单元600输出的图像中设置了时间戳时，电子装置500可将设置了时间戳的图像存储在第一存储器520的第三块820中。作为另一示例，参照图7，当通过时间设置单元710在从第N图像传感器530-N提供的图像中设置了时间戳时，电子装置500可将设置了时间戳的图像存储在第二存储器550中。此时，如图13中所示，电子装置可在操作1300和1310中按照帧单位将图像存储在存储器520或550中。这里，存储在存储器520或550中的图像可包括元数据，元数据具有帧标识符、时间戳、焦点信息和图像设置信息EXIF中的至少一个。
在操作1205中，电子装置可确认是否发生捕捉事件。例如，电子装置可确认是否检测到与捕捉事件相应的硬件按钮输入。作为另一示例，电子装置可确认是否检测到与捕捉事件相应的图标。作为另一示例，电子装置可确认是否检测到与捕捉事件相应的用户手势。
如果未发生捕捉事件，则电子装置可在操作1201中在通过多个图像传感器获得的图像上设置时间戳。
另外，如果发生捕捉事件，则电子装置可在操作1207中从存储在存储器中的通过第N图像传感器获得的图像之中选择包括最接近捕捉事件发生时间的时间戳的用于合成的一个图像。例如，参照图5，电子装置500可从通过第N图像传感器530-N获得并被顺序地存储在第二存储器550中的图像1310之中选择包括最接近捕捉事件发生时间1320的时间戳的一个第二图像1330作为用于合成的图像。
电子装置可在操作1209中从通过第一图像传感器获得并存储在存储器中的图像之中选择用于合成的第一图像，以便合成包括最接近处理器的处理时间的时间戳的一个图像。例如，电子装置500为了合成可选择包括最接近从外部图像处理单元540-(N-1)选择的第二图像开始被发送到处理器510的时间的时间戳的一个第一图像1340。作为另一示例，电子装置500为了合成可选择包括最接近从外部图像处理单元540-(N-1)选择的第二图像开始通过处理器510被存储在第一存储器520中的时间的时间戳的一个第一图像1340。
如果选择了用于合成的图像，则电子装置可在操作1211中将从通过第一图像传感器提供的图像中选择的第一图像与从通过第N图像传感器提供的图像中选择的第二图像合成为一个图像。
如上所述，电子装置通过位于处理器的内部或外部的图像处理单元将通过至少一个传感器获得的至少一个图像转换成可在显示单元上显示的格式，然后将转换的图像提供给处理器，以使得可减小由于图像处理时间导致的时间延迟。
通过经由在从图像传感器获得的图像中设置的时间戳来选择用于合成的多个图像，可同步将要被合成的图像的获取时间。
尽管已参照本公开的特定优选实施例示出并描述了本公开，但本领域技术人员将理解，在不脱离由权利要求限定的本公开的精神和范围的情况下，可对所述实施例做出形式和细节上的各种改变。因此，本公开的范围不由本公开的详细描述限定，而是由权利要求限定，并且该范围内的所有差异将被解释为被包括在本公开中。

Claims (52)

1.一种电子装置，包括：
第一图像传感器，被配置为产生第一图像数据；
第二图像传感器，被配置为产生第二图像数据；
至少一个处理器，被配置为处理第一图像数据和第二图像数据中的至少一个；和
显示器，被配置为显示由所述至少一个处理器处理的第一图像数据和第二图像数据中的至少一个图像数据，
其中，所述电子装置被配置为在第一图像数据和第二图像数据上设置每个时间戳，并且显示器被配置为基于时间戳显示至少一个图像数据。
2.如权利要求1所述的电子装置，其中，所述至少一个处理器包括：
第一处理器，被配置为处理从第一图像传感器接收的第一图像数据；和
第二处理器，被配置为处理从第二图像传感器接收的第二图像数据。
3.如权利要求2所述的电子装置，其中，所述第一处理器包括应用处理器，以及
第二处理器包括不同于应用处理器的图像处理处理器。
4.如权利要求3所述的电子装置，其中，所述应用处理器包括内部图像处理处理器。
5.如权利要求3所述的电子装置，还包括：
第一存储器；和
第二存储器，在逻辑上或在物理上与第一存储器分开，
其中，第一处理器被配置为将第一图像数据提供给第一存储器；以及
第二处理器被配置为将第二图像数据提供给第二存储器。
6.如权利要求5所述的电子装置，其中，第二处理器被配置为将第二图像数据提供给第一存储器。
7.如权利要求6所述的电子装置，其中，第一处理器被配置为通过使用存储在第一存储器中的第一图像数据的时间戳和第二图像的时间戳的至少一部分来产生合成的图像。
8.如权利要求2所述的电子装置，其中，第一处理器被配置为设置与第一图像数据相应的时间戳，并且第二处理器被配置为设置与第二图像数据相应的时间戳。
9.如权利要求2所述的电子装置，其中，第二图像数据具有比第一图像数据大的数据大小。
10.如权利要求9所述的电子装置，其中，第二处理器被配置为将从第二图像传感器接收的第二图像数据转换成在显示器上显示的格式。
11.一种电子装置，包括：
第一图像传感器，被配置为产生第一图像数据；
第二图像传感器，被配置为产生第二图像数据；
应用处理器，被配置为处理第一图像数据；和
图像处理处理器，被配置为处理第二图像数据，
其中，图像处理处理器被配置为将第二图像数据转换成在显示器上显示的格式。
12.如权利要求11所述的电子装置，还包括：显示器，被配置为显示由应用处理器处理的第一图像数据和由图像处理处理器处理的第二图像数据中的至少一个图像数据。
13.如权利要求11所述的电子装置，其中，应用处理器包括内部图像处理处理器。
14.如权利要求11所述的电子装置，其中，图像处理处理器不同于应用处理器。
15.如权利要求11所述的电子装置，还包括：
第一存储器；和
第二存储器，在逻辑上或在物理上与第一存储器分开，
其中，应用处理器被配置为将第一图像数据提供给第一存储器，并且图像处理处理器被配置为将第二图像数据提供给第二存储器。
16.如权利要求15所述的电子装置，其中，图像处理处理器被配置为将第二图像数据提供给第一存储器。
17.如权利要求16所述的电子装置，其中，应用处理器被配置为通过使用存储在第一存储器中的第一图像数据的时间戳和第二图像的时间戳的至少一部分来产生合成的图像。
18.如权利要求11所述的电子装置，其中，应用处理器被配置为设置与第一图像数据相应的时间戳，并且图像处理处理器被配置为设置与第二数据相应的时间戳。
19.一种电子装置，包括：
存储装置，被配置为存储添加有第一时间戳的第一图像数据和添加有第二时间戳的第二图像数据；
至少一个处理器，被配置为处理第一图像数据和第二图像数据中的至少一个图像数据；和
显示器，被配置为显示由所述至少一个处理器处理的第一图像数据和第二图像数据中的至少一个图像数据，
其中，显示器被配置为基于时间戳显示至少一个图像数据。
20.如权利要求19所述的电子装置，其中，所述至少一个处理器包括：
应用处理器，被配置为处理第一图像数据并且将处理的数据提供给存储装置；和
图像处理处理器，被配置为处理第二图像数据，将处理的数据提供给存储装置，并且图像处理处理器不同于应用处理器。
21.如权利要求20所述的电子装置，其中，应用处理器包括内部图像处理处理器。
22.如权利要求20所述的电子装置，其中，应用处理器被配置为通过使用存储在存储装置中的第一图像数据的时间戳和第二图像数据的时间戳的至少一部分来产生合成的图像。
23.如权利要求20所述的电子装置，其中，
应用处理器被配置为设置与从第一图像传感器提供的第一图像数据相应的时间戳；以及
图像处理处理器被配置为设置与从布置在电子装置外部的第二图像传感器提供的第二图像数据相应的时间戳。
24.如权利要求20所述的电子装置，其中，图像处理处理器被配置为将第二图像数据转换成在显示器上显示的格式。
25.一种电子装置，包括：
第一图像传感器，被配置为产生第一图像数据；
第二图像传感器，被配置为产生第二图像数据；
至少一个处理器，被配置为处理第一图像数据和第二图像数据中的至少一个；和
存储装置，被配置为存储关于第一图像数据和第二图像数据的时间戳，
其中，所述电子装置被配置为比较图像数据的时间戳。
26.如权利要求25所述的电子装置，其中，所述至少一个处理器包括：
应用处理器，被配置为处理从第一图像传感器接收的第一图像数据；和
图像处理处理器，被配置为处理从第二图像传感器接收的第二图像数据并且被布置在应用处理器的外部。
27.如权利要求26所述的电子装置，其中，应用处理器包括内部图像处理处理器。
28.如权利要求26所述的电子装置，其中，应用处理器被配置为通过比较图像数据的时间戳经由使用第一图像数据和第二图像数据的至少一部分来产生合成的图像。
29.如权利要求26所述的电子装置，其中，
应用处理器被配置为设置与从第一图像传感器提供的第一图像数据相应的时间戳；以及
图像处理处理器被配置为设置与从第二图像传感器提供的第二图像数据相应的时间戳。
30.如权利要求26所述的电子装置，还包括：显示器，被配置为显示由所述至少一个处理器处理的第一图像数据和第二图像数据中的至少一个图像数据，
其中，所述显示器被配置为根据图像数据的时间戳的比较结果显示至少一个图像数据；以及
图像处理处理器被配置为将第二图像数据转换成在显示器上显示的格式。
31.一种电子装置的操作方法，所述方法包括：
通过使用多个图像传感器来产生多个图像数据；
设置与所述多个图像数据中的每一个图像数据相应的时间戳；以及
基于时间戳在显示器上显示至少一个图像数据。
32.如权利要求31所述的方法，其中，产生图像数据的步骤包括：通过使用经由有线接口或无线接口安装在电子装置上或连接到电子装置的多个图像传感器来产生多个图像数据。
33.如权利要求31所述的方法，还包括：将设置有时间戳的多个图像数据存储在至少一个存储器上。
34.如权利要求33所述的方法，其中，存储多个图像数据的步骤包括：
将使用第一图像传感器产生的至少一个第一图像数据存储在第一存储器中；以及
将使用第二图像传感器产生的至少一个第二图像数据存储在第二存储器中，
其中，第二存储器在逻辑上或在物理上与第一存储器分开。
35.如权利要求34所述的方法，其中，在显示器上显示所述至少一个图像数据的步骤包括：
当第二图像数据的大小大于第一图像数据的大小时，从存储在第一存储器中的至少一个第一图像数据之中选择时间戳早于捕捉事件发生时间的第一图像数据；
从存储在第二存储器中的至少一个第二图像数据之中选择时间戳最接近捕捉事件发生时间的第二图像数据；以及
在显示器上显示选择的第一图像数据和第二图像数据的至少一部分。
36.如权利要求34所述的方法，其中，当第二图像数据的大小大于第一图像数据的大小时，将存储在第二存储器中的至少一个第二图像数据之中的时间戳最接近捕捉事件发生时间的第二图像数据存储在第一存储器中。
37.如权利要求36所述的方法，其中，在显示器上显示所述至少一个图像数据的步骤包括：
在存储在第一存储器中的至少一个第一图像数据之中选择最接近将选择的第二图像数据存储在第一存储器中的时间的第一图像数据；以及
显示存储在第一存储器中的第二图像数据和选择的第一图像数据的至少一部分。
38.一种电子装置的操作方法，所述方法包括：
通过使用第一图像传感器和第二图像传感器来产生第一图像数据和第二图像数据；以及
通过使用应用处理器来处理第一图像数据并且通过使用图像处理处理器来处理第二图像数据，
其中，处理第二图像数据的步骤包括将第二图像数据转换成在显示器上显示的格式。
39.如权利要求38所述的方法，还包括：在显示器上显示由应用处理器处理的第一图像数据和由图像处理处理器处理的第二图像数据中的至少一个图像数据。
40.如权利要求38所述的方法，还包括：
将由应用处理器处理的第一图像数据存储在第一存储器中；以及
将由图像处理处理器处理的第二图像数据存储在第二存储器中，
其中，所述第一存储器在逻辑上或在物理上与第二存储器分开。
41.如权利要求38所述的方法，其中，处理图像数据的步骤包括：
通过使用应用处理器来设置与第一图像数据相应的时间戳；以及
通过使用图像处理处理器来设置与第二图像数据相应的时间戳。
42.如权利要求41所述的方法，还包括：通过使用第一图像数据的时间戳和第二图像数据的时间戳的至少一部分来产生合成的图像。
43.一种电子装置的操作方法，所述方法包括：
存储包括添加的第一时间戳的第一图像数据和包括添加的第二时间戳的第二图像数据；以及
基于时间戳在显示器上显示至少一个图像数据。
44.如权利要求43所述的方法，其中，存储数据的步骤包括：
将第一图像数据存储在第一存储器中；以及
将第二图像数据存储在第二存储器中，
其中，第二存储器在逻辑上或在物理上与第一存储器分开。
45.如权利要求44所述的方法，其中，在显示器上显示所述至少一个图像数据的步骤包括：
当第二图像数据的大小大于第一图像数据的大小时，从存储在第一存储器中的至少一个第一图像数据之中选择时间戳早于捕捉事件发生时间的第一图像数据；
从存储在第二存储器中的至少一个第二图像数据之中选择时间戳最接近捕捉事件发生时间的第二图像数据；以及
在显示器上显示选择的第一图像数据和第二图像数据的至少一部分。
46.如权利要求44所述的方法，其中，当第二图像数据的大小大于第一图像数据的大小时，将存储在第二存储器中的至少一个第二图像数据之中的时间戳最接近捕捉事件发生时间的第二图像数据存储在第二存储器中。
47.如权利要求46所述的方法，其中，在显示器上显示所述至少一个图像数据的步骤包括：
在存储在第一存储器中的至少一个第一图像数据之中选择具有最接近将选择的第二图像数据存储在第一存储器中的时间的时间的第一图像数据；以及
显示存储在第一存储器中的第二图像数据和选择的第一图像数据的至少一部分。
48.一种电子装置的操作方法，所述方法包括：
通过使用第一图像传感器和第二图像传感器来产生第一图像数据和第二图像数据；
存储包括添加的第一时间戳的第一图像数据和包括添加的第二时间戳的第二图像数据；以及
基于时间戳在显示器上显示至少一个图像数据。
49.如权利要求48所述的方法，其中，存储数据的步骤包括：
将第一图像数据存储在第一存储器中；以及
将第二图像数据存储在第二存储器中，
其中，第二存储器在逻辑上或在物理上与第一存储器分开。
50.如权利要求49所述的方法，其中，在显示器上显示所述至少一个图像数据的步骤包括：
当第二图像数据的大小大于第一图像数据的大小时，从存储在第一存储器中的至少一个第一图像数据之中选择时间戳早于捕捉事件发生时间的第一图像数据；
从存储在第二存储器中的至少一个第二图像数据之中选择时间戳最接近捕捉事件发生时间的第二图像数据；以及
在显示器上显示选择的第一图像数据和第二图像数据的至少一部分。
51.如权利要求49所述的方法，其中，当第二图像数据的大小大于第一图像数据的大小时，将存储在第二存储器中的至少一个第二图像数据之中的时间戳最接近捕捉事件发生时间的第二图像数据存储在第一存储器中。
52.如权利要求51所述的方法，其中，在显示器上显示所述至少一个图像数据的步骤包括：
在存储在第一存储器中的至少一个第一图像数据之中选择最接近将选择的第二图像数据存储在第一存储器中的时间的第一图像数据；以及
显示存储在第一存储器中的第二图像数据和选择的第一图像数据的至少一部分。
CN201410093497.6A 2013-03-13 2014-03-13 用于处理图像的电子装置和方法 Expired - Fee Related CN104052934B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361780619P 2013-03-13 2013-03-13
US61/780,619 2013-03-13
KR10-2013-0139907 2013-11-18
KR1020130139907A KR102186383B1 (ko) 2013-03-13 2013-11-18 이미지를 처리하는 전자장치 및 방법

Publications (2)

Publication Number Publication Date
CN104052934A true CN104052934A (zh) 2014-09-17
CN104052934B CN104052934B (zh) 2017-07-28

Family

ID=50287895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410093497.6A Expired - Fee Related CN104052934B (zh) 2013-03-13 2014-03-13 用于处理图像的电子装置和方法

Country Status (6)

Country Link
US (1) US9363433B2 (zh)
EP (1) EP2779622A1 (zh)
JP (1) JP6134281B2 (zh)
CN (1) CN104052934B (zh)
AU (1) AU2014201517A1 (zh)
WO (1) WO2014142557A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554505A (zh) * 2014-10-22 2016-05-04 三星电子株式会社 应用处理器及其方法以及包括该应用处理器的系统
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元
CN110268396A (zh) * 2017-03-07 2019-09-20 欧姆龙株式会社 传感器的元数据生成装置、传感器的元数据生成系统、传感器的元数据生成方法以及传感器的元数据生成程序
CN111221762A (zh) * 2020-02-25 2020-06-02 深圳市春盛海科技有限公司 图像控制器及图像系统
CN112261296A (zh) * 2020-10-22 2021-01-22 Oppo广东移动通信有限公司 一种图像增强方法、图像增强装置及移动终端

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160982A (ja) 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
GB2520319A (en) * 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
KR102433293B1 (ko) * 2015-12-24 2022-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP6673459B2 (ja) * 2016-02-24 2020-03-25 株式会社リコー 画像処理装置、画像処理システム及びプログラム
CN110113532A (zh) * 2019-05-08 2019-08-09 努比亚技术有限公司 一种拍摄控制方法、终端及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187227A1 (en) * 2005-01-31 2006-08-24 Jung Edward K Storage aspects for imaging device
CN101355653A (zh) * 2007-07-24 2009-01-28 三星电子株式会社 图像数据显示方法及其移动终端
CN102271223A (zh) * 2011-01-17 2011-12-07 深圳市保千里电子有限公司 大屏幕显示器及其实现方法
WO2012064672A1 (en) * 2010-11-12 2012-05-18 Qualcomm Incorporated Parallel image processing using multiple processors

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US7511764B2 (en) * 2002-07-24 2009-03-31 Alan Neal Cooper Digital camera synchronization
US7337344B2 (en) * 2003-01-31 2008-02-26 Point Grey Research Inc. Methods and apparatus for synchronizing devices on different serial data buses
US20080061191A1 (en) 2003-05-06 2008-03-13 Gochnour Gary R Multi-functional high energy plasma aircraft and nuclear fusion system to produce energy from a controlled nuclear fusion reaction
US20130010138A1 (en) * 2003-06-26 2013-01-10 Petronel Bigioi Digital Camera with an Image Processor
US7511737B2 (en) * 2004-06-30 2009-03-31 Scenera Technologies, Llc Synchronized multi-perspective pictures
US7725837B2 (en) * 2005-03-31 2010-05-25 Microsoft Corporation Digital image browser
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
KR100824016B1 (ko) 2006-07-14 2008-04-21 엠텍비젼 주식회사 비동기 양안 카메라에서 생성되는 출력 데이터의 동기화를수행하는 시스템, 방법 및 기록 매체
JP4120690B2 (ja) * 2006-11-06 2008-07-16 ソニー株式会社 静止画撮像装置及び静止が撮像装置における静止画像撮像方法
JP2008152692A (ja) * 2006-12-20 2008-07-03 Fuji Xerox Co Ltd 画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
JP4914378B2 (ja) 2008-01-22 2012-04-11 キヤノン株式会社 情報処理装置及び方法、プログラム、記憶媒体
KR100928660B1 (ko) 2008-01-29 2009-11-27 엠텍비젼 주식회사 이미지 평가 정보를 제공하는 이미지 처리 장치 및 방법
JP2010021935A (ja) * 2008-07-14 2010-01-28 Sharp Corp 携帯端末装置
JP5385028B2 (ja) * 2009-07-06 2014-01-08 オリンパス株式会社 顕微鏡装置
EP2343845A3 (en) * 2009-12-31 2011-10-19 Thomson Licensing Precise compensation of video propagation duration
JP2011217121A (ja) 2010-03-31 2011-10-27 Ntt Docomo Inc 携帯端末
KR20110133699A (ko) * 2010-06-07 2011-12-14 삼성전자주식회사 휴대용 단말기의 이미지 획득 장치 및 방법
CN102469243B (zh) 2010-11-04 2014-12-17 卡西欧计算机株式会社 能白平衡调整的摄像装置
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
US9900577B2 (en) * 2011-08-10 2018-02-20 Electronics And Telecommunications Research Institute Apparatus and method for providing content for synchronizing left/right streams in fixed/mobile convergence 3DTV, and apparatus and method for playing content
US9277101B2 (en) * 2011-12-22 2016-03-01 Verizon Patent And Licensing Inc. Method and system for generating interpolations of captured video content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187227A1 (en) * 2005-01-31 2006-08-24 Jung Edward K Storage aspects for imaging device
CN101355653A (zh) * 2007-07-24 2009-01-28 三星电子株式会社 图像数据显示方法及其移动终端
WO2012064672A1 (en) * 2010-11-12 2012-05-18 Qualcomm Incorporated Parallel image processing using multiple processors
CN102271223A (zh) * 2011-01-17 2011-12-07 深圳市保千里电子有限公司 大屏幕显示器及其实现方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554505A (zh) * 2014-10-22 2016-05-04 三星电子株式会社 应用处理器及其方法以及包括该应用处理器的系统
CN105554505B (zh) * 2014-10-22 2020-06-12 三星电子株式会社 应用处理器及其方法以及包括该应用处理器的系统
CN110268396A (zh) * 2017-03-07 2019-09-20 欧姆龙株式会社 传感器的元数据生成装置、传感器的元数据生成系统、传感器的元数据生成方法以及传感器的元数据生成程序
CN110268396B (zh) * 2017-03-07 2023-08-29 欧姆龙株式会社 传感器的元数据生成装置、传感器的元数据生成系统、传感器的元数据生成方法以及传感器的元数据生成程序
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元
CN111221762A (zh) * 2020-02-25 2020-06-02 深圳市春盛海科技有限公司 图像控制器及图像系统
CN111221762B (zh) * 2020-02-25 2021-05-25 深圳市春盛海科技有限公司 图像控制器及图像系统
CN112261296A (zh) * 2020-10-22 2021-01-22 Oppo广东移动通信有限公司 一种图像增强方法、图像增强装置及移动终端

Also Published As

Publication number Publication date
CN104052934B (zh) 2017-07-28
US20140267816A1 (en) 2014-09-18
AU2014201517A1 (en) 2014-10-02
US9363433B2 (en) 2016-06-07
EP2779622A1 (en) 2014-09-17
WO2014142557A1 (en) 2014-09-18
JP2014179083A (ja) 2014-09-25
JP6134281B2 (ja) 2017-05-24

Similar Documents

Publication Publication Date Title
CN104052934A (zh) 用于处理图像的电子装置和方法
KR102221023B1 (ko) 이미지를 처리하는 전자장치 및 방법
US10348971B2 (en) Electronic device and method for generating thumbnails based on captured images
EP4040277A1 (en) Method for displaying multiple windows, and electronic device and system
KR102122476B1 (ko) 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법
US10025451B2 (en) Method and electronic device for managing screen
US20150310583A1 (en) Systems and methods for animating a view of a composite image
EP2844007B1 (en) Method for transmitting contents and electronic device thereof
US20150103222A1 (en) Method for adjusting preview area and electronic device thereof
KR20150027934A (ko) 다각도에서 촬영된 영상을 수신하여 파일을 생성하는 전자 장치 및 방법
CN101872601B (zh) 延伸显示系统及方法
KR20140112371A (ko) 이미지를 처리하는 전자장치 및 방법
AU2015255216B9 (en) Electronic device and method for processing image
CN110996013B (zh) 电子装置和处理图像的方法
US20240236227A9 (en) Information display method and electronic device
US20240137438A1 (en) Information display method and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170728

CF01 Termination of patent right due to non-payment of annual fee