CN111953897B - 一种快速拍摄图像的方法和装置 - Google Patents

一种快速拍摄图像的方法和装置 Download PDF

Info

Publication number
CN111953897B
CN111953897B CN202010736124.1A CN202010736124A CN111953897B CN 111953897 B CN111953897 B CN 111953897B CN 202010736124 A CN202010736124 A CN 202010736124A CN 111953897 B CN111953897 B CN 111953897B
Authority
CN
China
Prior art keywords
image
processing unit
control
image acquisition
application processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010736124.1A
Other languages
English (en)
Other versions
CN111953897A (zh
Inventor
张圣钦
林新泉
韩江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202010736124.1A priority Critical patent/CN111953897B/zh
Publication of CN111953897A publication Critical patent/CN111953897A/zh
Application granted granted Critical
Publication of CN111953897B publication Critical patent/CN111953897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals

Abstract

本发明提供了一种快速拍摄图像的方法和装置,通过设置一图像处理单元,其与应用处理单元通过第一数据线和第一控制线连接,与图像采集单元通过第二数据线和第二控制线连接。由于图像采集单元除了可以对图像采集单元进行控制之外,还可以对图像进行一定的预处理,因而有效减轻了AP的负担。本发明相较于AP与摄像头连接的架构而言,有效提高了由于硬件初始化带来的传输的图像与控制的命令不对应、图像采集时间长、采集的图像与发出指令的时间戳不对应、影响用户体验的问题。

Description

一种快速拍摄图像的方法和装置
本申请是分案申请,原申请的申请号为201710312693.1,申请名称为“一种快速显示最初帧图像、快速拍摄图像的方法和装置”,申请日为2017年5 月5日。
技术领域
本发明涉及图像采集处理领域,特别涉及一种快速拍摄图像的方法和装置。
背景技术
目前,摄像头在采集图像数据时,采集指令的发起、采集参数的设定以及对采集到的图像的后续处理都是通过AP(application process)来完成,AP与摄像头通过数据线和控制线直接连接,单向控制,串行操作。以显示最初帧为例,AP首先要对摄像头进行初始化,再获取需要显示图像的窗口大小,再配置输出图像大小,接着再出初始化AP自身的ISP(image signal process),需要等待ISP初始化完成后,才能正常接收camera输出的数据。由于所有的操作都需要通过AP发起,不仅降低了图像采集处理的效率,降低了系统性能能,还延长了最初帧图像的显示时间,给用户带来不良感官体验。再比如以拍摄图像为例,用户点击拍摄按钮时,AP由于还是要执行一系列初始化硬件等操作,最终所获取得到的图像往往是点击拍摄按钮的那一时间点的后几帧图像,容易给用户带来不良的感官体验。
发明内容
为此,需要提供一种快速拍摄图像的技术方案,用以解决智能设备在快速显示最初帧图像以及快速拍摄图像时,由于所有操作都需要通过AP来完成,导致最初帧图像显示慢、捕捉到图像不及时、系统性能下降以及导致给用户带来不良等问题。
发明人提供了一种快速显示最初帧图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;
图像处理单元通过第一控制线和第一数据线与应用处理单元相连;
图像处理单元通过第二控制线和第二数据线与图像采集单元相连;
所述应用处理单元用于将获取的图像配置信息通过第一控制线发送至图像处理单元,并根据图像配置信息来配置其控制的ISP硬件;
所述图像处理单元根据收到的图像配置信息,在应用处理单元配置其控制的ISP硬件时,通过第二控制线并行配置图像采集单元;
所述应用处理单元通过第一控制线发送第一控制指令给图像处理单元;
所述图像处理单元根据第一控制指令,通过第二控制线发送第二控制指令给图像采集单元;
所述图像采集单元根据第二控制指令采集最初帧图像,并通过第二数据线将最初帧图像发送给图像处理单元;
所述图像处理单元将接收到的最初帧图像通过第一数据线发送给应用处理单元,以便应用处理单元利用其ISP硬件显示最初帧图像。
进一步地,所述应用处理单元用于将获取的初始化指令通过第一控制线发送至图像处理单元,并根据该初始化指令来初始化其控制的ISP硬件;
所述图像处理单元根据收到的初始化指令,在应用处理单元初始化其控制的ISP硬件时,通过第二控制线并行初始化图像采集单元。
进一步地,所述应用处理单元通过第三控制线与图像采集单元相连;应用处理单元用于根据所获取的图像配置信息,并通过第三控制线来配置图像采集单元。
进一步地,所述“图像处理单元通过第二控制线并行配置图像采集单元”包括:图像处理单元将从应用处理单元接收到的图像配置信息发送至图像采集单元,并控制图像采集单元根据图像配置信息完成配置。
进一步地,所述图像配置信息包括最初帧图像的大小。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,第一控制指令和第二控制指令相同。
进一步地,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;
所述存储模块用于存储图像采集控制插件;
所述主控模块用于通过第一数据线发送图像采集控制插件至图像处理单元;
所述缓存模块用于缓存图像采集控制插件;
所述数字信号处理器用于通过第一数据线接收图像采集控制插件,并将图像采集控制插件存储于缓存模块中,并用于在应用处理单元配置其控制的 ISP硬件时,获取缓存模块中的图像采集控制插件并执行,以并行配置图像采集单元。
发明人还提供了一种快速显示最初帧图像的方法,所述方法应用于快速显示最初帧图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;图像处理单元通过第一控制线和第一数据线与应用处理单元相连;图像处理单元通过第二控制线和第二数据线与图像采集单元相连;所述方法包括以下步骤:
应用处理单元将获取的图像配置信息通过第一控制线发送至图像处理单元,并根据图像配置信息来配置其控制的ISP硬件;
图像处理单元根据收到的图像配置信息,在应用处理单元配置其控制的 ISP硬件时,通过第二控制线并行配置图像采集单元;
应用处理单元通过第一控制线发送第一控制指令给图像处理单元;
图像处理单元根据第一控制指令,通过第二控制线发送第二控制指令给图像采集单元;
图像采集单元根据第二控制指令采集最初帧图像,并通过第二数据线将最初帧图像发送给图像处理单元;
图像处理单元将接收到的最初帧图像通过第一数据线发送给应用处理单元,以便应用处理单元利用其ISP硬件显示最初帧图像。
进一步地,所述方法包括:
应用处理单元将获取的初始化指令通过第一控制线发送至图像处理单元,并根据该初始化指令来初始化其控制的ISP硬件;
图像处理单元根据收到的初始化指令,在应用处理单元初始化其控制的 ISP硬件时,通过第二控制线并行初始化图像采集单元。
进一步地,所述应用处理单元通过第三控制线与图像采集单元相连;所述方法包括:
应用处理单元根据所获取的图像配置信息,并通过第三控制线来配置图像采集单元。
进一步地,所述“图像处理单元通过第二控制线并行配置图像采集单元”包括:图像处理单元将从应用处理单元接收到的图像配置信息发送至图像采集单元,并控制图像采集单元根据图像配置信息完成配置。
进一步地,所述图像配置信息包括最初帧图像的大小。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,第一控制指令和第二控制指令相同。
进一步地,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;所述方法包括以下步骤:
存储模块存储图像采集控制插件;
主控模块通过第一数据线发送图像采集控制插件至图像处理单元;
缓存模块缓存图像采集控制插件;
数字信号处理器通过第一数据线接收图像采集控制插件,并将图像采集控制插件存储于缓存模块中,并在应用处理单元配置其控制的ISP硬件时,获取缓存模块中的图像采集控制插件并执行,以并行配置图像采集单元。
发明人还提供了一种快速拍摄图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;所述图像处理单元包括缓存模块;
图像处理单元通过第一控制线和第一数据线与应用处理单元相连;
图像处理单元通过第二控制线和第二数据线与图像采集单元相连;
所述图像采集单元用于接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;
所述图像处理单元用于通过第二数据线从图像采集接收多帧图像,并将其缓存于缓存模块中;
所述图像处理单元还用于接收应用处理单元通过第一控制线发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线将第一图像发送至应用处理单元。
进一步地,所述应用处理单元用于配置ISP硬件,接收并显示第一图像。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,第一控制指令和第二控制指令相同。
发明人提供了一种快速拍摄图像的方法,所述方法应用于快速拍摄图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;所述图像处理单元包括缓存模块;
图像处理单元通过第一控制线和第一数据线与应用处理单元相连;
图像处理单元通过第二控制线和第二数据线与图像采集单元相连;
所述方法包括以下步骤:
图像采集单元接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;
图像处理单元通过第二数据线从图像采集接收多帧图像,并将其缓存于缓存模块中;
图像处理单元接收应用处理单元通过第一控制线发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线将第一图像发送至应用处理单元。
进一步地,所述方法还包括:应用处理单元配置ISP硬件,接收并显示第一图像。
进一步地,图像处理单元用于根据第一控制指令生成第二控制指令。
进一步地,第一控制指令和第二控制指令相同。
上述技术方案所述的快速显示最初帧图像方法和装置,所述方法包括以下步骤:首先应用处理单元将获取的图像配置信息通过第一控制线发送至图像处理单元,并根据图像配置信息来配置其控制的ISP硬件;而后图像处理单元根据收到的图像配置信息,在应用处理单元配置其控制的ISP硬件时,通过第二控制线并行配置图像采集单元;而后应用处理单元通过第一控制线发送第一控制指令给图像处理单元;而后图像处理单元根据第一控制指令,通过第二控制线发送第二控制指令给图像采集单元;而后图像采集单元根据第二控制指令采集最初帧图像,并通过第二数据线将最初帧图像发送给图像处理单元;而后图像处理单元将接收到的最初帧图像通过第一数据线发送给应用处理单元,以便应用处理单元利用其ISP硬件显示最初帧图像。由于对图像采集单元的配置通过图像处理单元来进行处理,应用处理单元可以在这个时间点预先配置好ISP硬件,当其接收到最初帧图像后即可进行显示,使得最初帧图像显示并行化,相较于AP与摄像头连接的架构而言,有效减轻了应用处理单元在进行最初帧图像显示时的负担,可以快速显示接收到的最初帧图像,提高了系统性能和用户的感官体验。
同理,上述技术方案所述的快速拍摄图像方法和装置,所述方法包括以下步骤:首先图像采集单元接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;而后图像处理单元通过第二数据线从图像采集接收多帧图像,并将其缓存于缓存模块中;而后图像处理单元接收应用处理单元通过第一控制线发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线将第一图像发送至应用处理单元。由于图像采集单元所采集的图像先缓存在图像处理单元的缓存模块中,当图像处理单元接收到第一控制命令时,就可以从缓存模块中调取该控制命令的时间戳对应的第一图像,相较于AP与摄像头连接的架构而言,有效提高了由于硬件初始化带来的传输的图像与控制的命令不对应、进而影响用户体验的问题。
附图说明
图1为本发明一实施方式涉及的快速显示最初帧图像的装置的示意图;
图2为本发明一实施方式涉及的快速显示最初帧图像的方法的流程图;
图3为本发明另一实施方式涉及的快速显示最初帧图像的方法的流程图;
图4为本发明一实施方式涉及的快速拍摄图像的装置的示意图;
图5为本发明一实施方式涉及的快速拍摄图像的方法的流程图;
附图标记说明:
110、智能电子设备;
120、图像采集单元;120、摄像头;
130、图像处理单元;131、数字信号处理器;133、缓存模块;
140、应用处理单元;143、主控模块;145、存储模块;
160、图像采集装置;
151、第一控制线;152、第二控制线;153、第三控制线;
171、第一数据线;172、第二数据线;173、插件线;
150、快速拍摄图像的装置;
401、第一控制线;402、第二控制线;403、第三控制线;
451、第一数据线;452、第二数据线;453、插件线。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,为本发明一实施方式涉及的快速显示最初帧图像的装置的示意图。所述装置可以为智能电子设备110,包括智能手机、平板电脑、游戏机等任何具有拍照或摄像功能的电子设备。所述装置包括图像采集单元120、图像处理单元130、和应用处理单元140等各种硬件模块和电子元件。其中,图像采集单元120为具有采集图像/视频功能的电子元件,如照相头或摄像头。图像处理单元130可以接收外部控制指令,并根据外部控制指令来控制图像采集单元120,比如初始化摄像头的硬件,收集或设置图像采集参数,调整内部光学元件,以及获取图像/视频。
在一些实施例中,图像处理单元130为能够控制图像采集单元120,并处理控制指令和图像/视频数据的电子元件。具体来说,图像处理单元130有指令处理功能和数据处理功能。“指令处理功能”指处理用于控制图像采集单元 120的控制指令,或者生成能够控制图像采集单元120的控制指令的能力;而“数据处理功能”指处理图像采集单元120生成的数据,或者生成与图像采集单元120生成的数据相关的数据的能力。应用处理单元140为能够控制图像采集单元120以及图像处理单元130的电子元件。应用处理单元140可为应用处理器(Application Processor,简称AP)、中央处理器(Central Processing Unit,简称CPU)、或者系统芯片(System on Chip,简称SoC)。在以下描述中,图像采集单元120简称为摄像头120,应用处理单元140简称为AP 140。
在一些实施例中,所述图像处理单元130包括数字信号处理器131和缓存模块133。所述数字信号处理器131可为任何有数字信息处理功能的硬件模块,比如Digital SignalProcessor(简称DSP)。所述缓存模块133是为图像处理单元130提供各种数据存储的硬件存储模块(比如flash、RAM、ROM、Cache等)。所述AP 140包括主控模块143和存储模块145,所述主控模块 143可为任何具有计算处理能力的硬件模块(比如CPU、DSP等)。在一些实施例中,所述存储模块145是为AP 140提供各种数据存储的功能的硬件存储模块。所述AP140还包括ISP(image signal process)硬件模块,用于处理从摄像头120采集并输出的,可在智能电子设备110的显示屏上展示的图像信号。
在一些实施例中,图像处理单元130通过第一控制线151和第一数据线 171与AP140相连;图像处理单元130通过第二控制线152和第二数据线172 与摄像头120相连;AP140还可通过插件线173与图像处理单元130相连。“控制线”、“数据线”、或“插件线”为用于传送电子信息的电子连线。“控制线”指用于传送一个或多个用于控制摄像头120的控制指令的电子连线;“数据线”指用于传送一组或多组与摄像头120相关的数据的电子连线;而“插件线”指用于传送一组或多组插件的电子连线。
根据不同的需求,电子连线可以设计为单向或双向传输。在单向传输时,电子连线的一端连接一个处理单元的“发送接口”,另一端连接另外一个处理单元的“接收接口”。电子信息从一个处理单元的发送接口传送到电子连线的一端,再通过电子连线传送到与其另一端相连的另一个电子单元的接收接口。在双向传输时,根据电子信息的传送方向,与电子连线接收电子信息的一端相连的可视为发送接口,与电子连线发送电子信息的一端相连的可视为接收接口。在另外一些实施例中,多根电子连线可以组成一个控制线、数据线、或插件线,多根控制线、数据线、和插件线也可以共用同一根电子连线,一根电子连线也可以在一个时间段用作控制线,在另外一个时间段用作数据线或者插件线。附图中的数据线、控制线、或插件线用箭头来标识其信息传输的方向。
在本实施方式中,所述应用处理单元140用于将获取的图像配置信息通过第一控制线发送至图像处理单元130的同时,并根据图像配置信息来配置其控制的ISP硬件。当智能电子设备110需要用摄像头120采集最初帧图像,并通过AP140来处理并显示该采集的最初帧图像前,都需要对摄像头120和 AP140(特别是其控制的ISP硬件)进行预先配置。在配置完成后,智能电子设备110再发送控制指令,要求摄像头120采集最初帧以及后续帧图像,以便 AP140处理并显示这些采集的图像。
图像配置信息中包含了可控制摄像头120进行采集图像的采集参数。在本实施方式中,所述图像配置信息包括需要采集的最初帧图像的大小和分辨率;以及采集最初帧图像时,用于配置摄像头120的光圈、快门、白平衡、 ISO等配置信息。摄像头120采集图像时是一帧一帧进行的,最初帧图像即摄像头120在配置完成后采集的最初的第一帧。最初帧图像也可以是AP140从摄像头120采集的最初的几帧中最先采用或者显示的那一帧图像。AP 140获取图像配置信息可以通过以下方式获得:从智能电子设备110的显示器获得 (根据显示屏的大小、分辨率等确定图像的采集参数)、从智能电子设备110 系统获得(系统预设摄像头的采集参数)、从与智能电子设备110连接/沟通的外部设备传输获得(通过外部设备导入图像的采集参数)。
AP140获取的图像配置信息同样可以用来配置其控制的ISP硬件。通过配置,AP140的ISP硬件可以适应不同型号的摄像头120,进而让AP140来处理或显示摄像头120所采集的各种图像。因此,AP140在通过第一控制线将图像配置信息发送至图像处理单元130的同时(或者之后),可以利用图像配置信息来配置其控制的ISP硬件。所述图像处理单元130根据收到的图像配置信息,在应用处理单元AP140配置其控制的ISP硬件的同时,通过第二控制线并行地配置图像采集单元130。因此,“AP140配置其ISP硬件”和“图像处理单元130配置摄像头120”是并行处理的两个流程(Parallel Processing)。并行处理两个流程可以让配置摄像头120和配置AP140的ISP硬件的流程可以同时/或者几乎同时进行,而不必互相等待对方的完成后再进行。
所述应用处理单元140通过第一控制线发送第一控制指令给图像处理单元。所述图像处理单元130根据第一控制指令,通过第二控制线发送第二控制指令给图像采集单元120。所述图像采集单元120根据第二控制指令采集最初帧图像,并通过第二数据线将最初帧图像发送给图像处理单元130。在本实施方式中,第一控制指令包括采集图像指令。
所述图像处理单元130将接收到的最初帧图像通过第一数据线发送给应用处理单元140,以便应用处理单元140利用其ISP硬件处理并显示最初帧图像。由于对摄像头120的配置以及采集图像的控制通过图像处理单元130 来进行处理,AP140可以在这个时间点预先配置好ISP硬件,当其接收到最初帧图像后即可进行显示,使得最初帧图像显示并行化,相较于AP与摄像头连接的架构而言,有效减轻了AP140在进行最初帧图像显示时的负担,可以快速显示接收到的最初帧图像,提高了系统性能和用户的感官体验。
在本实施方式中,所述应用处理单元140用于将获取的初始化指令通过第一控制线发送至图像处理单元130,并根据该初始化指令来初始化其控制的 ISP硬件;所述图像处理单元130根据收到的初始化指令,在应用处理单元 140初始化指令其控制的ISP硬件时,通过第二控制线并行初始化图像采集单元120。所述初始化指令为开启摄像头120的指令,可以通过直接开启摄像头设备触发,也可以通过开启具有摄像头的智能电子设备触发(如手机开机指令等)。
应用处理单元140将第一控制指令发送给摄像头120后,图像处理单元 130再通过第二控制线152将第二控制指令发送给摄像头120。优选的,图像处理单元130根据第一控制指令生成第二控制指令。例如现在需要摄像头120 按照AP140发送的第一控制指令所包含的采集参数进行采集多个图像,并需要对采集后的多个图像进行合并处理,如果按照摄像头120与AP140直接相连的架构,采集完成后的图像仍需要在AP140进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元130在接收到第一控制指令后,将生成第二控制指令控制摄像头120的采集参数,并直至多张图像全部获取完成后,再由图像处理单元130发送给AP140,从而有效减轻了AP140的负担,提高了系统性能。
在另一些实施方式中,AP140通过第三控制线153与摄像头120相连;当AP140在获取到图像配置信息后,还通过第三控制线153直接对摄像头120 进行配置。第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为用于控制摄像头120的采集参数设置指令,则摄像头120的采集参数既可以由AP140发送第一控制指令进行控制,也可以由图像处理单元130 发送第二控制指令进行控制。这样,即使在图像处理单元130发生损坏的情况下,AP140仍然可以通过第三控制线153直接对摄像头120进行控制,从而提高了智能电子设备整体的系统性能。
如图1,所述图像处理单元130包括数字信号处理器131和缓存模块133;所述AP140包括主控模块143和存储模块145,所述主控模块143和存储模块145连接;
所述存储模块145用于存储“图像采集控制插件”;
所述主控模块143用于通过第一数据线发送图像采集控制插件至图像处理单元;
所述缓存模块133用于缓存图像采集控制插件;
所述数字信号处理器131用于通过第一数据线接收图像采集控制插件,并将图像采集控制插件存储于缓存模块中,并用于在应用处理单元配置其控制的ISP硬件时,获取缓存模块中的图像采集控制插件并执行,以并行配置图像采集单元。
简言之,图像采集控制插件事先存储于AP140的存储模块145中。当需要显示最初帧图像时,AP140的主控模块143会将图像采集控制插件发送给图像处理单元130。数字信号处理器131会将所接收的像采集控制插件存储于缓存模块133中以便调用。“图像采集控制插件”为具有对图像处理单元130 进行控制功能的插件程序。当数字信号处理器131运行图像采集控制插件后,将配置摄像头120的采集参数,使得摄像头120依据上述采集参数来采集图像,从而实现对摄像头120的有效控制。由于图像采集控制插件是在AP140 需要接收最初帧图像进行显示时提供的,当图像处理单元130断电后,可以清除缓存模块133中的图像采集控制插件。相较于将图像采集控制插件固化于图像处理单元130中的智能电子设备而言,可以有效减少图像处理单元130 的硬件面积,节约硬件成本。
在本实施方式中,所述AP140还通过第三控制线153直接与摄像头120 连接。所述主控模块143还用于获取存储模块145中的图像采集控制插件并执行,以确定摄像头120的图像配置信息,并通过第三控制线153将包含有上述图像配置信息的第一控制指令发送至摄像头120。AP140的主控模块可以通过运行图像采集控制插件来对摄像头120进行直接控制,而上一个实施例中的图像采集控制插件则是由图像处理单元130来运行。这样,即使当图像处理单元130发生损坏,无法对摄像头120进行控制时,AP140也可以通过运行第二图像采集控制插件来对摄像头120进行有效控制,有效提高了系统的安全性。
请参阅图2,为本发明一实施方式涉及的快速显示最初帧图像的方法。所述方法应用于快速显示最初帧图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;图像处理单元通过第一控制线和第一数据线与应用处理单元相连;图像处理单元通过第二控制线和第二数据线与图像采集单元相连;所述方法包括以下步骤:
首先进入步骤S201应用处理单元将获取的图像配置信息通过第一控制线发送至图像处理单元,并根据图像配置信息来配置其控制的ISP硬件;
而后进入步骤S202图像处理单元根据收到的图像配置信息,在应用处理单元配置其控制的ISP硬件时,通过第二控制线并行配置图像采集单元;
而后进入步骤S203应用处理单元通过第一控制线发送第一控制指令给图像处理单元;
而后进入步骤S204图像处理单元根据第一控制指令,通过第二控制线发送第二控制指令给图像采集单元;
而后进入步骤S205图像采集单元根据第二控制指令采集最初帧图像,并通过第二数据线将最初帧图像发送给图像处理单元;
而后进入步骤S206图像处理单元将接收到的最初帧图像通过第一数据线发送给应用处理单元,以便应用处理单元利用其ISP硬件显示最初帧图像。
在本实施方式中,应用处理单元通过第三控制线与图像采集单元相连;所述方法包括:应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后,图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。这样,应用处理单元可以直接发送第一控制指令至图像采集单元,设置图像采集单元的采集参数,以使图像采集单元按照第一控制指令中所包含的图像配置信息进行采集图像。所述图像配置信息包括最初帧图像的大小。
优选的,图像处理单元根据第一控制指令生成第二控制指令。例如现在需要图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集多个图像,并需要对采集后的多个图像进行合并处理,如果按照图像采集单元与应用处理单元直接相连的架构,采集完成后的图像仍需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元在接收到第一控制指令后,将生成第二控制指令控制图像采集单元的采集参数,并直至多张图像全部获取完成后,再由图像处理单元发送给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在另一些实施方式中,第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为对图像采集单元的采集参数设置指令,则图像采集单元的采集参数既可以由应用处理单元发送第一控制指令进行控制,也可以由图像处理单元发送第二控制指令进行控制。这样,即使在图像处理单元发生损坏的情况下,应用处理单元仍然可以通过第三控制线直接对图像采集单元进行控制,从而提高了智能电子设备整体的系统性能。
如图3所示,本发明另一实施方式涉及的快速显示最初帧图像的的流程图。在本实施方式中,所述图像处理单元包括数字信号处理器和缓存模块;所述应用处理单元包括主控模块和存储模块,所述主控模块和存储模块连接;所述方法包括以下步骤:
首先进入步骤S301存储模块存储图像采集控制插件;
而后进入步骤S302主控模块通过第一数据线发送图像采集控制插件至图像处理单元;
而后进入步骤S303缓存模块缓存图像采集控制插件;
而后进入步骤S304数字信号处理器通过第一数据线接收图像采集控制插件,并将图像采集控制插件存储于缓存模块中,并在应用处理单元配置其控制的ISP硬件时,获取缓存模块中的第一图像采集控制插件并执行,以并行配置图像采集单元。
简言之,图像采集控制插件事先存储于AP140的存储模块145中。当需要显示最初帧图像时,AP140的主控模块143会将图像采集控制插件发送给图像处理单元130。数字信号处理器131会将所接收的像采集控制插件存储于缓存模块133中以便调用。“图像采集控制插件”为具有对图像处理单元130 进行控制功能的插件程序。当数字信号处理器131运行图像采集控制插件后,将配置摄像头120的采集参数,使得摄像头120依据上述采集参数来采集图像,从而实现对摄像头120的有效控制。由于图像采集控制插件是在AP140 需要接收最初帧图像进行显示时提供的,当图像处理单元130断电后,可以清除缓存模块133中的图像采集控制插件。相较于将图像采集控制插件固化于图像处理单元130中的智能电子设备而言,可以有效减少图像处理单元130 的硬件面积,节约硬件成本。
请参阅图4,发明人还提供了一种快速拍摄图像的装置150,所述装置包括图像采集单元(摄像头)120、图像处理单元130和应用处理单元(AP)140;所述图像处理单元130包括缓存模块133;
图像处理单元130通过第一控制线401和第一数据线451与AP140相连;
图像处理单元130通过第二控制线402和第二数据线103与摄像头120 相连;
所述图像采集单元120用于接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;
所述图像处理单元130用于通过第二数据线452从摄像头120接收多帧图像,并将其缓存于缓存模块133中;
所述图像处理单元130还用于接收AP140通过第一控制线401发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线451将第一图像发送至AP140;
所述AP140用于配置ISP硬件,接收并显示第一图像。
由于摄像头120所采集的图像先缓存在图像处理单元130的缓存模块133 中,当图像处理单元130接收到第一控制命令时,就可以从缓存模块133中调取该第一控制命令的时间戳对应的第一图像,相较于AP与摄像头连接的架构而言,有效提高了由于硬件初始化带来的传输的图像与控制的命令不对应、进而影响用户体验的问题。
在本实施方式中,AP140通过第三控制线403与摄像头120相连;当 AP140通过第三控制线403将第一控制指令发送给摄像头120后,图像处理单元130再通过第二控制线将第二控制指令发送给摄像头120。优选的,图像处理单元根据第一控制指令生成第二控制指令。例如现在需要摄像头120按照AP140发送的第一控制指令所包含的采集参数进行采集多个图像,并需要对采集后的多个图像进行合并处理,如果按照摄像头120与AP140直接相连的架构,采集完成后的图像仍需要在AP(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元130在接收到第一控制指令后,将生成第二控制指令控制摄像头120的采集参数,并直至多张图像全部获取完成后,再由图像处理单元发送给AP140,从而有效减轻了AP140的负担,提高了系统性能。
在另一些实施方式中,第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为对摄像头120的采集参数设置指令,则摄像头120 的采集参数既可以由AP140发送第一控制指令进行控制,也可以由图像处理单元130发送第二控制指令进行控制。这样,即使在图像处理单元发生损坏的情况下,AP140仍然可以通过第三控制线直接对摄像头120进行控制,从而提高了智能电子设备整体的系统性能。
请参阅图5,为本发明一实施方式涉及的快速拍摄图像的方法的流程图,所述方法应用于快速拍摄图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;所述图像处理单元包括缓存模块;
图像处理单元通过第一控制线和第一数据线与应用处理单元相连;
图像处理单元通过第二控制线和第二数据线与图像采集单元相连;
所述方法包括以下步骤:
首先进入步骤S501图像采集单元接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;
而后进入步骤S502图像处理单元通过第二数据线从图像采集接收多帧图像,并将其缓存于缓存模块中;
而后进入步骤S503图像处理单元接收应用处理单元通过第一控制线发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线将第一图像发送至应用处理单元。
而后进入步骤S504应用处理单元配置ISP硬件,接收并显示第一图像。
由于图像采集单元所采集的图像先缓存在图像处理单元的缓存模块中,当图像处理单元接收到第一控制命令时,就可以从缓存模块中调取该控制命令的时间戳对应的第一图像,相较于AP与摄像头连接的架构而言,有效提高了由于硬件初始化带来的传输的图像与控制的命令不对应、进而影响用户体验的问题。
在本实施方式中,应用处理单元通过第三控制线与图像采集单元相连;当应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后,图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。优选的,图像处理单元根据第一控制指令生成第二控制指令。例如现在需要图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集多个图像,并需要对采集后的多个图像进行合并处理,如果按照图像采集单元与应用处理单元直接相连的架构,采集完成后的图像仍需要在应用处理单元(如AP) 进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元在接收到第一控制指令后,将生成第二控制指令控制图像采集单元的采集参数,并直至多张图像全部获取完成后,再由图像处理单元发送给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在本实施方式中,图像处理单元根据第一控制指令生成第二控制指令。例如现在需要图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集多个图像,并需要对采集后的多个图像进行合并处理,如果按照图像采集单元与应用处理单元直接相连的架构,采集完成后的图像仍需要在应用处理单元(如AP)进行合并处理,影响了图像采集处理效率。而采用本发明中的系统架构,图像处理单元在接收到第一控制指令后,将生成第二控制指令控制图像采集单元的采集参数,并直至多张图像全部获取完成后,再由图像处理单元发送给应用处理单元,从而有效减轻了应用处理单元的负担,提高了系统性能。
在另一些实施方式中,第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为对图像采集单元的采集参数设置指令,则图像采集单元的采集参数既可以由应用处理单元发送第一控制指令进行控制,也可以由图像处理单元发送第二控制指令进行控制。这样,即使在图像处理单元发生损坏的情况下,应用处理单元仍然可以通过第三控制线直接对图像采集单元进行控制,从而提高了智能电子设备整体的系统性能。
本发明提供了一种快速显示最初帧图像、快速拍摄图像方法和装置,通过设置一图像处理单元,其与应用处理单元通过第一数据线和第一控制线连接,与图像采集单元通过第二数据线和第二控制线连接。由于图像采集单元除了可以对图像采集单元进行控制之外,还可以对图像进行一定的预处理,因而有效减轻了AP的负担。本发明相较于AP与摄像头连接的架构而言,有效提高了由于硬件初始化带来的传输的图像与控制的命令不对应、图像采集时间长、采集的图像与发出指令的时间戳不对应、影响用户体验的问题。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种快速拍摄图像的装置,其特征在于,所述装置包括图像采集单元、图像处理单元和应用处理单元;所述图像处理单元包括缓存模块;
图像处理单元通过第一控制线和第一数据线与应用处理单元相连;
图像处理单元通过第二控制线和第二数据线与图像采集单元相连;
所述图像采集单元用于接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;
所述图像处理单元用于通过第二数据线从图像采集接收多帧图像,并将其缓存于缓存模块中;
所述图像处理单元还用于接收应用处理单元通过第一控制线发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线将第一图像发送至应用处理单元。
2.如权利要求1所述的快速拍摄图像的装置,其特征在于,所述应用处理单元用于配置ISP硬件,接收并显示第一图像。
3.如权利要求1所述的快速拍摄图像的装置,其特征在于,图像处理单元用于根据第一控制指令生成第二控制指令。
4.如权利要求1所述的快速拍摄图像的装置,其特征在于,第一控制指令和第二控制指令相同。
5.如权利要求1所述的快速拍摄图像的装置,其特征在于,应用处理单元通过第三控制线与图像采集单元相连;当应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后,图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。
6.一种快速拍摄图像的方法,其特征在于,所述方法应用于快速拍摄图像的装置,所述装置包括图像采集单元、图像处理单元和应用处理单元;所述图像处理单元包括缓存模块;
图像处理单元通过第一控制线和第一数据线与应用处理单元相连;
图像处理单元通过第二控制线和第二数据线与图像采集单元相连;
所述方法包括以下步骤:
图像采集单元接收用于初始化图像采集单元的第一启动指令,并根据第一启动指令连续采集多帧图像,每个多帧图像包括对应的时间戳;
图像处理单元通过第二数据线从图像采集接收多帧图像,并将其缓存于缓存模块中;
图像处理单元接收应用处理单元通过第一控制线发送的第一控制指令,根据第一控制指令的时间戳,从多帧图像中找出时间戳对应的第一图像,并通过第一数据线将第一图像发送至应用处理单元。
7.如权利要求6所述的快速拍摄图像的方法,其特征在于,所述方法还包括:应用处理单元配置ISP硬件,接收并显示第一图像。
8.如权利要求6所述的快速拍摄图像的方法,其特征在于,图像处理单元用于根据第一控制指令生成第二控制指令。
9.如权利要求8所述的快速拍摄图像的方法,其特征在于,第一控制指令和第二控制指令相同。
10.如权利要求6所述的快速拍摄图像的方法,其特征在于,所述方法还包括:应用处理单元通过第三控制线与图像采集单元相连;当应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后,图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。
CN202010736124.1A 2017-05-05 2017-05-05 一种快速拍摄图像的方法和装置 Active CN111953897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010736124.1A CN111953897B (zh) 2017-05-05 2017-05-05 一种快速拍摄图像的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710312693.1A CN108810395B (zh) 2017-05-05 2017-05-05 一种快速显示最初帧图像、快速拍摄图像的方法和装置
CN202010736124.1A CN111953897B (zh) 2017-05-05 2017-05-05 一种快速拍摄图像的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710312693.1A Division CN108810395B (zh) 2017-05-05 2017-05-05 一种快速显示最初帧图像、快速拍摄图像的方法和装置

Publications (2)

Publication Number Publication Date
CN111953897A CN111953897A (zh) 2020-11-17
CN111953897B true CN111953897B (zh) 2021-09-10

Family

ID=64054856

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010736124.1A Active CN111953897B (zh) 2017-05-05 2017-05-05 一种快速拍摄图像的方法和装置
CN201710312693.1A Active CN108810395B (zh) 2017-05-05 2017-05-05 一种快速显示最初帧图像、快速拍摄图像的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710312693.1A Active CN108810395B (zh) 2017-05-05 2017-05-05 一种快速显示最初帧图像、快速拍摄图像的方法和装置

Country Status (1)

Country Link
CN (2) CN111953897B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770052B (zh) * 2021-01-04 2022-11-22 重庆紫光华山智安科技有限公司 抓拍数据确定方法、装置、计算机设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184164A (zh) * 2006-11-13 2008-05-21 三星电子株式会社 照相装置及其初始化方法
CN204316622U (zh) * 2015-01-06 2015-05-06 上海青橙实业有限公司 图像处理装置及用户终端
CN105812553A (zh) * 2015-09-24 2016-07-27 维沃移动通信有限公司 一种快速拍照方法及移动终端
CN106231279A (zh) * 2016-07-26 2016-12-14 深圳众思科技有限公司 一种双摄像头白平衡同步方法、装置及终端
CN206042072U (zh) * 2016-07-26 2017-03-22 深圳众思科技有限公司 一种双摄像头装置及终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI300159B (en) * 2004-12-24 2008-08-21 Sony Taiwan Ltd Camera system
KR101695251B1 (ko) * 2012-05-22 2017-01-12 한화테크윈 주식회사 원격으로 카메라 fpga 배열을 변경하기 위한 시스템 및 카메라 제어 방법
CN103067574A (zh) * 2012-12-18 2013-04-24 广东欧珀移动通信有限公司 一种移动终端摄像头的启动方法
KR102015953B1 (ko) * 2014-11-28 2019-10-21 한화테크윈 주식회사 저전력 영상처리장치 및 저전력으로 영상처리장치를 구동하는 방법
CN105824658B (zh) * 2015-07-29 2017-12-26 维沃移动通信有限公司 一种电子设备的相机模块启动方法及电子设备
CN105827909B (zh) * 2016-01-25 2017-06-23 维沃移动通信有限公司 一种双摄像头快速启动方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184164A (zh) * 2006-11-13 2008-05-21 三星电子株式会社 照相装置及其初始化方法
CN204316622U (zh) * 2015-01-06 2015-05-06 上海青橙实业有限公司 图像处理装置及用户终端
CN105812553A (zh) * 2015-09-24 2016-07-27 维沃移动通信有限公司 一种快速拍照方法及移动终端
CN106231279A (zh) * 2016-07-26 2016-12-14 深圳众思科技有限公司 一种双摄像头白平衡同步方法、装置及终端
CN206042072U (zh) * 2016-07-26 2017-03-22 深圳众思科技有限公司 一种双摄像头装置及终端

Also Published As

Publication number Publication date
CN108810395B (zh) 2020-11-06
CN108810395A (zh) 2018-11-13
CN111953897A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN106781168B (zh) 监视系统
CN105578042B (zh) 一种图像数据的传输方法及终端
CN105554372B (zh) 一种拍摄方法以及装置
JP2022009355A (ja) ヘッドマウントディスプレイコンテンツの撮影および共有
CN112954212B (zh) 视频生成方法、装置及设备
CN110445977B (zh) 图像信号处理器的参数设置方法及终端设备
CN105933614B (zh) 一种拍照摄像的方法和系统
CN111953897B (zh) 一种快速拍摄图像的方法和装置
CN107872558B (zh) 一种智能电子设备、图像处理单元、图像采集装置和图像采集方法
CN203894772U (zh) 一种海量人脸发现与识别系统
CN111314395A (zh) 一种图像的传输方法及终端、存储介质
CN106357982B (zh) 影像服务装置及方法
CN112087569B (zh) 一种摄像机及摄像机启动方法、装置
CN108076253B (zh) 一种智能电子设备和图像处理单元、装置、方法
CN115103204B (zh) 一种支持ai引擎的边缘智能应用实现方法及装置
CN109121194B (zh) 用于电子设备的状态转换的方法和装置
CN107566685B (zh) 一种图像数据处理方法及电子设备
CN110363814A (zh) 一种视频处理方法、装置、电子装置和存储介质
CN108496351B (zh) 无人机及其控制方法、控制终端及其控制方法
CN114095660B (zh) 图像显示方法、装置、存储介质及电子设备
US10832425B2 (en) Image registration method and apparatus for terminal, and terminal
CN109981969B (zh) 一种智能电子设备和图像处理单元、图像处理方法
CN104469149A (zh) 电子设备、座子和同步拍照方法
CN114339071A (zh) 图像处理电路、图像处理方法及电子设备
CN109819139B (zh) 一种智能电子设备和图像处理单元、装置、方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant