CN106605236B - 用于捕捉图像的方法和图像捕捉装置 - Google Patents

用于捕捉图像的方法和图像捕捉装置 Download PDF

Info

Publication number
CN106605236B
CN106605236B CN201580047720.6A CN201580047720A CN106605236B CN 106605236 B CN106605236 B CN 106605236B CN 201580047720 A CN201580047720 A CN 201580047720A CN 106605236 B CN106605236 B CN 106605236B
Authority
CN
China
Prior art keywords
image
target position
live view
moving object
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580047720.6A
Other languages
English (en)
Other versions
CN106605236A (zh
Inventor
洪贤石
韩熙喆
金冏荣
朴尚圭
郑珍久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106605236A publication Critical patent/CN106605236A/zh
Application granted granted Critical
Publication of CN106605236B publication Critical patent/CN106605236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

提供了图像捕捉方法和图像捕捉装置。该图像捕捉方法可包括:设定现场取景图像的目标位置;从现场取景图像中追踪移动对象;通过使用与所追踪的移动对象有关的信息来估计移动对象的位置;以及当移动对象被定位于现场取景图像的目标位置上时,基于所估计的位置捕捉静态图像。

Description

用于捕捉图像的方法和图像捕捉装置
技术领域
根据示例性实施方式的装置和方法涉及图像捕捉,更具体地,涉及配置为允许用户在用户期望的时间点容易地捕捉对象的静态图像的图像捕捉装置及其图像捕捉方法。
背景技术
当拍摄动态的体育赛事或迅速移动的动物时,需要能够迅速捕捉瞬间的拍摄技术。相关的数字相机提供了这样的技术,在所述技术中,可以通过以高速帧速率读取图像传感器的数据来迅速拍摄具有移动对象的场景的一个瞬间。
然而,由于在快门释放被按压下去和从传感器读取图像数据之间需要最短时间,因此即使对于专业相机用户来说,准确地拍摄涉及迅速移动的对象的场景也是困难的,诸如在用户所期望的特定时间点(例如,当击球手击中棒球时)捕捉棒球。
因此,需要可以使相机用户在用户期望的时间点容易地捕捉对象的静态图像的新技术。
发明内容
示例性实施方式克服上述缺点以及上文没有描述的其它缺点。然而,不是所有示例性实施方式都需要克服上述缺点,并且示例性实施方式构思可以不必克服上述任何问题。
示例性实施方式提供了允许用户在用户期望的时间点容易地捕捉对象的静态图像的图像捕捉装置和图像捕捉方法。
根据示例性实施方式的一个方面,提供了一种图像捕捉方法,包括:设定现场取景图像的目标位置;从现场取景图像追踪移动对象;通过使用与所追踪的移动对象有关的信息来估计移动对象的位置;以及当移动对象被定位于现场取景图像中的目标位置上时,基于所估计的位置来捕捉静态图像。
设定目标位置可包括:在从现场取景图像检测到预设对象之后基于所检测的对象设定目标位置。
设定目标位置可包括将根据用户输入的位置设定为目标位置。
设定目标位置可包括基于由图像捕捉装置检测的位置信息来设定目标位置。
图像捕捉方法可包括显示指示目标位置的引导线。
图像捕捉方法可包括识别现场取景图像中所包括的人物。这里,可以基于与所识别的人物相对应的信息来显示指示目标位置的引导线。
识别人物可包括通过辨认现场取景图像中所包括的人物的面部或号码来识别该人物。
与所识别的人物相对应的信息可以是所识别的人物的击球率和打击点中的至少一者。
设定目标位置可包括:响应于接收到用于反转目标位置的用户命令,通过基于垂直线反转目标位置来再次设定目标位置。
图像捕捉方法可包括:显示指示目标位置的引导框;以及执行图像捕捉装置的镜头的拉近或推远,以利用现场取景图像中所包括的人物来填充引导框。
引导框的大小可以根据用户输入进行调整。
估计移动对象的位置可包括:通过使用移动对象的实际大小、移动对象在现场取景图像上的大小、移动对象相对于先前拍摄的现场取景图像的位移以及图像捕捉装置的帧速率中的至少一者来估计移动对象的位置。
图像捕捉方法可包括将移动对象的速度信息插入到所捕捉的静态图像中,并且移动对象的速度信息可以用以下数学公式来计算:
移动对象的速度(千米/小时)=移动对象的实际直径(毫米)/移动对象的测量直径(像素)*图像帧之间的位移(像素)*图像帧的拍摄速度(帧/秒)*3600/1000/1000。
图像捕捉方法可包括计算与移动对象有关的击打位置,并在屏幕上显示所计算的击打位置。击打位置可以用以下数学公式来计算:
击打位置(像素)=移动对象的速度(千米/小时)*1000*1000/3600*1/ 图像帧的拍摄速度*高度_像素(像素)/高度_引导_框(米)*最小拍摄时间(帧)。这里,高度_像素表示现场取景中包括的引导框的测量高度,以及高度_引导_框表示现场取景中所包括的引导框的实际高度。
可以通过调整移动对象上图像捕捉装置的焦点来捕捉静态图像。
可以通过对对象的、朝向对象的移动方向的垂直方向或相位差像素值提供权重来调整图像捕捉装置的焦点。
图像捕捉方法还可包括在捕捉的静态图像上显示移动对象的追踪轨迹。
图像捕捉方法还可包括:从服务器接收与静态图像相关的信息,并基于所接收到的与静态图像相关的信息创建静态图像的元数据。
图像捕捉方法可包括基于所估计的结果确定移动对象被定位于目标位置所需的时间,并且当所确定的时间短于图像捕捉装置的快门延迟时间时显示警告消息。
图像捕捉方法可包括基于包括在连续实时取像图像中的被追踪移动对象的估计轨迹之间的间隔有关信息来调整图像捕捉装置的帧速率。
根据另一个示例性实施方式的一个方面,提供了一种图像捕捉装置,包括:显示器,配置为显示现场取景图像;目标位置设定器,配置为设置现场取景图像的目标位置;追踪器,配置为从现场取景图像中追踪移动对象;估计器,配置为通过使用关于被追踪移动对象的信息来估计移动对象的位置;以及摄影器,配置为当移动对象被定位于现场取景图像中的目标位置上时,基于所估计的位置捕捉静态图像。
图像捕捉装置可包括聚焦镜头、配置为驱动聚焦镜头的电机驱动器、以及配置为控制电机驱动器以利用聚焦镜头调节焦点的控制器。这里,控制器可以响应于接收到手动聚焦输入而将聚焦镜头的聚焦范围限制在预设范围内,并且响应于接收到半快门输入而控制电机驱动器在预设范围内执行自动聚焦。
附图说明
通过结合附图描述某些示例性实施方式,上述方面和/或其它方面将更加显而易见,在附图中:
图1和图2是根据示例性实施方式的图像捕捉装置的框图;
图3示出根据示例性实施方式的目标位置设定方法;
图4示出根据示例性实施方式的引导线;
图5示出根据示例性实施方式的引导框;
图6示出根据另一示例性实施方式的引导框;
图7示出根据示例性实施方式用于获得作为移动对象的球的实际速度所需的信息;
图8中的 (A) 和图8中的 (B) 示出基于球速引导击打位置的示例性实施方式;
图9示出根据示例性实施方式显示的拍摄待机时间;
图10示出根据示例性实施方式的聚焦方法;
图11示出根据示例性实施方式用于移动对象的聚焦的自动聚焦 (AF);
图12示出根据示例性实施方式的根据作为移动对象的球的速度的帧速率;
图13和14示出在图像上显示移动对象的轨迹的示例性实施方式;
图15中的 (A) 、15中的 (B) 、16中的 (A) 和16中的 (B) 是提供用于说明根据示例性实施方式的特效的图;
图17示出通过区分现场取景图像的每个区域的帧速率来执行读取的示例性实施方式;
图18示出根据示例性实施方式的元数据创建方法;
图19和图20是提供用于说明根据示例性实施方式的对象聚焦技术的图;
图21是根据示例性实施方式的图像捕捉系统的框图;以及
图22是提供用于说明根据示例性实施方式的图像捕捉方法的流程图。
具体实施方式
现在将参考附图更详细地描述某些示例性实施方式。
在下面的描述中,即使在不同的附图中,相同的附图标号也用于表示相同的元件。提供说明书中所限定的事项(诸如具体的结构和元件) 以帮助全面理解示例性实施方式。因此,显而易见,示例性实施方式可以在没有那些具体限定的事项的情况下执行。此外,由于众所周知的操作或结构可能会以不必要的细节混淆描述,所以不对它们进行详细描述。
图1和图2是根据示例性实施方式的图像捕捉装置100的框图。
参照图1,根据实施方式的图像捕捉装置100包括显示器190、目标位置设定器170、追踪器180、估计器185和摄影器(相机)110。
图像捕捉装置100、100-1、100-2可以是多种电子设备。例如,图像捕捉装置可以是设置有相机功能的各种电子设备,诸如数字相机、MP3 播放器、便携式媒体播放器(PMP)、智能电话、蜂窝电话、智能眼镜、平板个人计算机(PC)或智能手表。
显示器190配置为用以显示对象。具体地,显示器190可以实时地显示由摄影器110捕捉的现场取景(live view)图像。此外,显示器190 可以显示包括字符和图标的用户界面、电子设备信息、移动图像和静态图像中的至少一者。当显示器190显示由摄影器110捕捉的现场取景图像时,显示器190可以执行电子取景器(view finder)功能。显示器190 可以设计为具有多种显示面板。
例如,显示器190可设计为具有多种显示技术,诸如有机发光二极管(OLED)、液晶显示器(LCD)面板、等离子体显示面板(PDP)、真空荧光显示器(VFD)、场发射显示器(FED)或电致发光显示器(ELD)。显示面板通常可以以发射类型来实现;然而,也可以使用诸如电子墨水 (E-INK)、P墨水(P-INK)或光子晶体的反射类型的显示器。此外,显示面板可以被实现为柔性显示器或透明显示器。
此外,显示器190可包括触摸屏。当用户对显示在显示器190的触摸屏上的对象执行触摸时,触摸屏可以响应于该触摸通过处理信号并将处理后的信号发送到控制器130来执行输入和输出。
目标位置设定器170配置为设定现场取景图像的目标位置。目标位置是指设定成用于在移动对象被定位于现场取景图像上的标准部分上的那一时刻拍摄静态图像的位置。目标位置可以通过用户输入来设置。此外,当目标位置设定器170从现场取景图像中检测到预设对象时,可以基于所检测的对象来设定目标位置。
图3示出根据示例性实施方式的目标位置设定方法。
图3示出在现场取景图像中捕捉棒球比赛的当击球手(batter)击中由投手(pitcher)投掷的球33时的一刻的情况中的目标位置设定的示例。这里,目标位置可以是当投出的球接近本垒板(home plate)随后被击球手的球棒击中的一瞬时的位置30。可以在从现场取景图像中检测到本垒板、跑垒者区(runner box)和击球手之后,基于所检测的对象来设定这一目标位置。此外,可以通过检测击球手的面部、击球手的号码(例如,击球手的背后或击球手球衣上的号码)或击球手的其它特征,利用该击球手的主要打击点信息来设定目标位置。此外,也可以使用击球手的球棒追踪信息。可以根据用户输入来设定目标位置或者调整所设定的目标位置。如上所述,当图像捕捉装置100的显示器190包括触摸屏(未示出)时,可以根据用户在触摸屏上的拖动输入来设定目标位置以调整目标位置。尽管在本示例性实施方式中在击球手击打棒球的情况下描述目标位置设定,但是在其它示例性实施方式中目标位置可以类似地设置,以捕捉当对象(例如,人物、动物、汽车、球等)到达指定位置的一刻。
图4示出根据示例性实施方式的引导线。图像捕捉装置100的显示器190可以显示指示目标位置的引导线30。引导线30可以用直接指示目标位置的直线来表示;然而,引导线30也可以用指示与目标位置相关的对象的引导对象36来表示。图4示出引导击球手的位置和大小的引导对象36。用户可以在设置图像捕捉装置100之后执行拍摄,使得击球手被置于现场取景图像上显示的引导对象36内。虽然根据图4的示例性实施方式将引导对象36表示为击球手形状,但引导对象可以被设置为各种形状或形式,例如多边形的形状。用户可以通过拉近(zoom in)或推远(zoom out)命令操控图像捕捉装置100使击球手被置于显示在现场取景图像上的引导对象36内。下面将参照使用引导框的示例性实施方式来说明引导对象的一个示例性实施方式。
目标位置设定器170可以基于利用图像捕捉装置100检测的位置信息来设定目标位置。因此,图像捕捉装置100还可包括如图2所示的位置检测器175,并通过位置检测器175检测图像捕捉装置100的地理位置信息。目标位置设定器170可以通过使用图像捕捉装置100的GPS信息来调整现场取景图像中击球手的位置,并且可以具体地调整与击球手的位置对应的击球点。例如,可使用GPS信息或其它信息来确定图像是从哪个方向被捕捉,诸如图像捕捉装置100在棒球场中的位置。与从击球手的侧面方向拍摄相比,当从跑垒者的前方执行拍摄时,击球点可以进一步向后移动。
此外,目标位置设定器170可以分析预设对象(例如,本垒板)的形式、确定击球手的击打位置并且基于所述确定来精细地调整引导线。显示器190可以显示经调整的引导线。
目标位置设定器170可以识别击球手,并且显示器190可以根据击球手的击球率来显示引导线30的颜色为更厚或更亮的颜色34,该操作可以由下述控制器130控制。可以通过识别击球手的球衣号码和/或击球手的脸或标识击球手的其它信息来识别击球手。图2的存储器160可以将跑垒者的平均打击点作为元数据存储,并且目标位置设定器170可以基于元数据精细地调整引导线的位置。
图5示出根据示例性实施方式的引导框。如图5所示,显示器190 可以在控制器130的控制下显示指示目标位置的引导框37。引导框37是用于调整变焦(zoom)的引导对象,以使得人物或其它对象被置于现场取景图像上的引导框37内。当显示引导框37时,用户可以通过在引导框37的角落或侧面上执行触摸和拖动输入来调整引导框37的大小。因此,当在引导框37的角落或侧面上执行触摸输入或拖动输入时,可以根据拖动的方向修改引导框37的大小。当在预设时间中在引导框37上没有输入时,或者当接收到指示不会再于引导框37中输入调整命令(例如,接收引导框中央的触摸)的用户命令时,图像捕捉装置100的摄影器110 可以调整镜头的变焦,以使得人物36被置于引导框37内。当引导框37 的最终大小大于人物36时,摄影器110可以通过推远来调整镜头的聚焦 (focus),使得人物36被置于引导框37内。当人物36小于引导框37的大小时,摄影器110可以通过拉近来调整镜头的聚焦以利用现场取景图像中所包括的人物来填充引导框37。在最终现场取景图像中,聚焦可以被设定为利用现场取景图像中所包括的人物来填充引导框。
图6示出根据另一示例性实施方式的引导框。需要根据用户拍摄对象的位置对引导框37的位置进行修改。引导框37的位置可以根据用户输入来修改或者可以自动修改。当接收到反转目标位置的用户命令时,目标位置设定器170可以基于穿过现场取景图像的中心的垂直线,通过反转目标位置来再次设定目标位置。当根据图6的示例性实施方式接收到选择反转项目35的用户命令时,通过反转引导框37的左右方向,引导框37可以被显示在镜像位置上。在这种情况下,可以根据触摸输入或其它输入来执行用户命令。引导框37也可以通过朝相反方向触摸和拖动引导框37的一侧而反转。
关于图像捕捉装置100的操作,追踪器180可以追踪现场取景图像上的移动对象。具体地,追踪器180可以通过分析来自现场取景图像的帧来检测移动对象。检测对象可以通过比较现场取景图像的帧的图像像素来执行。
估计器185配置为通过使用追踪的信息来估计移动对象的位置。估计器185可以通过使用所追踪的信息来估计来自现场取景图像的移动对象的速度(虚拟速度)。虚拟速度可以被定义为现场取景图像内的对象的速度。因此,虚拟速度信息可以指示对象在现场取景图像上在指定时间内移动多少像素。移动对象的轨迹可以通过使用该信息来估计。因此,在移动对象首次出现在现场取景图像上之后,能够获取对象接近目标位置所花费的时间。因此,摄影器110可以通过由在移动对象出现在现场取景图像上时的第一时间所估计的时间之后分析图像传感器(未示出) 的感测值,来获得在当移动对象正确地接近目标位置时的瞬间的静态图像。因此,当移动对象到达图像中由目标位置指示的位置时,可以在期望的时间点捕捉静态图像。
估计器185可以计算移动对象的实际速度。图7示出根据示例性实施方式用于获得作为移动对象的球的实际速度所需的信息。
因为可以从所提供的值获得与移动对象的实际大小和移动距离(位移)有关的信息,所以可以根据与从现场取景图像所检测的移动对象有关的信息来计算移动对象的实际速度。因此,可以通过使用移动对象的实际大小信息、现场取景图像的大小信息和现场取景图像中的距离(位移)来计算移动对象的实际速度。例如,移动对象的实际速度可以通过使用以下数学公式来计算:
移动对象的速度(千米/小时)=移动对象的实际直径(毫米)/移动对象的测量直径(像素)*移动对象在图像帧之间的位移(像素)*图像帧的拍摄速度(帧/秒)*3600/1000/1000。
显示器190可以在最终生成的静态图像上显示计算出的移动对象的实际速度。例如,当投手以150千米/小时的速度投球时,可以在最终生成的静态图像上标记150千米/小时。
可以通过使用移动对象的实际速度来设定引导框37的位置。图8中的 (A) 和8中的 (B) 示出可基于球速引导击打点的示例性实施方式。
估计器185可以基于所估计的结果确定移动对象被定位于目标位置上所需的时间。当所确定的时间短于图像捕捉装置100的快门延迟时间 (shutter lag time)时,控制器130可以使得显示警告消息。快门延迟时间信息指示关于在快门释放被激活之后执行像素数据的读取所需的时间量的信息。移动对象被定位在目标位置上的必要时间可以是从当移动对象首次被包括在现场取景图像中的时间(即,从现场取景图像中首次检测到球的时间)到球接近目标位置的时间。当上述时间短于快门延迟时间信息时,可以首先检测移动对象,并且可以立即生成快门信号。因此,在执行图像传感器中的像素值的读取时,移动对象可能已经通过目标位置。在这种情况下,可以输出警告消息,以使得用户可以调整引导对象的大小。当缩小引导对象时,可以将镜头推远。因此,由于推远增加了从均匀帧速率检测移动对象的轨迹的时间,上述问题可以被解决。
估计器185可以通过考虑拍摄所需的估计时间、检测和追踪移动对象(球)的时间以及确定移动对象被定位于目标位置上所需的时间来提供对跑垒者的击球点的引导。当考虑最大球速度和击球手的高度(对应于引导框的实际高度h1和/或h2,即引导框的大小)时,如果通过使用必要时间和击球位置之间的关系(见图8中的 (B) )击球手GUI(引导对象)在相应的位置范围之外,则可以显示警告。此外,可以在屏幕上推荐或显示适当的位置范围。
虽然未在附图中示出,但是图像捕捉装置100还可包括移动检测器 (未示出)。移动检测器可以检测图像捕捉装置100的运动,并检查是否该装置进行超过预设位移或超过预设加速度的移动。在这种情况下,控制器130可以控制显示器190显示警告消息。因为图像捕捉装置100 的抖动会干扰对移动对象的检测,因此当确定移动过度时可以显示警告消息。
此外,当图像捕捉装置100上的现场取景图像的亮度低于预设值时,即,当由于图像的亮度水平太低而使检测移动对象有困难时,控制器130 可以使得输出警告消息。由于当周围环境暗或图像供光不足时难以检测移动对象,因此可能显示警告消息。
在图8中的 (A) 和8中的 (B) 的示例性实施方式中,可以用以下数学公式来计算击打位置:
当球来自左边时的击打位置(像素)=球速(千米/小时) *1000*1000/3600*1/FPS(秒/帧)*高度_像素(像素)/高度_引导_框(米) *最小拍摄时间(帧)。
图9示出显示拍摄待机时间的示例性实施方式。
用户可以将最大拍摄待机时间输入图像捕捉装置100。最大拍摄待机时间表示用户按下快门释放并且移动对象被定位于目标位置上之后,直到静态图像被拍摄为止图像捕捉装置100可以待机的最大时间。当在用户输入最大拍摄待机时间之后未在最大拍摄待机时间内执行拍摄时,图像捕捉装置100可以取消对应的静态图像的拍摄。图像捕捉装置100可以返回到初始状态并再次设定目标位置,或者接收最大拍摄待机时间的输入。
显示器190可以在屏幕上显示最大拍摄待机时间。最大拍摄待机时间可以被倒计时并在屏幕上显示为拍摄待机时间39的当前时间剩余。当移动对象出现在屏幕上时,显示器190可以显示标记38,以使得可以基于所估计的追踪信息来识别移动对象。
追踪器180可以追踪多个移动对象。参照图9,除球之外,追踪器 180还可以追踪作为移动对象的球棒。这里,显示器190可以基于从现场取景图像所检测的球棒信息在每个估计帧中在球棒的位置上显示可识别标记40。同样地,可以通过追踪击球手的移动形状来显示可识别的移动形状36。
图像捕捉装置100的摄影器110配置为用于拍摄对象。当从对象反射的光进入图2的镜头111时,对象的图像可以形成在图2的图像传感器112上。形成的图像,即,累积在图像传感器112上的光电荷可以作为图像数据输出。具体地,摄影器110可以从图像传感器112读取感测值、基于感测值准备现场取景图像并将图像发送到显示器190。
此外,当移动对象被定位于现场取景图像的目标位置时,静态图像可以被捕捉。
参照图2,图像捕捉装置100的摄影器110的示例性实施方式可包括镜头111、电机驱动器115、图像传感器112、模拟前端(AFE)113和定时发生器(TG)114。
镜头111是从对象反射的光进入的位置,并且包括根据聚焦控制视野角度更窄或更宽的变焦镜头(zoom lens)以及调整对象的焦点的聚焦镜头(focus lens)之中的至少一种镜头。镜头111接纳在图像捕捉装置 100的镜头镜筒(barrel)中,并且随着电机驱动器115的驱动信号而移动以调整焦点。此外,镜头镜筒包括利用驱动电机分别调节进入镜头的光量的快门和光圈(aperture)。
图像传感器112是其中形成通过镜头111的对象的图像的单元。图像传感器112包括以矩阵形式排列的多个像素。图像传感器112的多个像素可以以拜耳(Bayer)模式形成。多个像素可以分别根据入射光累积光电荷,并且将由光电荷形成的图像作为电信号输出。图像传感器112 可以是互补金属氧化物半导体(CMOS)传感器;可选地,它可以被实现为电荷耦合器件(CCD)。根据示例性实施方式,多个像素可包括多个相位差像素。
图像传感器112可包括光电二极管(PD)、传输晶体管(TX)、复位晶体管(RX)和浮动扩散节点(FD)。PD可以生成和累积与对象的光学图像对应的光电荷。TX可以响应于发送信号将PD中生成的光电荷发送到FD。RX可以响应于复位信号给存储在FD中的电荷充电。存储在FD 中的电荷可以在复位信号生成之前被输出。可以提供相关双采样(CDS, correlateddouble sampling)图像传感器并可以执行CDS处理。此外,模数转换器(ADC)可以将利用CDS处理执行的模拟信号转换为数字信号。
AFE 113可以对从图像传感器112输出的对象图像的电信号执行采样和数字化。AFE 113可以由控制器130控制。
TG 114可以输出定时信号以读取图像传感器112的像素数据。TG 114可以由控制器130控制。
然而,在其它示例性实施方式中,摄影器110可包括替代AFE 113 和TG 114的其它组件。例如,当图像传感器112实现为CMOS型传感器时,可以不需要上述单元。
电机驱动器115可以通过在控制器130的控制下驱动聚焦镜头来调整聚焦。
如图2所示,图像捕捉装置100还可包括图像处理器140、有线接口 150、通信器145、存储器160、位置检测器175和控制器130。
图像处理器140可以在控制器130的控制下对原始图像数据进行图像处理,并将处理后的图像数据记录在存储器160上。此外,图像处理器140可以将存储在存储器160上的经图像处理的数据传送到显示器 190。
当通过使用相位差技术执行自动聚焦时,图像处理器140可以从图像传感器112输出并且用AFE 113采样的信号中分离出用于生成图像(从正常像素读取的信号)的信号和用于计算相位差(从相位差像素读取的信号)的信号。上述处理可以通过使用信号计算相位差来迅速计算相位差,并且通过生成诸如并行的现场取景图像来迅速执行自动聚焦。
根据上述各示例性实施方式的图像捕捉装置100可以不限于使用相位差像素的自动聚焦技术。根据各示例性实施方式的图像捕捉装置100 还可包括用于执行对比度自动聚焦的技术手段。
图像处理器140可以处理原始图像数据,并将图像数据转换为YCbCr 数据。原始图像数据可以用补偿电路(未示出)来补偿像素缺陷。补偿电路可以通过考虑补偿表来补偿像素缺陷,其中补偿表寄存具有缺陷的像素的地址。可以对与周围的像素地址一致的像素执行对缺陷的补偿。
图像处理器140可包括确定图像的黑电平的光学黑体(OB)的箝位电路(clampcircuit)(未示出)。图像传感器112包括OB区域;可以通过检测OB区域上的信号平均值,通过像素之间的差异来确定黑电平。
此外,图像处理器140可以通过使用灵敏度比调整电路(未示出) 来对每种颜色的不同灵敏度比进行调整。在标准光源下,灵敏度比调整电路可以调整红(R)、绿(G)和蓝(B)的灵敏度。通常,G的增益值可以固定为1,而R、B的灵敏度可以调整为G的增益值。
当输出静态图像时,可以在调整灵敏度之后通过输出缓冲器输出图像数据。在这种情况下,由于使用交错扫描方法生成图像,所以可以不立即执行后处理。然而,由于当输出现场取景图像时利用渐进方法生成图像,所以可以立即执行后处理。
此外,图像处理器140可以通过使用水平跳读电路(未示出)来执行像素线的部分的读取,并且对其它像素线执行跳读。由此,可以减少原始图像中的像素的数量。
图像处理器140可以通过使用白平衡(WB)调整电路(未示出)来调整图像数据的白平衡。因为光的光谱分布根据拍摄环境而不同,所以白色物体可能没有被拍摄为白色。可以通过分别向R、G和B像素提供不同的增益值来调整信号电平。通常,G的增益值可以固定为1,而R、 B的信号电平可以调整为G的增益值。
此外,图像处理器140可以执行关于图像数据的伽马补偿。通过伽马补偿,可以执行灰度等级转换以校正显示器190上的图像的输出。
此外,图像处理器140可以通过使用颜色内插电路(未示出),从每一个像素包括一种颜色的拜耳(Bayer)信号中生成每一个像素包括三种颜色的常规彩色图像信号。
此外,颜色转换/颜色补偿电路(未示出)可以正确地将颜色维度转换为输出并补偿颜色。如果需要,可以使用查找表(LUT)。图像数据可以是在执行颜色转换/颜色补偿之后的YCbCr数据。
图像处理器140可以通过利用分辨率转换电路(未示出)转换分辨率来调整图像大小。
图像处理器140可以通过使用维度滤波电路(未示出)处理关于图像数据的维度滤波器。可以执行Y信号的边缘突出显示,并且可以处理 Cb/Cr信号的低通滤波器(LPF)。
此外,图像处理器140可以通过使用CbCr跳读电路(未示出)对 Cb/Cr信号执行跳读处理,并将图像数据转换为YCbCr 4:2:2格式。图像数据可以通过输出缓冲器输出,并且通过总线连接被记录在存储器160 上。
对于静态图像,读取可以根据交错扫描方法(interlaced method)来执行。在这种情况下,由于没有创建相邻像素线,因此可以不直接执行颜色内插。因此,可以在预处理完成之后,通过调整像素行的顺序经由输出缓冲器将静态图像以渐进格式存储在存储器160上。所存储的图像数据可以被再次读取并经由输入缓冲器输入到图像处理器140。
然而,示例性实施方式不限于处理静态图像的交错扫描方法;以及其它示例性实施方式可以被实现为使用渐进方法来执行对静态图像的读取。
可能需要以比所拍摄的图像更小的形式示出拍摄结果的预览图像或缩略图图像。在这种情况下,可以通过诸如通过执行跳读处理移除部分像素数据来创建预览图像或缩略图图像。
图像处理器140可以通过使用AF信号内插电路(未示出)将相位差像素内插到正常像素值。因为相位差像素分布在正常像素之间,所以当使用所分布的相位差像素时可能发生分辨率降低。因此,可以通过使用周围的正常像素来执行内插。
由分离电路(未示出)分离出的相位差像素信号可以经由总线连接被记录在存储器160上。因为可以针对所有像素执行读取和分离,所以每个相位差像素信号可以在存储器160上短时间累积。
存储的相位差像素信号可以经由总线连接输入到相位差计算电路 (未示出)。相位差计算电路可以计算相位差像素之间的相位差,并计算聚焦镜头的移动方向和移动量。计算出的移动量可以被临时记录在相位差计算电路内的寄存器上,而控制器130(即,CPU)可以读取计算出的移动量。
JPEG编解码器或其它压缩编解码器可以用于压缩YCbCr数据。此外,压缩的图像数据可以被记录在存储器160上。控制器130可以读取记录在存储器160上的压缩图像数据,并将数据记录在存储卡(未示出) 上,这就完成了图像生成处理。
通信器145配置为执行与另一设备的通信。具体地,通信器145可以执行与外部服务器(未示出)的通信。通信器145可以从外部服务器接收与静态图像相关的信息或者收发图像数据。此外,通信器145可以执行第一捕捉装置100-1和第二捕捉装置100-2之间的数据收发,这将在下面进行描述。
通信器145可以用各种无线通信技术来实现。通信器145可包括近场通信模块以在无需调解设备的情况下直接在设备之间执行通信。
通信器145可包括Wi-Fi直连通信模块、蓝牙模块、红外数据协会模块(IrDA)、近场通信(NFC)模块、无线个域网(Zigbee)模块或其它通信模块中的至少一种。
其它通信技术手段也可以在通信器145中实现。例如,通信器145 可包括蜂窝通信模块、第三代(3G)移动通信模块、第四代(4G)移动通信模块、长期演进(LTE)通信模块或其它通信模块中的任一种。
控制器130可以控制图像捕捉装置100的一般性操作。具体地,控制器130可以控制关于目标位置设定器170、追踪器180、估计器185和显示器190的上述操作。此外,其它单元的操作可以直接和间接地由控制器130控制。
控制器130可以通过控制摄影器110来获得原始图像数据,并且通过控制图像处理器140来控制显示器190显示现场取景图像。
控制器130可包括诸如CPU或高速缓冲存储器的硬件架构、操作系统以及用于执行特定操作的应用的软件架构。可以根据系统时钟将关于图像捕捉装置100的每个单元的控制命令读取到存储器中,并且可以通过根据读取的控制命令生成电信号来操作硬件的每个单元。
有线接口150可以提供与外部设备的接口。有线接口150可以与外部设备连接。外部设备处理图像数据的收发或处理固件的收发以执行固件升级。
存储器160可以结合CPU在存储图像或处理图像方面使用。示例性实施方式可以使用双倍速率同步动态随机存储器(DDR SDRAM),与仅使用从系统时钟信号的上端来输出相比,DDR SDRAM可通过允许使用系统时钟信号的上端和下端执行输出而将输出提高两倍。
当存储器160包括闪存存储器(未示出)时,存储器160可以存储固件程序、根据图像捕捉装置100的规格的各种调整信息、根据图像捕捉装置100的用户输入的设定信息以及拍摄的图像文件。
此外,当包括存储卡(未示出)时,它可以可拆卸地附加到图像捕捉装置100上。存储卡可以存储拍摄的图像文件。
输入端(input)125配置为接收用户输入。输入端125可包括至少一个按钮126。此外,输入端125可包括定位在显示器190上的触摸屏。
至少一个按钮126可以形成在图像捕捉装置100的壳体的前部、侧部或背部上作为按压型或触摸型按钮,并且可包括电源/锁定按钮、快门按钮、菜单按钮、主页按钮、后退按钮和搜索按钮中的至少一者。当按下或激活按钮时,相应的控制命令可以被生成并发送到控制器130。控制器130可以根据对按钮的相应控制命令来控制图像捕捉装置100的操作。
图像捕捉装置100还可包括电源(未示出)和用于与外部装置连接的接口(未示出)。此外,图像捕捉装置100可包括位置检测器175。位置检测器175可以通过使用位置传感器来检测图像捕捉装置100的地理位置。位置检测器175可包括全球定位系统(GPS)传感器和角速度传感器中的至少一者。
图10示出根据示例性实施方式的聚焦方法。
当移动对象被定位于目标位置上时,即当拍摄移动对象时,根据示例性实施方式的图像捕捉装置100可以拍摄静态图像。这里,焦点1010 可以被调整以聚焦在移动对象上。因为通过移动聚焦镜头来调整焦点需要时间,所以应该估计聚焦镜头的移动时间。根据示例性实施方式的图像捕捉装置100的控制器130可以在显示现场取景图像的同时,通过使用电机驱动器115的驱动信息来估计用于在估计的时间处捕捉图像的聚焦值。控制器130可以根据移动对象的位置来存储和管理聚焦镜头的位置信息,并根据在移动对象的估计位置处聚焦镜头的位置信息向电机驱动器115发送驱动信号。这里,移动对象可以是如图10所描述的球棒或球。焦点1010可以在击球手将击打球的点处被调整。
图11示出用于移动对象的聚焦的自动聚焦(AF)。
当通过根据计算感测球或球棒的移动方向来执行AF时,可能存在对象的边缘信息的问题,诸如朝向移动方向的模糊。因为对象的边缘特征保持朝向移动的垂直方向,所以可以通过向垂直方向提供像素值的权重来计算AF。镜头聚焦可以通过使用相位差AF方法或对比度AF方法来执行。利用对比度AF方法,可以朝向对象移动的垂直方向计算对比度。利用相位差AF方法,可以通过向对象移动的垂直方向提供相位差像素的权重来计算AF。
当移动对象的实际速度相对于现场取景图像的帧速率(FPS)较慢时,可能难以计算移动对象的移动信息。此外,由于执行的图像捕捉和计算可能比必要的多,所以可能不必要地消耗功率。然而,当移动对象的实际速度相对于帧速率快时,可能出现难以精确地捕捉移动对象被定位于目标位置上的时刻的问题。
因此,控制器130可以基于与包括在连续现场取景图像中的移动对象的估计轨迹之间的间隔有关的信息来调整图像捕捉装置的帧速率。因此,当包括在连续现场取景图像帧中的移动对象的估计轨迹之间的间隔过小以致轨迹彼此重叠时,控制器130可以降低帧速率。当移动对象的估计轨迹之间的间隔过大以致难以精确地捕捉移动对象时,控制器130可以增加帧速率。换言之,估计器185可以感测移动对象的速度,并且显示器190可以将帧速率调整为使对象的轨迹彼此不重叠的捕捉速度。
图12示出根据示例性实施方式的根据作为移动对象的球的速度的帧速率。参照图12,如果移动对象具有80千米/小时的速度,则当帧速率为240FPS时,移动对象的轨迹彼此不重叠。然而,如果移动对象的速度减少一半到达40千米/小时并保持相同的帧速率(240FPS),则移动对象的轨迹将重叠。在这种情况下,通过将帧速率降低到120FPS,移动对象的轨迹将不会彼此重叠。
图13和图14示出在图像上显示移动对象的轨迹的示例性实施方式。
参照图13,移动对象的轨迹1310可以显示在现场取景图像上。因此,如图13所示,在显示现场取景图像时,可以在屏幕上输出所检测的球和球棒的位置。
移动对象的上述轨迹可以被显示在静态图像上。因此,控制器130 可以将所检测的球和球棒的位置存储为静态图像的元数据或作为其它数据。当再现静态图像时,控制器130可以控制显示器190与移动对象的移动轨迹一起显示球棒的移动轨迹。此外,上述信息可以显示在移动的屏幕上。
相关相机装置可以在显示现场取景图像之后、捕捉静态图像之前完成显示现场取景图像,显示黑色图像(可以在显示黑色图像的同时生成静态图像),并且可以不显示任何信息。当静态图像的生成完成时,显示捕捉的静态图像。
根据示例性实施方式的图像捕捉装置100可以显示可替代黑色图像的新图像。新图像可以在显示现场取景图像完成之后显示在屏幕上,并且指示在拍摄的现场取景图像的最后一帧上标记上述移动对象的轨迹的图像。通常,可以通过对图像传感器中的像素的一部分执行读取来生成现场取景图像,并且可以通过对现场取景图像使用的像素以上的像素执行读取来生成静态图像。在显示现场取景图像完成后,可以迅速显示新图像。因此,可以通过以与生成现场取景图像类似的方法对图像像素执行读取来生成新图像。此外,可以估计并显示捕捉静态图像完成之后的轨迹(即,从捕捉静态图像开始时的时间到移动对象被定位于目标位置上的时间的轨迹)以及直到静态图像被捕捉的移动对象的轨迹。至于图13,可以显示移动对象的轨迹,直到静态图像被捕捉的时间。至于图14,即使在捕捉静态图像的时间之后到移动对象1410被定位于目标位置上的时间,移动对象的轨迹也可以被估计并显示在图像上。图14中的轨迹可以被处理以显示为阴影。根据上述方法,黑色图像可以被天然的新图像代替。
此外,当移动对象被定位于目标位置上时,控制器130可以向静态图像提供各种特效。
图15中的 (A) 、图15中的 (B) 、图16中的 (A) 和图16中的 (B) 是用于说明根据各示例性实施方式的特效的图。
参照图15中的 (A) 和图15中的 (B) ,可通过追踪移动对象的轨迹提供图像或特效。图15中的 (A) 的示例性实施方式示出提供标记作为移动对象的球的轨迹的特效。图15中的 (B) 的示例性实施方式示出当高尔夫球手全力挥杆击打高尔夫球时对飞起的球的轨迹应用特效。
图16中的 (A) 和图16中的 (B) 示出指示通过当静态图像被捕捉的瞬间高亮整个图像来拍摄图片的特效。参照图16中的 (A) ,指示在击球手击球时的瞬间捕捉图像的高亮可被标记,并且最终捕捉的静态图像可以在一段时间之后显示。参照图16中的 (B) ,指示在高尔夫球手击打高尔夫球时的瞬间捕捉图像的高亮可以应用于整个图像,并且最终捕捉的图像可以在一段时间之后显示。
虽然上述示例性实施方式提供了应用于图像的高亮的示例,但是特效不限于这些示例。例如,特效可包括诸如模糊处理或颜色修改的各种效果。
图17示出通过区分现场取景图像的每个区域的帧速率来执行读取的示例性实施方式。
因为移动对象需要被追踪,所以根据示例性实施方式的图像捕捉装置100将帧速率设置为高速。然而,当应用高速帧速率并且使用整个图像传感器112时,功耗可能增加。此外,由于必须读取图像像素的部分以高速处理图像,所以可能发生分辨率降低。因此,根据示例性实施方式的图像捕捉装置100的摄影器110可以通过区分现场取景图像的每个区域的帧速率来读取图像传感器值。针对以上,可以使用CMOS传感器作为图像传感器。
如图17所示,针对移动对象(例如,球棒和球)被追踪的区域1710,图像像素值可以被高速读取;而针对图像的其它区域1720,图像像素值可以被低速读取。可以根据移动对象的估计轨迹来不同地处理上述区域。图17的上端和下端的图示出以高速和低速处理的差异。
图18示出根据示例性实施方式创建元数据方法。
图像捕捉装置100的控制器130可以在生成最终静态图像的同时创建元数据。这里,控制器130可以经由通信器145从外部服务器(未示出)接收与最终静态图像相关的信息。此外,控制器130可以基于接收到的与静态图像相关的信息创建关于静态图像的元数据。元数据可以存储在存储器160上。
图18描述了示例性实施方式其中通过从外部服务器接收击球手的击球信息和比赛信息来创建最终静态图像的元数据。这里,图像捕捉装置 100的拍摄环境设置信息(诸如拍摄日期或ISO号码)可以被存储为元数据。外部服务器可以是比赛直播广播服务器。
图19和图20是用于说明根据实施方式的对象聚焦技术的图。
如图19所示,当图像捕捉装置100与对象1900之间存在诸如网的障碍物时,由于焦点首先调整在作为邻近对象的网上,因此在自动聚焦环境中焦点通常难以调整到对象上。然而,当使用手动聚焦功能时,焦点可以调整到网后面的对象上。然而,在手动聚焦中聚焦的精确度可能降低。
为了解决上述问题,根据示例性实施方式的图像捕捉装置100可以提供半手动聚焦功能。如上所述,图像捕捉装置100可包括聚焦镜头(未示出)和电机驱动器115。
当用户利用手动聚焦功能在S2010处粗略地调节焦点时,图像捕捉装置100可以将聚焦范围设定在预设范围内。因此,当图像捕捉装置100 接收到手动聚焦输入时,控制器130可以将聚焦镜头的聚焦范围限定在预设范围内。当图像捕捉装置100接收到半快门输入时,控制器130可在S2020处控制电机驱动器115在预设范围内执行自动聚焦。因此,可以在对象上正确地调整焦点。
此外,如上所述,图像捕捉装置100估计拍摄时间点以直接捕捉静态图像。然而,可以通过使用多个图像捕捉装置来执行上述处理。下面将进一步解释多个图像捕捉装置的使用。
图21是根据示例性实施方式描述图像捕捉系统1000的框图。
参照图21,根据示例性实施方式的图像捕捉系统1000包括第一捕捉装置100-1和第二捕捉装置100-2。作为估计静态图像的捕捉时间点的设备的第一捕捉装置100-1可以从第二捕捉装置100-2接收快门延迟时间信息。此外,第一捕捉装置100-1可以生成快门触发启动信号,并将它发送到第二捕捉装置100-2。
快门延迟时间信息是指与在执行快门释放之后像素数据的读取被执行为止的时间量有关的信息。关于移动对象,在执行快门释放之后像素数据的读取被执行为止,可以在现场取景图像上修改位置。因此,需要在移动对象被定位于目标位置上的估计时间之前的时刻执行快门释放。这里,快门延迟时间信息可被认为是在执行快门释放时的时间。对于其中当击球手击球的时刻捕捉到静态图像的示例性实施方式,可以估计击球的时间,并且可以生成对应于快门释放的快门信号以说明从估计时间开始的快门延迟时间。由于对于不同类型的图像捕捉装置而言快门延迟时间信息可能不同,所以第二捕捉装置100-2可以向第一捕捉装置100-1 提供上述信息。
第一捕捉装置100-1可以通过考虑接收到的快门延迟时间信息来生成快门释放触发的启动信号。用户可以操控第一捕捉装置100-1或第二捕捉装置100-2的快门,以在捕捉静态图像之前提供足够的时间。第二捕捉装置100-2可以将快门延迟时间信息发送到第一捕捉装置100-1,并且第一捕捉装置100-1可以通过利用上述方法估计移动对象被定位于目标位置上的时间来向第二捕捉装置100-2提供快门释放触发启动信号。快门释放触发启动信号包括与当第二捕捉装置100-2生成快门信号时的时间有关的信息。第二捕捉装置100-2可以对时间进行计数;当生成快门信号的时间到来时,可以生成快门信号,并可以捕捉静态图像。
下面将根据各实施方式说明图像捕捉方法。
图22是用于说明根据示例性实施方式的图像捕捉方法的流程图。
参照图22,根据示例性实施方式的图像捕捉方法包括:在S2210处,设定现场取景图像的目标位置;在S2220处,从现场取景图像中追踪移动对象;在S2230处,通过使用上述追踪信息来估计移动对象的位置;以及当在S2240-Y处移动对象被定位于现场取景图像的目标位置时,在 S2250处基于所估计的结果来捕捉静态图像。
这里,设定目标位置可以通过检测现场取景图像上的预设对象、基于所检测的对象来设定目标位置。
此外,设定目标位置可包括将根据用户输入的位置设定为目标位置。
此外,设定目标位置可包括基于由图像捕捉装置所检测的位置信息来设定目标位置。
此外,图像捕捉方法可包括显示指示目标位置的引导线。
此外,图像捕捉方法可包括识别现场取景图像中所包括的人物,并且可以基于与所识别的人物相对应的信息来显示指示目标位置的引导线。
此外,识别人物可包括通过辨认包括在现场取景图像中的人物的面部、球衣号码或与比赛者有关的其它信息来识别人物。
这里,与所识别的人物相对应的信息可以是跑垒者的击球率和打击点中的至少一个。此外,设定目标位置可以在接收到用于反转目标位置的用户命令时,通过基于垂直方向反转目标位置来再次设定目标位置。此外,图像捕捉方法可包括显示指示目标位置的引导框,并在图像捕捉装置的镜头上执行拉近或推远,以使包括在现场取景图像中的人物填充引导框。
此外,引导框的大小可以根据来自用户的拖动输入进行调整。
此外,追踪移动对象可以通过使用移动对象的实际大小、移动对象在现场取景图像中的大小、移动对象在先前拍摄的现场取景图像中的位移以及图像捕捉装置的帧速率中的至少一者来追踪移动对象。
此外,图像捕捉方法可包括:将移动对象的速度信息插入到所捕捉的静态图像中,并且可以根据以下数学公式来计算移动对象的速度信息:
移动对象的速度(千米/小时)=移动对象的实际直径(毫米)/移动对象的测量直径(像素)*移动对象在图像帧之间的位移(像素)*图像帧的拍摄速度(帧/秒)*3600/1000/1000。
此外,图像捕捉方法可包括计算关于移动对象的击打位置,并在屏幕上显示所计算的击打位置。击打位置可以根据以下数学公式来计算:
击打位置(像素)=移动对象的速度(千米/小时)*1000*1000/3600*1/ 图像帧的拍摄速度(秒/帧)*高度_像素(像素)/高度_引导_框(米)* 最小拍摄时间(帧)。这里,高度_像素表示现场取景中所包括的引导框的测量高度,以及高度_引导_框表示现场取景中所包括的引导框的实际高度。此外,可以通过调整移动对象上图像捕捉装置的焦点来捕捉静态图像。
此外,可以通过对朝向对象的移动方向的垂直方向的对比度或相位差像素值提供权重来调整图像捕捉装置的焦点。
图像捕捉方法可包括在所捕捉的静态图像上显示移动对象的轨迹。此外,图像捕捉方法可包括从服务器接收与静态图像相关的信息,并基于所接收的与静态图像相关的信息创建静态图像的元数据。此外,图像捕捉方法可包括基于所估计的结果确定移动对象被定位于目标位置所需的时间,并且当所确定的时间短于图像捕捉装置的快门延迟时间时显示警告消息。此外,图像捕捉方法可包括:基于与连续现场取景图像中所包括的针对移动对象的估计轨迹之间的间隔有关信息来调整图像捕捉装置的帧速率。
图像捕捉方法可以以非暂时性计算机可读记录介质上的程序形式来实现,并由计算机或处理器执行。这里,非暂时性计算机可读记录介质是指半永久地存储数据并且可以被设备读取的介质,而不是诸如寄存器、高速缓冲存储器或存储器的临时存储数据的介质。例如,光盘(CD)、数字通用光盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)存储装置、存储卡或只读存储器(ROM)可以是非暂时性计算机可读记录介质。
此外,图像捕捉方法可以以软件形式来实现,诸如现场可编程门阵列(FPGA),其存储并提供在硬件集成电路(IC)芯片上。此外,图像捕捉方法可包括为图像捕捉装置100、100-1、100-2的一个单元。
此外,上述示例性实施方式和有益效果仅仅是示例性的,而不应被解释为限制示例性实施方式。本教导可以容易地应用于其它类型的装置。此外,本发明构思的示例性实施方式的描述旨在说明而非限制。

Claims (16)

1.一种图像捕捉方法,包括:
设定现场取景图像中的目标位置;
从所述现场取景图像中追踪移动对象;
通过使用与所追踪的移动对象有关的信息来估计在将来某一时段之后所述移动对象的位置;以及
当所述移动对象定位于所述现场取景图像中的目标位置上时,基于所估计的位置捕捉静态图像,
其中,所述图像捕捉方法还包括:
显示指示与所述目标位置相关的对象的引导对象,所述引导对象引导与所述目标位置相关的对象的位置和大小,使得与所述目标位置相关的对象被置于所述现场取景图像上显示的所述引导对象内;以及
通过使用所述移动对象的实际速度来调整所述引导对象的位置或大小。
2.根据权利要求1所述的图像捕捉方法,其中,设定所述目标位置包括:在从所述现场取景图像检测到预定对象之后,基于所检测的对象设定所述目标位置。
3.根据权利要求2所述的图像捕捉方法,其中,设定所述目标位置包括:根据姿势或所检测的预定对象的形状变形来调整所述目标位置。
4.根据权利要求3所述的图像捕捉方法,其中,所述姿势为相对于相机的旋转。
5.根据权利要求1所述的图像捕捉方法,其中,设定所述目标位置包括:将根据用户输入的位置设置为所述目标位置。
6.根据权利要求1所述的图像捕捉方法,其中,设定所述目标位置包括:基于由图像捕捉装置检测的、所述图像捕捉装置的位置信息来设定所述目标位置。
7.根据权利要求1所述的图像捕捉方法,还包括:
显示指示所述目标位置的引导线。
8.根据权利要求7所述的图像捕捉方法,还包括:
识别所述现场取景图像中所包括的人物,
其中,基于与所识别的人物相对应的信息来显示指示所述目标位置的引导线。
9.根据权利要求8所述的图像捕捉方法,其中,识别所述现场取景图像中所包括的人物包括:通过辨认所述现场取景图像中所包括的人物的面部或号码来识别所述人物。
10.根据权利要求8所述的图像捕捉方法,其中,与所识别的人物相对应的信息是所识别的人物的击球率和打击点中的至少一者。
11.根据权利要求1所述的图像捕捉方法,其中,设定所述现场取景图像的目标位置包括:响应于接收到用于反转所述目标位置的用户命令,通过基于穿过所述现场取景图像的中心的垂直线反转所述目标位置来再次设定所述目标位置。
12.根据权利要求1所述的图像捕捉方法,还包括:
显示引导框;以及
执行图像捕捉装置的镜头的拉近或推远,以利用所述现场取景图像中所包括的人物来填充所述引导框。
13.根据权利要求12所述的图像捕捉方法,还包括:根据用户的输入来调整所显示的引导框的大小。
14.根据权利要求1所述的图像捕捉方法,其中,从所述现场取景图像估计所述移动对象的位置包括:通过使用所述移动对象的实际大小、所述移动对象在所述现场取景图像上的大小、所述移动对象相对于先前拍摄的现场取景图像的位移以及图像捕捉装置的帧速率中的至少一者来估计所述移动对象的位置。
15.根据权利要求1所述的图像捕捉方法,还包括:
基于所估计的位置确定所述移动对象被定位于所述目标位置所需要的时间;以及
当所确定的时间少于图像捕捉装置的快门延迟时间时显示警告消息。
16.一种图像捕捉装置,包括:
显示器,配置为显示现场取景图像;
目标位置设定器,配置为设定所述现场取景图像的目标位置;
追踪器,配置为从所述现场取景图像追踪移动对象;
估计器,配置为通过使用与所追踪的移动对象有关的信息来估计所述移动对象的位置;以及
摄影器,配置为当所述移动对象被定位于所述现场取景图像的目标位置上时,基于所估计的位置来捕捉静态图像,
其中,所述显示器被配置为显示指示与所述目标位置相关的对象的引导对象,且所述引导对象引导与所述目标位置相关的对象的位置和大小,使得与所述目标位置相关的对象被置于所述现场取景图像上显示的所述引导对象内;以及
其中,所述图像捕捉装置通过使用所述移动对象的实际速度来调整所述引导对象的位置或大小。
CN201580047720.6A 2014-09-15 2015-07-22 用于捕捉图像的方法和图像捕捉装置 Active CN106605236B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0122251 2014-09-15
KR1020140122251A KR102232517B1 (ko) 2014-09-15 2014-09-15 이미지 촬영 방법 및 이미지 촬영 장치
PCT/KR2015/007629 WO2016043423A1 (en) 2014-09-15 2015-07-22 Method for capturing image and image capturing apparatus

Publications (2)

Publication Number Publication Date
CN106605236A CN106605236A (zh) 2017-04-26
CN106605236B true CN106605236B (zh) 2020-05-15

Family

ID=55456077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580047720.6A Active CN106605236B (zh) 2014-09-15 2015-07-22 用于捕捉图像的方法和图像捕捉装置

Country Status (6)

Country Link
US (1) US10477093B2 (zh)
EP (1) EP3195589B1 (zh)
KR (1) KR102232517B1 (zh)
CN (1) CN106605236B (zh)
AU (1) AU2015319023B2 (zh)
WO (1) WO2016043423A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894259B2 (en) * 2015-06-29 2018-02-13 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Movable image capture devices and methods for capture of images from behind a display screen
KR102403065B1 (ko) * 2015-07-14 2022-05-27 삼성전자주식회사 영상 촬영 장치 및 그 동작 방법
TWI584649B (zh) * 2016-05-25 2017-05-21 聚晶半導體股份有限公司 影像擷取裝置及其漸進式對焦方法
GB2558282B (en) * 2016-12-23 2021-11-10 Sony Interactive Entertainment Inc Data processing
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
WO2019058691A1 (ja) * 2017-09-20 2019-03-28 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
EP3846445A4 (en) * 2018-08-31 2021-10-27 Sony Group Corporation DATA PROCESSING APPARATUS, DATA PROCESSING PROCESS, AND DATA PROCESSING PROGRAM
CN109011490B (zh) * 2018-10-24 2021-02-02 深圳市衡泰信科技有限公司 基于红外双目高速摄像的高尔夫运动地面感测装置及方法
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR102149005B1 (ko) * 2018-11-16 2020-08-28 포디리플레이코리아 주식회사 객체 속도 계산 및 표시 방법 및 장치
JP7267719B2 (ja) * 2018-11-28 2023-05-02 キヤノン株式会社 光電変換装置、移動体、信号処理装置
WO2020235401A1 (ja) * 2019-05-21 2020-11-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7451171B2 (ja) * 2019-12-24 2024-03-18 キヤノン株式会社 画像処理装置
US11699239B2 (en) 2020-04-21 2023-07-11 The Board of Trustees of the University of Illinois (Urbana, IL) Image processing method and apparatus
JP7518684B2 (ja) * 2020-07-16 2024-07-18 キヤノン株式会社 撮像制御装置、その制御方法、プログラム及び記録媒体
CN111988530B (zh) * 2020-09-01 2022-07-29 青岛海信移动通信技术股份有限公司 移动终端及其拍照方法
CN113395456B (zh) * 2021-08-17 2021-11-30 南昌龙旗信息技术有限公司 辅助拍摄方法、装置、电子设备及计算机可读存储介质
CN114387552B (zh) * 2022-01-13 2022-08-26 电子科技大学 基于生物视觉机理的旋翼无人机红外视频跟踪方法
CN114522410B (zh) * 2022-02-14 2023-04-25 复旦大学 一种羽毛球过网高度检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN103119611A (zh) * 2010-06-25 2013-05-22 天宝导航有限公司 基于图像的定位的方法和设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429540B2 (ja) 1993-12-09 2003-07-22 オリンパス光学工業株式会社 水陸両用カメラの光学系
JP2974316B1 (ja) 1998-11-25 1999-11-10 有限会社 白沙堂 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
US7046292B2 (en) 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
JP2003241066A (ja) 2002-02-15 2003-08-27 Olympus Optical Co Ltd カメラ
JP2005176274A (ja) 2003-12-15 2005-06-30 Canon Inc 撮像装置及び撮像制御方法
EP1864505B1 (en) * 2005-03-29 2020-01-15 Sportvu Ltd. Real-time objects tracking and motion capture in sports events
JP4528369B2 (ja) 2005-12-17 2010-08-18 株式会社山口シネマ 複数のカメラの連動トラッキングシステム
US7973848B2 (en) * 2007-04-02 2011-07-05 Samsung Electronics Co., Ltd. Method and apparatus for providing composition information in digital image processing device
WO2009008164A1 (ja) 2007-07-09 2009-01-15 Panasonic Corporation デジタル一眼レフカメラ
JP2010239169A (ja) 2007-08-08 2010-10-21 Panasonic Corp 撮像装置
KR20090028329A (ko) 2007-09-14 2009-03-18 삼성테크윈 주식회사 초점이 맞지않는 원인을 알려주는 디지털 카메라의 제어방법
JP2010041299A (ja) 2008-08-04 2010-02-18 Nikon Corp 電子カメラ
KR101505681B1 (ko) 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US8913176B2 (en) 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101689171B1 (ko) * 2010-10-11 2016-12-23 엘지전자 주식회사 이동 단말기 및 이를 이용한 이미지 촬상 방법
KR101700357B1 (ko) 2009-11-30 2017-01-26 삼성전자주식회사 점프 영상 촬영 장치 및 방법
JP5603663B2 (ja) 2010-06-02 2014-10-08 Toa株式会社 移動体軌跡表示装置および移動体軌跡表示プログラム
KR101708303B1 (ko) 2010-08-18 2017-02-20 엘지전자 주식회사 정보 전송 방법 및 이를 이용하는 이동 단말기
JP2012049651A (ja) 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
JP5693094B2 (ja) 2010-08-26 2015-04-01 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
US20130017069A1 (en) * 2011-07-13 2013-01-17 General Electric Company Turbine, a turbine seal structure and a process of servicing a turbine
US20130025816A1 (en) * 2011-07-29 2013-01-31 Bochiechio Mario P Die casting system and method
JP5904773B2 (ja) 2011-12-02 2016-04-20 オリンパス株式会社 カメラシステム、交換レンズ、およびカメラ
US9240059B2 (en) * 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
JP5931464B2 (ja) * 2012-01-20 2016-06-08 オリンパス株式会社 撮影装置
EP2824425B1 (en) * 2012-03-06 2017-05-17 Nissan Motor Co., Ltd Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object
US9007508B2 (en) * 2012-03-29 2015-04-14 Sony Corporation Portable device, photographing method, and program for setting a target region and performing an image capturing operation when a target is detected in the target region
US20130329111A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Contextual help guide
US9293357B2 (en) * 2012-07-02 2016-03-22 Texas Instruments Incorporated Sinker with a reduced width
KR101938381B1 (ko) 2012-07-10 2019-01-14 삼성전자주식회사 촬상 장치 및 촬상 방법
JP6045348B2 (ja) 2013-01-04 2016-12-14 オリンパス株式会社 撮像装置及び撮像装置の制御方法
JP5479636B2 (ja) 2013-05-15 2014-04-23 オリンパスイメージング株式会社 カメラ及びカメラの撮影動作方法
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN103119611A (zh) * 2010-06-25 2013-05-22 天宝导航有限公司 基于图像的定位的方法和设备

Also Published As

Publication number Publication date
KR102232517B1 (ko) 2021-03-26
KR20160031900A (ko) 2016-03-23
US10477093B2 (en) 2019-11-12
CN106605236A (zh) 2017-04-26
AU2015319023A1 (en) 2017-02-02
AU2015319023B2 (en) 2018-07-26
EP3195589A1 (en) 2017-07-26
EP3195589A4 (en) 2018-04-04
US20160080633A1 (en) 2016-03-17
EP3195589B1 (en) 2020-07-22
WO2016043423A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN106605236B (zh) 用于捕捉图像的方法和图像捕捉装置
US7706674B2 (en) Device and method for controlling flash
US9813607B2 (en) Method and apparatus for image capture targeting
US9367746B2 (en) Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images
US9088721B2 (en) Imaging apparatus and display control method thereof
US10447940B2 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
CN106575027A (zh) 摄像装置及其被摄体跟踪方法
CN101931746B (zh) 摄像装置以及摄像方法
US10275917B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US8767096B2 (en) Image processing method and apparatus
CN102404503B (zh) 自动调焦设备和摄像设备
JP2001086395A (ja) 撮像装置
CN103299227A (zh) 图像捕获设备和图像捕获方法
US20130076968A1 (en) Image sensing device
US8547454B2 (en) Digital image photographing apparatuses and methods of controlling the same to provide location information
JP2010239169A (ja) 撮像装置
JP6998454B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
US20160323493A1 (en) Image pickup apparatus and method for controlling the same
US10277801B2 (en) Image capture device
JP2011193066A (ja) 撮像装置
WO2017071560A1 (zh) 图片处理方法及装置
US20220159190A1 (en) Image processing device, image processing method, program, and imaging device
JP2004221650A5 (zh)
JP2012186538A (ja) 電子カメラ、画像表示装置、プログラム及び記録媒体
JP5683898B2 (ja) 追尾装置および追尾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant