CN113727013A - 提供图像拍摄指南的方法或者装置 - Google Patents

提供图像拍摄指南的方法或者装置 Download PDF

Info

Publication number
CN113727013A
CN113727013A CN202110245479.5A CN202110245479A CN113727013A CN 113727013 A CN113727013 A CN 113727013A CN 202110245479 A CN202110245479 A CN 202110245479A CN 113727013 A CN113727013 A CN 113727013A
Authority
CN
China
Prior art keywords
image
display
electronic device
processor
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110245479.5A
Other languages
English (en)
Inventor
文灿奎
权范埈
张达峰
崔智焕
金哲洙
赵成大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to KR1020210034817A priority Critical patent/KR20210138483A/ko
Priority to PCT/KR2021/004718 priority patent/WO2021230507A1/ko
Publication of CN113727013A publication Critical patent/CN113727013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Abstract

根据本文的一实施例的电子装置(electronic device)可以包括相机、距离传感器、显示器以及处理器。所述处理器可以通过所述相机获取包括被摄体的图像,通过所述距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据,基于所述距离数据判断发生散焦(de‑focus),在所述图像内感测包括所述被摄体的至少一部分的关注区域,在所述图像内裁剪(crop)至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器放大显示所裁剪的区域。

Description

提供图像拍摄指南的方法或者装置
技术领域
本公开涉及利用电子装置中具备的相机和距离传感器,向用户提供图像拍摄指南的技术。
背景技术
最小焦距是指为了在被摄体聚焦而所需的图像传感器和被摄体之间的最小的距离。被摄体从诸如相机的拍摄装置位于最小焦距以内时,由于光学极限,而拍摄出散焦(de-focus)图像。
发明内容
最近,随着安装在手机装置内的图像传感器的尺寸的增大,相机的最小焦距在增大。由此,对位于最小焦距以内的被摄体,拍摄出散焦图像的问题在增加。
另外,根据现有技术的电子装置在分析图像中包含的模糊(blur)时,不考虑被摄体的固有特征,仅利用图像的频率分析等低级特征(low level feature)。
根据本文的一实施例的电子装置(electronic device)可以包括:相机、距离传感器、显示器以及至少一个处理器,所述至少一个处理器与所述相机、所述距离传感器以及所述显示器电连接,所述至少一个处理器通过所述相机获取包括被摄体的图像,通过所述距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据,基于所述距离数据判断发生散焦(de-focus),在所述图像内感测包括所述被摄体的至少一部分的关注区域,在所述图像内裁剪(crop)至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器放大显示所裁剪的区域。
根据本文的一实施例的电子装置的动作方法可以包括:通过所述电子装置中包含的相机获取包括被摄体的图像的动作;通过所述电子装置中包含的距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据的动作;基于所述距离数据判断发生散焦的动作;在所述图像内感测包括所述被摄体的至少一部分的关注区域的动作;在所述图像内裁剪(crop)至少包括所述关注区域的区域的动作;以及与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域的动作。
根据本文的一实施例的电子装置可以包括:相机、距离传感器、显示器以及至少一个处理器,所述至少一个处理器与所述相机、所述距离传感器以及所述显示器电连接,所述至少一个处理器通过所述相机获取包括被摄体的图像,通过所述距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据,基于所述距离数据判断发生散焦,在所述显示器上显示引导所述被摄体和所述电子装置之间的距离成为最小焦距以上的消息。
根据本文中公开的多种实施例,用户可以认识到图像内包含的模糊为拍摄位于最小焦距内的被摄体产生的散焦导致的模糊。另外,根据本公开的电子装置可以通过分析被摄体的特性,向用户提议最佳的拍摄条件,用户可以根据电子装置提议的条件,改变拍摄条件,获取不发生散焦的图像。
另外,根据本公开的电子装置在分析图像时,不仅是利用低级特征,也利用目标检测、纹理检查(texture check)等高级特征(high level feature),因此,可以根据被摄体的固有特征,提议最佳的拍摄条件。
本公开中可以获得的效果不限于以上提及的效果,尚未提及的其他效果可以通过以下的记载供本公开所属技术领域中具有通常知识的人明确理解。
附图说明
图1是示出根据一实施例的电子装置。
图2是根据一实施例的电子装置的框图(block diagram)。
图3是示出根据一实施例,电子装置裁剪以及放大关注区域并显示在显示器上,同时提供图像拍摄指南的方法的流程图(flow chart)。
图4是示出根据一实施例,接收到对第一视觉可供性(visual affordance)的用户输入时,提供图像拍摄指南的方法的流程图。
图5是示出根据一实施例,接收到对第二视觉可供性的用户输入时的动作的流程图。
图6是示出根据一实施例,分析图像以及距离数据的方法的流程图。
图7是示出根据一实施例,提供图像拍摄指南的示例。
图8是示出根据一实施例,随着被摄体和电子装置之间的距离变远,在图像内裁剪以及放大的关注区域的示例。
图9是示出根据一实施例,引导关注区域位于图像的中央的UI的示例。
图10是示出根据一实施例,通过指示散焦的消息,提供图像拍摄指南的方法的流程图。
图11是示出根据一实施例,指示散焦的消息的示例。
图12是根据各种实施例的网络环境内的电子装置的框图。
图13是示例根据各种实施例的相机模块的框图。
具体实施方式
图1是示出根据一实施例的电子装置。
参考图1,可以在根据一实施例的电子装置100的前面布置有显示器110。在一实施例中,显示器110可以占据电子装置100的前面的大部分。可以在电子装置100的前面布置有显示器110以及围绕显示器110的至少一部分边缘的边框(bezel)120区域。在图1的示例中,显示器110可以包括平面区域(flat area)111和在平面区域111朝向电子装置100的侧面延伸的曲面区域(curved area)112。图1中仅对一侧(例如:左侧)示出曲面区域112,然而可以理解为在相反侧也同样形成有曲面区域。另外,图1中图示的电子装置100为一个示例,可以实施为各种实施例。例如,电子装置100的显示器110可以仅包括平面区域111而没有曲面区域112,或者不是两侧而是仅在一侧边缘具备曲面区域112。另外,在一实施例中,曲面区域也可以朝电子装置100的后面延伸,从而电子装置100进一步具备平面区域。
在一实施例中,可以在显示器110的第一区域140包括用于识别用户的指纹的指纹传感器141。指纹传感器141可以布置在显示器110的下层,从而不被用户看到或者布置为难以看到。另外,除了指纹传感器141之外,可以在显示器110的一部分区域进一步布置有用于认证用户/生物的传感器。在其他实施例中,用于认证用户/生物的传感器可以布置在边框120的一个区域。例如,可以是用于认证虹膜的IR(红外)传感器通过显示器110的一个区域暴露,或者通过边框120的一个区域暴露。
在一实施例中,可以在电子装置100的边框120中的至少一个区域或者显示器110的至少一个区域包括传感器143。所述传感器143可以在与相机模块(例如:前置相机131、后置相机132)邻接的距离上布置或者与相机模块形成为一个模块。
在一实施例中,可以在电子装置100的前面布置有前置相机131。在图1的实施例中示出前置相机131通过显示器110的一个区域暴露,然而在其他实施例中,前置相机131可以通过边框120暴露。
在一实施例中,显示器110可以在画面显示区域(例如:平面区域111、曲面区域112)的背面包括传感器模块、相机模块(例如:前置相机131、后置相机132)以及发光元件(例如:LED)中的至少一个。
在一实施例中,可以在电子装置100的前面、侧面以及/或者后面中的至少一面的背面布置相机模块朝向所述前面、所述侧面以及/或者所述后面。例如,前置相机131可以在视觉上不朝画面显示区域(例如:平面区域111、曲面区域112)暴露,可以包括隐藏的屏下相机(UDC,under display camera)。在一实施例中,电子装置100可以包括一个以上的前置相机131。例如,电子装置100可以包括诸如第一前置相机以及第二前置相机两个前置相机。在一实施例中,第一前置相机和第二前置相机可以是具有相同设计结构(例如:像素)的同种相机,然而第一前置相机和第二前置相机可以由不同设计结构的相机实现。电子装置100可以通过两个前置相机,支援与双相机相关的功能(例如:3D拍摄、自动对焦(auto focus)等)。
在一实施例中,可以在电子装置100的后面布置有后置相机132。后置相机132可以通过后盖160的相机区域130暴露。在一实施例中,电子装置100可以包括布置在相机区域130的多个后置相机。例如,电子装置100可以包括两个以上的后置相机。例如,电子装置100可以包括第一后置相机、第二后置相机以及第三后置相机。第一后置相机、第二后置相机以及第三后置相机可以彼此具有不同的设计结构。例如,第一后置相机和第二后置相机以及/或者第三后置相机的FOV(视场角)、像素、光圈、是否支援光学变焦/数码变焦、是否支援图像稳定技术、各个相机中包含的透镜组的种类以及/或者排列等可以彼此不同。例如,可以是第一后置相机为一般相机,第二后置相机为用于广角拍摄的相机(例如:广角相机),第三后置相机为用于远摄的相机。在本文的实施例中,对前置相机的功能或者特性的说明可以应用到后置相机,反之亦可。
在一实施例中,可以在相机区域130进一步布置有用于感测被摄体和电子装置100之间的距离的距离传感器145、用于目标检测的传感器以及/或者诸如闪光灯辅助拍摄的各种硬件。
在一实施例中,所述距离传感器145可以在与相机模块(例如:前置相机131、后置相机132)邻接的距离上布置或者与相机模块形成为一个模块。例如,距离传感器145可以作为IR(红外;infrared)相机(例如:TOF(time of flight)相机)、结构光(structuredlight)相机)的至少一部分动作或者作为传感器模块的至少一部分动作。例如,TOF相机可以作为用于感测与被摄体的距离的传感器模块的至少一部分动作。
在一实施例中,可以在电子装置100的侧面部布置有至少一个物理按键。例如,可以以电子装置100的前面为基准,在右侧边缘布置有用于ON/OFF(开启/关闭)显示器110或者ON/OFF(开启/关闭)电子装置100的电源的第一功能键151。在一实施例中,可以以电子装置100的前面为基准,在左侧边缘布置有用于控制电子装置100的音量或者控制画面亮度等的第二功能键152。除此之外,也可以在电子装置100的前面或者后面进一步布置有按钮或者按键。例如,可以在前面的边框120中的下端区域布置有映射特定功能的物理按钮或者触控按钮。
图1中图示的电子装置100属于一个示例,不限制应用本文中公开的技术思想的装置的形态。本文中公开的技术思想可以应用在多种用户装置。例如,本文中公开的技术思想也可以应用在采用柔性显示器110以及铰链结构,从而可以横向折叠或者可以竖向折叠的可折叠电子装置、或者平板电脑或者笔记本电脑。例如,图示的示例的电子装置100示出杆式(bar type)或者平板型(plate type)的外观,然而本文的各种实施例不限于此。例如,图示的电子装置可以为卷轴式电子装置的一部分。卷轴式电子装置(rollable electronicdevice)可以理解为是显示器110可以弯曲变形,从而至少一部分卷曲(wound or rolled)或者可以收纳到电子装置100的内部的电子装置。可以根据用户的需要,卷轴式电子装置展开显示器110或者向外部暴露显示器110的更宽的面积,从而扩展画面显示区域(例如:平面区域111、曲面区域112)来使用。显示器110也可以被称为滑出式显示器(slide-outdisplay)或者扩展式显示器(expandable display)。
以下为了方便说明,以图1中图示的电子装置100为基准,说明各种实施例。
图2是根据一实施例的电子装置的框图(block diagram)。
参考图2,电子装置100可以包括相机210、距离传感器145、处理器220以及显示器110。
根据一实施例,相机210可以包括图1中图示的后置相机132或者前置相机131。
根据一实施例,相机210可以对位于比最小焦距远的被摄体聚焦,因此被摄体位于比最小焦距远时,处理器220可以获取表现清晰的被摄体的图像。相机210对位于比最小焦距近的被摄体无法聚焦,因此可能会发生散焦。例如,相机210的最小焦距为50cm时,相机210可以对从图像传感器隔开70cm的被摄体聚焦,然而对从图像传感器隔开30cm的被摄体无法聚焦。
根据一实施例,距离传感器145可以通过非接触方式感测物体或者利用超声波测定与物体的距离。例如,距离传感器145可以测定被摄体和电子装置100之间的距离。处理器220为了判断被摄体是否存在于比相机210的最小焦距远的位置或者近的位置,可以利用通过所述距离传感器145获取的距离数据。
根据一实施例,可以理解为处理器220包括至少一个处理器。例如,处理器220可以包括AP(应用处理器;application processor)、ISP(图像信号处理器;image signalprocessor)、CP(通信处理器;communication processor)中的至少一个。在所述观点上,可以参考处理器220为至少一个处理器或者一个以上的处理器。
在一实施例中,处理器220可以运行/控制电子装置100中支援的多种功能。例如,处理器220可以通过运行存储在存储器中的由编程语言编写的代码,从而运行应用程序,控制各种硬件。例如,处理器220可以运行存储在存储器中的支援拍摄功能的应用程序。另外,处理器220可以设定并支援合适的拍摄模式以运行相机210并使相机210执行用户所意图的动作。
根据一实施例,处理器220可以分析通过相机210获取的图像和通过距离传感器145获取的距离数据。处理器220在分析图像时,可以利用分析图像内的频率成分的低级特征。另外,处理器220可以利用诸如目标检测(object detection)、纹理检查(texturecheck)以及高级特征提取(extract high level feature)的高级特征(high levelfeature),分析图像。详细内容则在图6中后述。
在一实施例中,显示器110可以显示由处理器220运行的应用程序的运行画面、或者通过相机210获取的图像、处理器220裁剪(crop,裁切)以及放大的图像、引导用户的行动的消息、或者视觉可供性(visual affordance)中的至少一个。另外,处理器220可以在显示器上110实时显示通过相机210获取的图像数据。
在一实施例中,显示器110可以与触控板实现为一体化。显示器110可以支援触摸功能,可以感测诸如利用手指的触摸的用户输入,并传递给处理器220。显示器110可以与用于驱动显示器110的显示驱动电路(display driver integrated circuit,DDIC)连接,触控板可以与感测触摸坐标并处理触摸相关算法的触摸IC(集成电路)连接。在一实施例中,显示驱动电路和触摸IC可以形成为一体,在其他实施例中,显示驱动电路和触摸IC可以分开形成。显示驱动电路以及/或者触摸IC可以与处理器220电连接。
图3是示出根据一实施例,电子装置100裁剪以及放大关注区域并显示在显示器110上,同时提供图像拍摄指南的方法的流程图。图3中说明的方法可以由电子装置100或者电子装置100的处理器220运行。
根据一实施例,在动作310中,处理器220可以通过相机210获取包括被摄体的图像,通过距离传感器145获取对被摄体和电子装置100之间的距离的距离数据。
根据一实施例,在动作320中,处理器220可以基于所述距离数据,判断发生散焦。
根据一实施例,当被摄体和电子装置100之间的距离为最小焦距以内时,会发生散焦。此时,处理器220可以分析通过距离传感器145获取的距离数据,判断发生散焦。另外,处理器220可以分析图像内包含的模糊的量,从而在判断发生散焦时补充利用。处理器220为了校正距离数据的分析结果中可以产生的误差,可以利用图像分析结果。处理器220可以基于距离数据,判断图像内包含的模糊为因不足最小焦距中的拍摄产生的散焦导致的。
根据一实施例,在动作330中,处理器220可以在图像内感测包括被摄体的至少一部分的关注区域。
根据一实施例,处理器220可以通过目标检测,感测关注区域。处理器220可以在整个图像中掌握属于被摄体的区域,指定为关注区域。关注区域可以包括整个被摄体或者被摄体的一部分。详细内容则在图6中后述。
根据一实施例,处理器220在感测到关注区域时,可以在显示器110上显示围绕关注区域的线条。例如,处理器220可以在显示器110上显示围绕关注区域的框(box)。
根据一实施例,在动作340中,处理器220可以在图像内裁剪至少包括所述关注区域的区域。处理器220可以仅裁剪关注区域,或者裁剪包括关注区域在内的更宽的区域。
根据一实施例,在动作350中,处理器220可以与指示散焦的消息一起,在显示器110上放大显示所裁剪的区域。
根据一实施例,所述消息可以包括电子装置100从被摄体位于比最小焦距近而产生散焦的内容,或者使电子装置100朝远离被摄体的方向移动的内容。例如,所述消息可以为使电子装置100远离被摄体移动30cm以上的内容。
根据一实施例,处理器220可以通过在显示器110上放大显示裁剪的区域的动作,从而向用户通知图像内的关注区域中发生散焦的事实。另外,处理器220可以在显示器110上显示指示散焦的消息,从而引导用户将电子装置100朝远离被摄体的方向移动以消除散焦。用户可以从在电子装置100显示的指示散焦的消息以及未在被摄体聚焦的图像中,认识到产生散焦的情况以及需要将电子装置100朝远离被摄体的方向移动。用户可以将电子装置100朝远离被摄体的方向移动,当被摄体和电子装置100之间的距离成为最小焦距以上时,处理器220可以获取在被摄体聚焦的清晰的图像。
根据一实施例,处理器220在动作330中感测到所述关注区域时,可以在显示器110上显示第一视觉可供性。当存在对第一视觉可供性的用户输入时,处理器220可以在图像内裁剪至少包括关注区域的区域,与指示散焦的消息一起,在显示器110上放大显示所裁剪的区域。详细内容则在图4中后述。
根据一实施例,处理器220在动作330中感测到所述关注区域时,即便另外没有用户的输入,也可以在图像内自动裁剪至少包括关注区域的区域,与指示散焦的消息一起,在显示器110上放大显示所裁剪的区域。
图4是示出根据一实施例,接收到对第一视觉可供性的用户输入时,提供图像拍摄指南的方法的流程图。
根据一实施例,在动作410中,处理器220可以在图像内感测包括被摄体的至少一部分的关注区域。动作410可以与图3的动作330相对应。
根据一实施例,在动作420中,处理器220可以在显示器上显示第一视觉可供性。第一视觉可供性可以为在显示器110上显示的软按钮形态。
根据一实施例,电子装置100可以引导用户按照适合被摄体的拍摄的倍率进行拍摄。例如,处理器220可以在显示器上显示发生散焦时将相机镜头的倍率调整为特定倍率的第一视觉可供性。
根据一实施例,在动作430中,处理器220可以判断接收到对第一视觉可供性的用户输入。例如,处理器220可以接收利用手指或者操作工具触摸触摸屏的触摸输入或者语音指令。
根据一实施例,在动作440中,处理器220在接收到对第一视觉可供性的用户输入时,可以在图像内裁剪至少包括所述关注区域的区域。动作440可以与图3的动作340相对应。
根据一实施例,在动作450中,处理器220可以与指示散焦的消息一起,在显示器110上放大显示所裁剪的区域。动作450可以与图3的动作350相对应。
根据一实施例,处理器220可以通过在显示器110上显示第一视觉可供性,从而根据用户的选择,在显示器110上显示裁剪以及放大的图像。例如,用户可以触摸第一视觉可供性观看在显示器110上显示的裁剪以及放大的图像,由此准确认识到发生散焦的情况。举出其他示例,用户可以不触摸第一视觉可供性,提供得到未裁剪以及未放大的图像。
图5是示出根据一实施例,接收到对第二视觉可供性的用户输入时的动作的流程图。
根据一实施例,在动作510中,处理器220可以与指示散焦的消息一起放大裁剪的区域,并显示在显示器110上,同时在显示器110上一同显示第二视觉可供性。第二视觉可供性可以为在显示器110上显示的软按钮形态。
根据一实施例,处理器220在感测到关注区域之后,接收到对在显示器110显示的第一视觉可供性的用户输入时,或者随着对关注区域的感测,可以与指示散焦的消息一起,自动放大裁剪的区域,并显示在显示器110上。此时,处理器110可以与所述消息、所裁剪以及放大的图像一起,在显示器110上显示第二视觉可供性。
根据一实施例,在动作520中,处理器220可以判断接收到对第二视觉可供性的用户输入。例如,处理器220可以接收利用手指或者操作工具(例如:电子笔)触摸触摸屏的触摸输入。
根据一实施例,在动作530中,处理器220可以在显示器110上显示未裁剪或者未放大的图像。处理器220在接收到对第二视觉可供性的用户输入时,可以停止在图像内裁剪至少包括关注区域的区域的动作以及在显示器110上放大显示所裁剪的区域的动作。处理器220可以不裁剪或者不放大通过相机210获取的图像,并显示在显示器110上。
根据一实施例,处理器220接收到对第二视觉可供性的用户输入时,可以在显示器110上停止显示指示散焦的消息。例如,在电子装置100从被摄体位于比最小焦距远的状态下,接收到对第二视觉可供性的用户输入时,处理器220可以在显示器110上不显示指示散焦的消息。根据其他实施例,处理器220也可以在接收到对第二视觉可供性的用户输入的情况下,不停止对指示散焦的消息的显示。例如,即便是接收到对第二视觉可供性的用户输入,只要被摄体和电子装置100之间的距离为最小焦距以内,由此保持散焦的状态,则处理器220可以在显示器110上继续显示指示散焦的消息。
图6是示出根据一实施例,分析图像以及距离数据的方法的流程图。
根据一实施例,在动作610中,处理器220可以通过相机210获取图像,通过距离传感器145获取对被摄体和电子装置100之间的距离的距离数据。动作610可以与图3的动作310相对应。
根据一实施例,在动作620中,处理器220可以分析通过相机210获取的图像,判断图像内包含的模糊是否为被摄体移动导致的动态模糊(motion blur)。
根据一实施例,在动作630中,处理器220判断出图像内的模糊不是动态模糊时,可以基于所述距离数据判断发生散焦,判断图像内的模糊是否为散焦导致的模糊。在一实施例中,处理器220可以分析图像中包含的模糊的量,将分析的结果用在是否发生散焦的判断中。
根据一实施例,被摄体和电子装置100之间的距离为最小焦距以内时,处理器220可以基于通过距离传感器145获取的距离数据,判断发生散焦,可以判断图像内的模糊为散焦导致的模糊。
根据一实施例,在动作640中,处理器220判断为图像内包含的模糊为散焦导致的模糊时,可以在所述图像内通过目标检测,感测包括被摄体的至少一部分的关注区域。
根据一实施例,处理器220的目标检测(object detection)动作可以包括:分析通过相机210获取的图像,识别图像的特定部分中存在物体的动作(目标识别;objectrecognition);判断所述物体为何种物体的动作(目标分类;object classification);在所述图像内寻找所述物体的准确位置的动作(目标定位;object localization)。
根据一实施例,在动作650中,处理器220可以在图像内进行纹理检查以及高级特征提取。
根据一实施例,处理器220可以通过纹理检查,掌握被摄体的质感,从而判断是需要何种程度的清晰度的被摄体。例如,当为包含字体或者图像的被摄体时,需要拍摄清晰,因此在对该被摄体的图像中存在模糊时,电子装置100可以判断为需要调整被摄体和电子装置100之间的距离。举出其他示例,由于是被摄体为墙壁或者没有纹理的面而产生的模糊时,电子装置100可以判断为无需调整被摄体和电子装置100之间的距离。
根据一实施例,处理器220可以通过高级特征提取,掌握图像内包含的模糊的特性。例如,处理器220可以判断图像中包含的模糊为用户意图产生的。举出其他示例,处理器220可以判断图像中包含的模糊为散焦导致的模糊。
根据一实施例,动作620至动作650可以与图3的动作320以及330相对应。
图7是示出根据一实施例,提供图像拍摄指南的示例。
根据一实施例,附图标记710至附图标记730示出提供图3至图6中图示的图像拍摄指南的示例。
根据一实施例,附图标记710示出发生散焦时,在显示器110上显示的画面。
根据一实施例,处理器220可以分析通过相机210获取的图像,判断是否为被摄体711移动导致的动态模糊。分析图像的结果,处理器220确认到被摄体周围的模糊中没有方向性,从而判断图像的模糊不是动态模糊。假设被摄体711和周围的模糊具有预定的方向性时,处理器220可以判断图像的模糊为被摄体711移动导致的模糊。
根据一实施例,处理器220判断图像内包含的模糊不是动态模糊时,可以基于距离数据,判断图像内包含的模糊是否为散焦导致的模糊。由于被摄体711和电子装置100之间的距离为最小焦距以内,因此处理器220可以判断发生散焦,可以判断图像内的模糊为散焦导致的模糊。
根据一实施例,附图标记720示出在图像内感测到包括被摄体711的至少一部分的关注区域时,在显示器110上显示的画面。关注区域可以包括被摄体711的一部分。
根据一实施例,处理器220判断图像内包含的模糊为散焦导致的模糊时,可以在图像内通过目标检测,感测关注区域。处理器220可以在图像内感测在特定部分中存在被摄体711,判断被摄体711为名片,从而将包含被摄体711的至少一部分的区域感测为关注区域。
根据一实施例,处理器220可以通过纹理检查,掌握被摄体711的质感,由于是包含字体的被摄体711,因此判断为需要拍摄清晰。处理器220可以通过高级特征提取,判断由于图像中包含的模糊为散焦导致的而不是用户意图的,因此需要调整被摄体711和电子装置100之间的距离。
根据一实施例,处理器220感测到关注区域时,可以在显示器110上显示围绕关注区域的线条721。处理器220可以用图像内容易看得到的颜色以及粗细表示显示器110中显示的线条721。
根据一实施例,处理器220在感测到关注区域时,可以在显示器110上显示第一视觉可供性725。第一视觉可供性725可以包括放大关注区域的文句。
根据一实施例,附图标记730示出接收到对第一视觉可供性725的用户输入时,在显示器110上显示的画面。
根据一实施例,处理器220在接收到对第一视觉可供性725的用户输入时,可以裁剪关注区域,在显示器110上放大显示裁剪的区域。处理器220可以在显示器110上一同显示指示散焦的消息733。消息733可以包括使电子装置100朝远离被摄体的方向移动的内容。
根据一实施例,处理器220可以在图像内感测到关注区域之后,在显示器110上不显示第一视觉可供性725,自动显示诸如附图标记730的放大图像。此时,即便没有用户的输入,电子装置100也可以通过显示器110提供裁剪以及放大关注区域的图像。
根据一实施例,处理器220可以与放大裁剪的区域的图像以及指示散焦的消息733一起,在显示器110上显示第二视觉可供性735。处理器220在接收到对第二视觉可供性735的用户输入时,可以停止裁剪关注区域的动作以及放大裁剪的区域的动作。处理器220可以在显示器110上显示未裁剪或者未放大的图像。
根据一实施例,将电子装置100从被摄体移动比最小焦距远之后,存在对第二视觉可供性735的用户输入时,处理器220可以在显示器110上显示未裁剪或者未放大的图像的同时,停止显示指示散焦的消息733。根据其他实施例,电子装置100在从被摄体位于最小焦距以内而保持散焦的状态下,接收到对第二视觉可供性735的用户输入时,处理器220可以在显示器110上继续显示指示散焦的消息733。本文中,视觉可供性可以代替/参考视觉对象、UI项目、图标、菜单、指示器等。
图8是示出根据一实施例,随着被摄体和电子装置之间的距离变远,在图像内裁剪以及放大的关注区域的示例。
根据一实施例,图8示出电子装置100朝远离被摄体的方向移动时,未裁剪或者未放大的图像810、820、830和裁剪并放大的关注区域的图像815、825、835。
根据一实施例,附图标记810示出电子装置100从被摄体位于比最小焦距近而发生散焦的图像。
根据一实施例,附图标记815示出在附图标记810的图像内裁剪处理器220感测的关注区域811,在显示器110上放大显示裁剪的区域的图像。由于被摄体和电子装置100之间的距离不足最小焦距,因此在被摄体812发生散焦,从而可以在图像内显示强烈的模糊。
根据一实施例,附图标记820示出虽然电子装置100朝远离被摄体的方向移动,然而被摄体和电子装置100之间的距离比最小焦距近的情况的图像。
根据一实施例,附图标记825示出在附图标记820的图像内裁剪处理器220感测的关注区域821,在显示器110上放大显示裁剪的区域的图像。相比附图标记810的情况,被摄体和电子装置100之间的距离变远,因此相比附图标记815的情况,在被摄体822发生少的散焦,从而可以在图像内显示弱的模糊。
根据一实施例,附图标记830示出被摄体和电子装置100之间的距离为最小焦距以上的情况的图像。
根据一实施例,附图标记835示出在附图标记830的图像内裁剪处理器220感测的关注区域831,在显示器110上放大显示裁剪的区域的图像。由于电子装置100从被摄体位于比最小焦距远,因此在被摄体832聚焦而可以是清晰的图像。
根据一实施例,用户将电子装置100朝远离被摄体的方向移动的期间,在显示器110上显示的被摄体812、822、832的大小可以保持一定。电子装置100离被摄体越远,则在通过相机210获取的图像810、820、830中,关注区域811、821、831的大小变小,而电子装置100在所述图像810、820、830中感测关注区域811、821、831并进行裁剪,在显示器110放大显示裁剪的区域。因此,在显示器110上显示的关注区域的图像815、825、835的大小可以保持一定。
图9是示出根据一实施例,引导关注区域位于图像的中央的UI的示例。
根据一实施例,处理器220可以在图像内感测包括被摄体的至少一部分的关注区域。此时,关注区域可以不位于图像的中央,而位于边缘。处理器220可以在显示器110上显示诸如箭头的UI(用户界面)910。用户可以通过在显示器110上显示的UI910,调整电子装置100的位置以使关注区域位于图像的中央。
图10是示出根据一实施例,通过指示散焦的消息,提供图像拍摄指南的方法的流程图。图10中说明的方法可以由电子装置100或者电子装置100的处理器220运行。
根据一实施例,在动作1010中,处理器220可以通过相机210获取图像,通过距离传感器145获取对被摄体和电子装置100之间的距离的距离数据。动作1010可以与图3的动作310相对应。
根据一实施例,在动作1020中,处理器220可以基于所述距离数据,判断发生散焦。
根据一实施例,当被摄体和电子装置100之间的距离为最小焦距以内时,可以发生散焦。此时,处理器220可以分析通过距离传感器145获取的距离数据,判断发生散焦。另外,处理器220可以分析图像内包含的模糊的量,从而在判断发生散焦时补充利用。处理器220为了校正距离数据的分析结果中可以产生的误差,可以利用图像分析结果。处理器220可以基于距离数据,判断图像内包含的模糊为因不足最小焦距中的拍摄产生的散焦导致的。
根据一实施例,在动作1030中,处理器220可以在显示器110上显示引导被摄体和电子装置100之间的距离成为最小焦距以上的消息。用户可以通过在显示器110上显示的所述消息,认识到将电子装置100朝远离被摄体的方向移动时,可以消除散焦。
根据一实施例,处理器220在显示器110上显示消息期间,可以进一步使用扬声器或者发光装置(例如:LED灯)中的至少一个输出装置以通知发生散焦。根据其他实施例,处理器220为了向用户通知发生散焦,可以使用扬声器或者发光装置中的至少一个输出装置来代替在显示器110上显示所述消息。
根据一实施例,在动作1040中,处理器220可以判断被摄体和电子装置100之间的距离为最小焦距以上。用户通过在显示器110上显示的消息,认识到发生散焦之后,可以将电子装置100朝远离被摄体的方向移动。电子装置100可以分析距离数据,判断被摄体和电子装置100之间的距离成为最小焦距以上而不发生散焦。
根据一实施例,在动作1050中,处理器220可以响应于被摄体和电子装置100之间的距离为最小焦距以上,在显示器110中去除所述消息。用户将电子装置100从被摄体位于比最小焦距远时,不发生散焦,因此处理器220可以在显示器110上不显示所述消息。
图11是示出根据一实施例,指示散焦的消息的示例。
根据一实施例,处理器220可以基于通过距离传感器145获取的距离数据,判断发生散焦。处理器220可以在显示器110上显示引导被摄体和电子装置100之间的距离成为从所述被摄体最小焦距以上的消息1110。
根据一实施例,处理器220可以在显示器110上显示使电子装置100朝远离被摄体的方向移动的消息1110。根据其他实施例,处理器220可以通过消息提出需要将电子装置100朝远离被摄体的方向移动的准确的距离。
根据一实施例,处理器220可以在显示器110上显示消息1110的期间,进一步使用扬声器或者发光装置(例如:LED灯)中的至少一个输出装置以通知发生散焦。
图12是示出根据各种实施例的网络环境1200中的电子装置1201的框图。参照图12,网络环境1200中的电子装置1201可经由第一网络1298(例如,短距离无线通信网络)与电子装置1202进行通信,或者经由第二网络1299(例如,长距离无线通信网络)与电子装置1204或服务器1208中的至少一个进行通信。根据实施例,电子装置1201可经由服务器1208与电子装置1204进行通信。根据实施例,电子装置1201可包括处理器1220、存储器1230、输入模块1250、声音输出模块1255、显示模块1260、音频模块1270、传感器模块1276、接口1277、连接端1278、触觉模块1279、相机模块1280、电力管理模块1288、电池1289、通信模块1290、用户识别模块(SIM)1296或天线模块1297。在一些实施例中,可从电子装置1201中省略上述部件中的至少一个(例如,1212连接端1278),或者可将一个或更多个其它部件添加到电子装置1201中。在一些实施例中,可将上述部件中的一些部件(例如,传感器模块1276、相机模块1280或天线模块1297)实现为单个集成部件(例如,显示模块1260)1212。
处理器1220可运行例如软件(例如,程序1240)来控制电子装置1201的与处理器1220连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器1220可将从另一部件(例如,传感器模块1276或通信模块1290)接收到的命令或数据存储到易失性存储器1232中,对存储在易失性存储器1232中的命令或数据进行处理,并将结果数据存储在非易失性存储器1234中。根据实施例,处理器1220可包括主处理器1221(例如,中央处理器(CPU)或应用处理器(AP))或者与主处理器1221在操作上独立的或者相结合的辅助处理器1223(例如,图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如,当电子装置1201包括主处理器1221和辅助处理器1223时,辅助处理器1223可被适配为比主处理器1221耗电更少,或者被适配为专用于特定的功能。可将辅助处理器1223实现为与主处理器1221分离,或者实现为主处理器1221的部分。
在主处理器1221处于未激活(例如,睡眠)状态时,辅助处理器1223(而非主处理器1221)可控制与电子装置120112的部件之中的至少一个部件(例如,显示模块1260、传感器模块1276或通信模块1290)相关的功能或状态中的至少一些,或者在主处理器1221处于激活状态(例如,运行应用)时,辅助处理器1223可与主处理器1221一起来控制与电子装置1201的部件之中的至少一个部件(例如,显示模块1260、传感器模块1276或通信模块1290)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器1223(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器1223相关的另一部件(例如,相机模块1280或通信模块1290)的部分。根据实施例,辅助处理器1223(例如,神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如,可通过人工智能被执行之处的电子装置1201或经由单独的服务器(例如,服务器1208)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合,但不限于此。另外地或可选地,人工智能模型可包括除了硬件结构以外的软件结构。
存储器1230可存储由电子装置1201的至少一个部件(例如,处理器1220或传感器模块1276)使用的各种数据。所述各种数据可包括例如软件(例如,程序1240)以及针对与其相关的命令的输入数据或输出数据。存储器1230可包括易失性存储器1232或非易失性存储器1234。
可将程序1240作为软件存储在存储器1230中,并且程序1240可包括例如操作系统(OS)1242、中间件1244或应用1246。
输入模块1250可从电子装置1201的外部(例如,用户)接收将由电子装置1201的其它部件(例如,处理器1220)使用的命令或数据。输入模块1250可包括例如麦克风、鼠标、键盘、键(例如,按钮)或数字笔(例如,手写笔)。
声音输出模块1255可将声音信号输出到电子装置1201的外部。声音输出模块1255可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示模块1260可向电子装置1201的外部(例如,用户)视觉地提供信息。显示装置1260可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示模块1260可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块1270可将声音转换为电信号,反之亦可。根据实施例,音频模块1270可经由输入模块1250获得声音,或者经由声音输出模块1255或与电子装置1201直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置1202)的耳机输出声音。
传感器模块1276可检测电子装置1201的操作状态(例如,功率或温度)或电子装置1201外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块1276可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口1277可支持将用来使电子装置1201与外部电子装置(例如,电子装置1202)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口1277可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端1278可包括连接器,其中,电子装置1201可经由所述连接器与外部电子装置(例如,电子装置1202)物理连接。根据实施例,连接端1278可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块1279可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块1279可包括例如电机、压电元件或电刺激器。
相机模块1280可捕获静止图像或运动图像。根据实施例,相机模块1280可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块1288可管理对电子装置1201的供电。根据实施例,可将电力管理模块1288实现为例如电力管理集成电路(PMIC)的至少部分。
电池1289可对电子装置1201的至少一个部件供电。根据实施例,电池1289可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块1290可支持在电子装置1201与外部电子装置(例如,电子装置1202、电子装置1204或服务器1208)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块1290可包括能够与处理器1220(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块1290可包括无线通信模块1292(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块1294(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络1298(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络1299(例如,长距离通信网络,诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块1292可使用存储在用户识别模块1296中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络1298或第二网络1299)中的电子装置1201。
无线通信模块1292可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块1292可支持高频带(例如,毫米波带)以实现例如高数据传输速率。无线通信模块1292可支持用于确保高频带上的性能的各种技术,诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块1292可支持在电子装置1201、外部电子装置(例如,电子装置1204)或网络系统(例如,第二网络1299)中指定的各种要求。根据实施例,无线通信模块1292可支持用于实现eMBB的峰值数据速率(例如,20Gbps或更大)、用于实现mMTC的丢失覆盖(例如,164dB或更小)或者用于实现URLLC的U平面延迟(例如,对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小,或者1ms或更小的往返)。
天线模块1297可将信号或电力发送到电子装置1201的外部(例如,外部电子装置)或者从电子装置1201的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块1297可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块1297可包括多个天线(例如,阵列天线)。在这种情况下,可由例如通信模块1290(例如,无线通信模块1292)从所述多个天线中选择适合于在通信网络(诸如第一网络1298或第二网络1299)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块1290和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块1297的一部分。
根据各种实施例,天线模块1297可形成毫米波天线模块。根据实施例,毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如,阵列天线),其中,RFIC设置在印刷电路板的第一表面(例如,底表面)上,或与第一表面相邻并且能够支持指定的高频带(例如,毫米波带),所述多个天线设置在印刷电路板的第二表面(例如,顶部表面或侧表面)上,或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络1299连接的服务器1208在电子装置1201和外部电子装置1204之间发送或接收命令或数据。电子装置1202或电子装置1204中的每一个可以是与电子装置1201相同类型的装置,或者是与电子装置1201不同类型的装置。根据实施例,将在电子装置1201运行的全部操作或一些操作可在外部电子装置1202、外部电子装置1204或服务器1208中的一个或更多个运行。例如,如果电子装置1201应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置1201可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置1201除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置1201。电子装置1201可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置1201可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中,外部电子装置1204可包括物联网(IoT)装置。服务器1208可以是使用机器学习和/或神经网络的智能服务器。根据实施例,外部电子装置1204或服务器1208可被包括在第二网络1299中。电子装置1201可应用于基于5G通信技术或IoT相关技术的智能服务(例如,智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器1236或外部存储器1238)中的可由机器(例如,电子装置1201)读取的一个或更多个指令的软件(例如,程序1240)。例如,在处理器的控制下,所述机器(例如,电子装置1201)的处理器(例如,处理器1220)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体,并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
图13是示出根据各种实施例的相机模块1280的框图1300。参照图13,相机模块1280可包括镜头组件1310、闪光灯1320、图像传感器1330、图像稳定器1340、存储器1350(例如,缓冲存储器)或图像信号处理器1360。镜头组件1310可采集从将被拍摄图像的物体发出或反射的光。镜头组件1310可包括一个或更多个透镜。根据实施例,相机模块1280可包括多个镜头组件1310。在这种情况下,相机模块1280可形成例如双相机、360度相机或球形相机。多个镜头组件1310中的一些镜头组件1310可具有相同的镜头属性(例如,视角、焦距、自动对焦、f数或光学变焦),或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件1310可包括例如广角镜头或长焦镜头。
闪光灯1320可发光,其中,发出的光用于增强从物体反射的光。根据实施例,闪光灯1320可包括一个或更多个发光二极管(LED)(例如,红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器1330可通过将从物体发出或反射并经由镜头组件1310透射的光转换为电信号来获取与物体相应的图像。根据实施例,图像传感器1330可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如,RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器1330中的每个图像传感器。
图像稳定器1340可沿特定方向移动图像传感器1330或包括在镜头组件1310中的至少一个透镜,或者响应于相机模块1280或包括相机模块1280的电子装置1201的移动来控制图像传感器1330的可操作属性(例如,调整读出时序)。这样,允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如,图像模糊)的至少一部分。根据实施例,图像稳定器1340可使用布置在相机模块1280之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块1280或电子装置1201的这样的移动。根据实施例,可将图像稳定器1340实现为例如光学图像稳定器。
存储器1350可至少暂时地存储经由图像传感器1330获取的图像的至少一部分以用于后续的图像处理任务。例如,如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟,则可将获取的原始图像(例如,拜耳图案图像、高分辨率图像)存储在存储器1350中,并且可经由显示模块1260来预览其相应的副本图像(例如,低分辨率图像)。然后,如果满足了指定的条件(例如,通过用户的输入或系统命令),则可由例如图像信号处理器1360来获取和处理存储在存储器1350中的原始图像的至少一部分。根据实施例,可将存储器1350配置为存储器1230的至少一部分,或者可将存储器1350配置为独立于存储器1230进行操作的分离的存储器。
图像信号处理器1360可对经由图像传感器1330获取的图像或存储在存储器1350中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如,降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地,图像信号处理器1360可对包括在相机模块1280中的部件中的至少一个部件(例如,图像传感器1330)执行控制(例如,曝光时间控制或读出时序控制)。可将由图像信号处理器1360处理的图像存储回存储器1350以用于进一步处理,或者可将该图像提供给在相机模块1280之外的外部部件(例如,存储器1230、显示模块1260、电子装置1202、电子装置1204或服务器1208)。根据实施例,可将图像信号处理器1360配置为处理器1220的至少一部分,或者可将图像信号处理器1360配置为独立于处理器1220进行操作的分离的处理器。如果将图像信号处理器1360配置为与处理器1220分离的处理器,则可由处理器1220经由显示模块1260将由图像信号处理器1360处理的至少一个图像按照其原样显示,或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例,电子装置1201可包括具有不同属性或功能的多个相机模块1280。在这种情况下,所述多个相机模块1280中的至少一个相机模块1280可形成例如广角相机,并且所述多个相机模块1280中的至少另一个相机模块1280可形成长焦相机。类似地,所述多个相机模块1280中的至少一个相机模块1280可形成例如前置相机,并且所述多个相机模块1280中的至少另一个相机模块1280可形成后置相机。
根据本文的一实施例的电子装置可以包括相机、距离传感器、显示器以及至少一个处理器,所述至少一个处理器与所述相机、所述距离传感器以及所述显示器电连接。所述至少一个处理器可以通过所述相机获取包括被摄体的图像,通过所述距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据,基于所述距离数据判断发生散焦(de-focus),在所述图像内感测包括所述被摄体的至少一部分的关注区域,在所述图像内裁剪(crop)至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器放大显示所裁剪的区域。
所述至少一个处理器可以响应于感测到所述关注区域,在所述显示器上显示第一视觉可供性(affordance),存在对所述第一视觉可供性的用户输入时,在所述图像内裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以响应于感测到所述关注区域,在所述图像内自动裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以与指示散焦的消息以及放大所裁剪的区域的图像一起,在所述显示器上显示第二视觉可供性,存在对所述第二视觉可供性的用户输入时,在所述显示器上显示未裁剪或者未放大的图像。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以与指示散焦的消息以及放大所裁剪的区域的图像一起,在所述显示器上显示第二视觉可供性,存在对所述第二视觉可供性的用户输入时,在所述显示器显示未裁剪或者未放大的图像。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以通过目标检测(object detection),感测所述关注区域。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以通过纹理检查(texture check),分析所述被摄体的质感,通过高级特征提取(extract high levelfeature),分析所述图像中包含的模糊的特性。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以响应于感测到所述关注区域,在所述显示器上显示围绕所述关注区域的线条。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以在所述显示器上显示能够引导用户的UI以使所述关注区域位于所述图像的中央。
在根据本文的一实施例的电子装置的图像拍摄指南提供方法中,可以包括:通过所述电子装置中包含的相机获取包括被摄体的图像的动作;通过所述电子装置中包含的距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据的动作;基于所述距离数据判断发生散焦的动作;在所述图像内感测包括所述被摄体的至少一部分的关注区域的动作;在所述图像内裁剪(crop)至少包括所述关注区域的区域的动作;与指示散焦的消息一起,在所述电子装置中包含的显示器放大显示所裁剪的区域的动作。
根据本文的一实施例的电子装置的图像拍摄指南提供方法,可以包括:响应于感测到所述关注区域,在所述显示器上显示第一视觉可供性(affordance)的动作;以及存在对所述第一视觉可供性的用户输入时,在所述图像内裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域的动作。
根据本文的一实施例的电子装置的图像拍摄指南提供方法,可以包括:可以响应于感测到所述关注区域,在所述图像内自动裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域的动作。
根据本文的一实施例的电子装置的图像拍摄指南提供方法,可以包括:与指示散焦的消息以及放大所裁剪的区域的图像一起,在所述显示器上显示第二视觉可供性的动作;以及存在对所述第二视觉可供性的用户输入时,在所述显示器上显示未裁剪或者未放大的图像的动作。
根据本文的一实施例的电子装置的图像拍摄指南提供方法,可以包括:与指示散焦的消息以及放大所述裁剪的区域的图像一起,在所述显示器上显示第二视觉可供性的动作;以及存在对所述第二视觉可供性的用户输入时,在所述显示器上显示未裁剪或者未放大的图像的动作。
在根据本文的一实施例的电子装置的图像拍摄指南提供方法中,感测所述关注区域的动作可以包括:通过目标检测,感测所述关注区域的动作。
根据本文的一实施例的电子装置可以包括相机、距离传感器、显示器以及至少一个处理器,所述至少一个处理器与所述相机、所述距离传感器以及所述显示器电连接。所述至少一个处理器可以通过所述相机获取包括被摄体的图像,通过所述距离传感器获取对所述被摄体和所述电子装置之间的距离的距离数据,基于所述距离数据判断发生散焦,在所述显示器上显示引导所述被摄体和所述电子装置之间的距离成为最小焦距以上的消息。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以响应于所述被摄体和所述电子装置之间的距离为最小焦距以上,在所述显示器中去除所述消息。
根据本文的一实施例的电子装置,可以包括与所述至少一个处理器电连接的扬声器以及发光装置中的至少一个,所述至少一个处理器在所述显示器上显示所述消息时,可以使所述扬声器以及所述发光装置中的至少一个一起执行输出。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以通过目标检测,在所述图像内感测关注区域。
在根据本文的一实施例的电子装置中,所述至少一个处理器可以通过纹理检查,分析所述被摄体的质感,通过高级特征提取,分析所述图像中包含的模糊的特性。

Claims (20)

1.一种电子装置,所述电子装置包括:
相机;
距离传感器;
显示器;以及
至少一个处理器,所述至少一个处理器与所述相机、所述距离传感器以及所述显示器电连接,
所述至少一个处理器:
通过所述相机获取包括被摄体的图像,
通过所述距离传感器获取所述被摄体和所述电子装置之间的距离的距离数据,
基于所述距离数据判断发生了散焦,
在所述图像内感测包括所述被摄体的至少一部分的关注区域,
在所述图像内裁剪至少包括所述关注区域的区域,
与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域。
2.根据权利要求1所述的电子装置,其中,
所述至少一个处理器:
响应于感测到所述关注区域,在所述显示器上显示第一视觉可供性,
当存在对所述第一视觉可供性的用户输入时,在所述图像内裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域。
3.根据权利要求1所述的电子装置,其中,
所述至少一个处理器响应于感测到所述关注区域,在所述图像内自动裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域。
4.根据权利要求2所述的电子装置,其中,
所述至少一个处理器:
与指示散焦的消息以及放大了所裁剪的区域的图像一起,在所述显示器上显示第二视觉可供性,
当存在对所述第二视觉可供性的用户输入时,在所述显示器上显示未裁剪或者未放大的图像。
5.根据权利要求3所述的电子装置,其中,
所述至少一个处理器:
与指示散焦的消息以及放大了所裁剪的区域的图像一起,在所述显示器上显示第二视觉可供性,
当存在对所述第二视觉可供性的用户输入时,在所述显示器上显示未裁剪或者未放大的图像。
6.根据权利要求1所述的电子装置,其中,
所述至少一个处理器通过目标检测,感测所述关注区域。
7.根据权利要求6所述的电子装置,其中,
所述至少一个处理器:
通过纹理检查,分析所述被摄体的质感,
通过高级特征提取,分析所述图像中包含的模糊的特性。
8.根据权利要求1所述的电子装置,其中,
所述至少一个处理器响应于对所述关注区域的感测,在所述显示器上显示围绕所述关注区域的线条。
9.根据权利要求1所述的电子装置,其中,
所述至少一个处理器在所述显示器上显示能够引导用户的用户界面以使所述关注区域位于所述图像的中央。
10.一种电子装置的提供图像拍摄指南的方法,所述方法包括以下动作:
通过所述电子装置中包含的相机获取包括被摄体的图像;
通过所述电子装置中包含的距离传感器获取所述被摄体和所述电子装置之间的距离的距离数据;
基于所述距离数据判断发生散焦;
在所述图像内感测包括所述被摄体的至少一部分的关注区域;
在所述图像内裁剪至少包括所述关注区域的区域;
与指示散焦的消息一起,在所述电子装置中包含的显示器上放大显示所裁剪的区域。
11.根据权利要求10所述的电子装置的图像拍摄指南提供方法,还包括以下动作:
响应于感测到所述关注区域,在所述显示器上显示第一视觉可供性;以及
当存在对所述第一视觉可供性的用户输入时,在所述图像内裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器上放大显示所裁剪的区域。
12.根据权利要求10所述的电子装置的图像拍摄指南提供方法,还包括以下动作:响应于感测到所述关注区域,在所述图像内自动裁剪至少包括所述关注区域的区域,与指示散焦的消息一起,在所述显示器放大显示所述裁剪的区域的动作。
13.根据权利要求11所述的电子装置的图像拍摄指南提供方法,还包括以下动作:
与指示散焦的消息以及放大所裁剪的区域的图像一起,在所述显示器显示第二视觉可供性;以及
当存在对所述第二视觉可供性的用户输入时,在所述显示器显示未裁剪或者未放大的图像。
14.根据权利要求12所述的电子装置的图像拍摄指南提供方法,还包括以下动作:
与指示散焦的消息以及放大所裁剪的区域的图像一起,在所述显示器显示第二视觉可供性的动作;以及
当存在对所述第二视觉可供性的用户输入时,在所述显示器显示未裁剪或者未放大的图像的动作。
15.根据权利要求10所述的电子装置的图像拍摄指南提供方法,其中,
感测所述关注区域的动作包括:通过目标检测,感测所述关注区域的动作。
16.一种电子装置,所述电子装置包括:
相机;
距离传感器;
显示器;以及
至少一个处理器,所述至少一个处理器与所述相机、所述距离传感器以及所述显示器电连接,
所述至少一个处理器:
通过所述相机获取包括被摄体的图像,
通过所述距离传感器获取所述被摄体和所述电子装置之间的距离的距离数据,
基于所述距离数据判断发生散焦,
在所述显示器上显示引导所述被摄体和所述电子装置之间的距离成为最小焦距以上的消息。
17.根据权利要求16所述的电子装置,其中,
所述至少一个处理器响应于所述被摄体和所述电子装置之间的距离为最小焦距以上,在所述显示器中去除所述消息。
18.根据权利要求16所述的电子装置,所述电子装置还包括与所述至少一个处理器电连接的扬声器以及发光装置中的至少一个,
所述至少一个处理器在所述显示器上显示所述消息时,使所述扬声器以及所述发光装置中的至少一个一起执行输出。
19.根据权利要求16所述的电子装置,其中,
所述至少一个处理器通过目标检测,在所述图像内感测关注区域。
20.根据权利要求19所述的电子装置,其中,
所述至少一个处理器:
通过纹理检查,分析所述被摄体的质感,
通过高级特征提取,分析所述图像中包含的模糊的特性。
CN202110245479.5A 2020-05-12 2021-03-05 提供图像拍摄指南的方法或者装置 Pending CN113727013A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210034817A KR20210138483A (ko) 2020-05-12 2021-03-17 영상 촬영 가이드를 제공하는 방법 또는 장치
PCT/KR2021/004718 WO2021230507A1 (ko) 2020-05-12 2021-04-14 영상 촬영 가이드를 제공하는 방법 또는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200056762 2020-05-12
KR10-2020-0056762 2020-05-12

Publications (1)

Publication Number Publication Date
CN113727013A true CN113727013A (zh) 2021-11-30

Family

ID=78672601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245479.5A Pending CN113727013A (zh) 2020-05-12 2021-03-05 提供图像拍摄指南的方法或者装置

Country Status (2)

Country Link
KR (1) KR20210138483A (zh)
CN (1) CN113727013A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240073520A1 (en) * 2022-08-29 2024-02-29 Sony Interactive Entertainment Inc. Dual camera tracking system

Also Published As

Publication number Publication date
KR20210138483A (ko) 2021-11-19

Similar Documents

Publication Publication Date Title
US11048923B2 (en) Electronic device and gesture recognition method thereof
US20230188845A1 (en) Electronic device and method for controlling preview image
US20230164442A1 (en) Method for providing image and electronic device supporting same
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
US20230388441A1 (en) Electronic device and method for capturing image by using angle of view of camera module
US20230262318A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
US20230113499A1 (en) Electronic device including a plurality of cameras and operating method thereof
US20230141559A1 (en) Method for providing image and electronic device supporting the same
US20220417446A1 (en) Electronic device for editing video using objects of interest and operating method thereof
CN113727013A (zh) 提供图像拍摄指南的方法或者装置
US11467673B2 (en) Method for controlling camera and electronic device therefor
US20240089609A1 (en) Image processing method and electronic device therefor
US20230319423A1 (en) Method for providing image and electronic device supporting the same
US20240013405A1 (en) Object tracking method and electronic apparatus therefor
US20240078685A1 (en) Method for generating file including image data and motion data, and electronic device therefor
US20230214632A1 (en) Method for processing image through neural network and electronic device thereof
US20240098347A1 (en) Electronic device comprising image sensor and dynamic vision sensor, and operating method therefor
US20230360245A1 (en) Measurement method using ar, and electronic device
US11838652B2 (en) Method for storing image and electronic device supporting the same
US11954833B2 (en) Electronic device for supporting machine learning-based image processing
US20220358776A1 (en) Electronic device and operating method thereof
US11962911B2 (en) Electronic device for performing image processing and operation method thereof to reduce artifacts in an image captured by a camera through a display
US20240007732A1 (en) Electronic device including plurality of cameras
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
US20230074962A1 (en) Electronic device including a plurality of cameras and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination