CN112351188A - 根据对象显示图形元素的装置和方法 - Google Patents

根据对象显示图形元素的装置和方法 Download PDF

Info

Publication number
CN112351188A
CN112351188A CN202010784335.2A CN202010784335A CN112351188A CN 112351188 A CN112351188 A CN 112351188A CN 202010784335 A CN202010784335 A CN 202010784335A CN 112351188 A CN112351188 A CN 112351188A
Authority
CN
China
Prior art keywords
processor
electronic device
display
preview image
graphic element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010784335.2A
Other languages
English (en)
Inventor
金敬和
申·碧
朴天亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112351188A publication Critical patent/CN112351188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种电子装置及其操作方法。该电子装置包括:相机模块、显示器、存储器以及处理器,该处理器被配置为可操作地连接至相机模块、显示器和存储器,其中,处理器还被配置为:在显示器上显示从相机模块获得的预览图像;从预览图像中识别对象;基于对象,检测绘图输入;通过检测到的绘图输入,生成图形元素;以及通过跟踪对象,将图形元素显示得与对象相对应。另外,各种实施例是可能的。

Description

根据对象显示图形元素的装置和方法
技术领域
本公开涉及一种用于显示与对象相对应的图形元素的方法和装置。
背景技术
随着数字技术的发展,诸如移动通信终端、个人数字助理(PDA)、电子笔记本、智能电话机、平板个人计算机(PC)、可穿戴装置等的各种类型的电子装置被广泛使用。为了支持和增加电子装置的功能,电子装置的硬件部件和/或软件部件不断地被改进。
例如,电子装置根据用户的需求以硬件方式提高相机性能(例如,像素、广角、远摄和光学变焦),以软件方式提高图像校正(改进)技术,或使拍摄技术多样化(例如,全景或360度拍摄)。例如,电子装置为用户提供直接装饰和校正通过相机拍摄的对象(例如,人)的功能。
以上信息仅作为背景信息呈现,以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术,没有确定,也没有断言。
发明内容
本公开的各方面将至少解决上述问题和/或缺点,并至少提供下述优点。因此,本公开的一方面在于提供一种方法和装置,该方法和装置用于从预览图像识别对象以通过向对象进行绘图来添加图形元素,并且从预览图像实时跟踪对象以可变地显示与对象相对应的图形元素。
另外的方面将在下面的描述中部分地阐述,并且部分地从该描述中将是显而易见的,或者可以通过实践所呈现的实施例而获悉。
根据本公开的一方面,提供了一种电子装置。所述电子装置包括:相机模块、显示器、存储器以及处理器,所述处理器被配置为可操作地连接到所述相机模块、所述显示器和所述存储器,其中,所述处理器可以被进一步配置为:在所述显示器上显示从所述相机模块获得的预览图像;从所述预览图像中识别对象;基于所述对象检测绘图输入;通过检测到的绘图输入,生成图形元素;以及通过跟踪所述对象,将所述图形元素显示得与所述对象相对应。
根据本公开的另一方面,提供了一种运行电子装置的方法。该方法包括:在所述电子装置的显示器上显示从所述电子装置的相机模块获得的预览图像;从所述预览图像中识别对象;基于所述对象检测绘图输入;通过检测到的绘图输入,生成图形元素;以及通过跟踪所述对象,将所述图形元素显示得与所述对象相对应。
根据下面的详细描述,本公开的其他方面、优点和显着特征对于本领域技术人员将变得显而易见,下面的详细描述结合附图公开了本公开的各种实施例。
附图说明
通过以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显,其中:
图1是示出根据本公开的实施例的网络环境中的电子装置的框图;
图2是示出根据本公开的实施例的相机模块的框图;
图3是示出根据本公开的实施例的运行电子装置的方法的流程图;
图4A、图4B、图4C、图4D、图4E、图4F和图4G是示出根据本公开的各种实施例的在电子装置中向从预览图像识别的对象添加图形元素的示例的视图;
图5是示出根据本公开的实施例的控制针对电子装置中的对象的每个属性的图形元素的显示的方法的流程图;
图6A、图6B和图6C是示出根据本公开的各种实施例的提供给电子装置中的人的视觉提示的示例的视图;
图7A和图7B是示出根据本公开的各种实施例的提供给电子装置中的事物的视觉提示的示例的视图;
图8是示出根据本公开的实施例的根据是否识别了电子装置中的对象来控制图形元素的显示的方法的流程图;
图9A、图9B、图9C和图9D是示出根据本公开的各种实施例的对电子装置中的每个对象提供不同的视觉提示的示例的视图;
图10A、图10B和图10C是示出根据本公开的各种实施例的对电子装置中的每个对象提供不同的视觉提示的示例的视图;
图11A、图11B和图11C是示出根据本公开的各种实施例的根据是否识别了电子装置中的人来控制图形元素的显示的示例的视图;
图12A、图12B、图12C和图12D是示出根据本公开的各种实施例的根据是否识别了电子装置中的人来控制图形元素的显示的示例的视图;
图13A、图13B、图13C和图13D是示出根据本公开的各种实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的视图;以及
图14A、图14B和图14C是示出根据本公开的各种实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的视图。
在所有附图中,相似的参考标记将被理解为指代相似的部件、组件和结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同形式所限定的本公开的各种实施例。它包括各种具体细节以帮助理解,但是这些具体细节仅被认为是示例性的。因此,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的情况下,可以对本文所述的各种实施例进行各种改变和修改。另外,为了清楚和简洁,可以省略对公知功能和构造的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面含义,而是仅由发明人用来使本公开内容能够清楚和一致地理解。因此,对于本领域技术人员而言显而易见的是,提供本公开的各种实施例的以下描述仅出于说明的目的,而并非出于限制由所附权利要求及其等同形式所限定的本公开的目的。
应当理解的是,除非上下文另外明确指出,否则单数形式的“一”、“一个”和“该”包括复数个指示物。因此,例如,提及“组件表面”包括提及一个或更多个这样的表面。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括一个或更多个天线,并且因此,可由例如通信模块190(例如,无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
图2是示出根据各种实施例的相机模块180的框图200。
参照图2,相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如,缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例,相机模块180可包括多个镜头组件210。在这种情况下,相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如,视角、焦距、自动对焦、f数或光学变焦),或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光,其中,发出的光用于增强从物体反射的光。根据实施例,闪光灯220可包括一个或更多个发光二极管(LED)(例如,红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例,图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如,RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜,或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如,调整读出时序)。这样,允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如,图像模糊)的至少一部分。根据实施例,图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例,可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如,如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟,则可将获取的原始图像(例如,拜耳图案图像、高分辨率图像)存储在存储器250中,并且可经由显示装置160来预览其相应的副本图像(例如,低分辨率图像)。然后,如果满足了指定的条件(例如,通过用户的输入或系统命令),则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例,可将存储器250配置为存储器130的至少一部分,或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如,降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地,图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如,图像传感器230)执行控制(例如,曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理,或者可将该图像提供给在相机模块180之外的外部部件(例如,存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例,可将图像信号处理器260配置为处理器120的至少一部分,或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器,则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示,或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例,电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下,所述多个相机模块180中的至少一个相机模块180可形成例如广角相机,并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地,所述多个相机模块180中的至少一个相机模块180可形成例如前置相机,并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图3是示出根据本公开的实施例的运行电子装置的方法的流程图。
参照图3,在方法300中,在操作301,电子装置(例如,图1的电子装置101)的处理器(例如,图1的处理器120)可以显示预览图像。处理器120可以根据用户的请求执行安装在电子装置101中的相机应用,并且可以通过执行的相机应用从相机模块(例如,图1的相机模块180)获取预览图像。处理器120可以通过从用户接收用于选择电子装置101的主屏幕上显示的相机图像(例如,图标)的输入或者从最近执行的列表中选择相机应用的输入,执行相机应用。预览图像可以指的是从相机模块180实时获取的图像(或视频)。处理器120可以在显示器(例如,图1的显示装置160)上显示预览图像。在下文中,将以实时获得的预览图像作为示例进行描述,但是该方法可以适用于相册中存储的图像或视频(或运动图像)。
根据各种实施例,至少一个相机模块180可以分别安装在电子装置101的前表面和后表面上。处理器120可以基于先前使用相机模块180的历史来驱动(或激活)前置相机或后置相机。例如,如果用户在使用前置相机之后立即停止(或终止)相机应用,则处理器120可以根据执行相机应用的请求来驱动前置相机。可替代地,如果用户在使用后置相机之后立即停止相机应用,则处理器120可以根据执行相机应用的请求来驱动后置相机。可替代地,处理器120可以根据电子装置101的设置或用户的设置来驱动前置相机或后置相机,而不管相机的使用历史如何。处理器120可以根据是驱动前置相机还是后置相机而不同地提供用户界面。可替代地,处理器120可以提供相同的用户界面,而不管驱动前置相机还是驱动后置相机。
在操作303,处理器120可以从预览图像中识别(或确认)对象。当在显示预览图像时检测到用于执行(或调用)涂鸦功能的用户输入时,处理器120可以识别对象。用户输入可以包括指定按钮(例如,涂鸦功能按钮)触摸、指定语音输入或指定手势输入中的至少一个。例如,处理器120可以基于用户输入来识别对象,在该用户输入中拍摄模式是“照片模式”并且与涂鸦功能相关联的按钮被选择(或触摸)。可替代地,处理器120可以将拍摄模式改变为“视频模式”,并且可以在选择涂鸦功能按钮时识别对象。拍摄模式是指与相机拍摄相关联的模式(或功能),并且可以包括例如图片(或正常或自动)、视频、自拍、后方自拍、实时对焦、慢动作、专业或全景中的至少一种。
对象可以包括人(或人类)或事物(例如,物品或对象)。例如,处理器120可以将人或物识别为对象,而不管是前置相机还是后置相机被驱动。可替代地,当前置相机被驱动时,处理器120可以将“人”识别为对象,而当后置相机被驱动时,将“人”或“事物”识别为对象。当驱动后置相机时,处理器120可以根据用户的选择,将“人”或“事物”之一识别为对象。例如,处理器120可以针对每个识别出的人确认从预览图像中识别出多少人。当人被识别为对象时,处理器120可以根据面部识别算法来不同地识别每个人。面部识别可以意味着当从预览图像识别出两个人时,第一人和第二人被不同地识别。当从预览图像中没有识别出人时,处理器120可以将事物识别为对象。
根据各种实施例,处理器120可以为每个对象提供(或显示)视觉提示。视觉提示可以被显示在从预览图像识别出的每个对象上,并且可以指引涂鸦功能的应用或可以进行绘图的事实。视觉提示可以包括图形(例如,圆圈)、文本(例如,名称或联系人)或图像(例如,存储在联系人或相册中的图像)中的至少一个。对于每个识别出的对象,视觉提示可以相同或不同地显示。例如,处理器120可以针对每个对象不同地显示被提供为视觉提示的图形的颜色或形状,或者可以不同地显示标识信息(例如,文本或图像)。标识信息可以被显示在对象的边缘部分或特定的指定位置。
例如,当从预览图像中识别出一个人时,处理器120可以提供包括识别出的一个人的面部的圆圈作为视觉提示。当存在用于确认识别出的人的信息时,处理器120可以提供文本或图像作为视觉提示。处理器120可以提供文本或图像以及包括识别出的人的面部的圆圈。例如,当相对于识别出的人至少一次输入(或注册)了标识信息时,处理器120可以提供文本或图像作为视觉提示。当输入了此人的标识信息时,处理器120可以将标识信息存储在存储器(例如,图1的存储器130)中。此后,当从预览图像中识别出的人的标识信息被存储在存储器130中时,处理器120可以将标识信息提供为视觉提示。
根据各种实施例,处理器120可以在显示了视觉提示之后显示可绘图区域。当对象的属性是人时,处理器120可以显示可绘图区域。可绘图区域可以指的是其中可以基于人的面部进行绘图输入的区域。可绘图区域可能大于视觉提示。例如,视觉提示可以沿着人的面部的轮廓显示,而可绘图区域可以包括人的上半身。处理器120可以逐渐地显示所显示的视觉提示,以将视觉提示显示为可绘图区域。在显示了可绘图区域后的预定时间(例如,3秒或5秒)过去之后,处理器120可以不显示(例如,去除或删除)可绘图区域。
根据各种实施例,处理器120可以基于识别出的对象的属性来确定是否显示可绘图区域。当对象是事物时,处理器120可以不显示可绘图区域。当对象是事物时,处理器120可以根据事物的形状(或轮廓)显示视觉提示,并且在经过了预定时间(例如,3秒或5秒)之后可以不显示(例如,去除)视觉提示。
根据各种实施例,即使在操作303之后,处理器120仍可以通过继续从预览图像识别对象来执行操作303之后的操作。当处理器120执行操作303之后的至少一个操作时识别出了一个新的对象,处理器120可以执行以下操作:显示针对新识别的对象的视觉提示,检测针对新对象的绘图以及显示针对新对象的图形元素。
在操作305,处理器120可以基于识别出的对象检测绘图输入。当识别出对象时,处理器120可以提供能够进行绘图输入的用户界面。绘图可以指代用户输入,诸如绘制图片。绘图可能意味着用户通过使用他或她的身体(例如,手指等)或包括(或安装)在电子装置101中的笔(或外部绘图笔)以点、线或面的形式直接绘图。处理器120可以基于笔是否被分离来提供能够进行绘图输入的用户界面。处理器120可以提供能够改变笔(或绘图)的属性信息(例如,形式、形状、粗度(或大小)或颜色)的用户界面。处理器120可以基于用户输入来确定(或配置)笔的属性信息,并且可以使用所确定的笔的属性信息来接收针对对象的绘图输入。
在对象是人的情况下,当检测到绘图输入的点(或位置)在可绘图区域之外时,处理器120可以显示可绘图区域。处理器120可以临时显示可绘图区域,然后可以将其去除,从而引导用户在哪个区域可以进行绘图输入。处理器120可以在执行操作305的同时来识别对象以基于新识别出的对象来检测绘图输入。
根据各种实施例,处理器120可以基于对象的属性,获取(或计算)在其上检测到绘图的坐标信息。例如,当对象的属性是“人”时,处理器120可以基于对象的特征点,获取在其上检测到绘图的坐标信息。例如,对象(例如,人)的特征点可以包括眼睛、鼻子、嘴、耳朵、额头、脸颊、下巴、面部轮廓、头发、发型或身体(例如,脖子、肩膀或手臂)中的至少一个。处理器120可以映射对象的特征点和绘图的坐标信息。可替代地,当对象的属性是“事物”时,处理器120可以在检测到绘图的时间点获取电子装置101的位置信息或姿态信息作为空间坐标值。电子装置101的位置信息可以包括纬度、经度或高度中的至少之一。电子装置101的姿态信息(或角度信息)可以是由传感器模块(例如,图1的传感器模块176)检测到的感测信息,并且可以包括例如加速度数据或陀螺仪数据。
根据各种实施例,用户可以针对每个对象不同地输入绘图。例如,当预览图像包括第一人和第二人时,用户可以在第一人上画冠,并且在第二人上画条带。处理器120可以通过面部识别来识别第一人与第二人之间的差异,并且可以基于检测到绘图的点来分析(或检测)将绘图输入到第一人和第二人中的哪个人。
在操作307,处理器120可以显示与绘图相对应的图形元素。处理器120可以在从相机模块180实时获取的预览图像中显示与绘图相对应的图形元素。处理器120可以基于对象的属性来应用不同地显示图形元素的方法。例如,当对象是人时,处理器120可以基于对象的特征点显示图形元素。当对象是事物时,处理器120可以基于检测到绘图的空间坐标值来显示图形元素。当检测到绘图输入时,处理器120可以实时显示图形元素。图形元素可以是至少一个。即使在执行操作307时,处理器120也可以识别对象。
根据各种实施例,当检测到与对象相关联的绘图时,处理器120可以根据该绘图生成图形元素。图形元素可以由检测到的绘图生成(或添加)。当生成图形元素时,处理器120可以将图形元素与对象映射(或关联)以生成对象的特征点与图形元素之间的关系信息。可以通过基于在其上检测到绘图的坐标信息将图形元素与对象相关联来获得关系信息。处理器120可以通过将识别出的对象中包括的特征点的坐标信息(或位置)与在其上检测到绘图的坐标信息进行映射来生成关系信息。
例如,当检测到的绘图对应于人的球时,处理器120可以通过映射与人的球相对应的坐标信息和绘图的坐标信息来生成关系信息。处理器120可以将关系信息存储在存储器(例如,图1的存储器130)中。处理器120可以将图形元素与关系信息一起存储。当停止(或终止)相机应用时,处理器120可以从存储器130中删除关系信息或图形元素。可替代地,处理器120可以维持关系信息或图形元素而不将其从存储器130中删除。
根据各种实施例,处理器120可以将图形元素作为图像(例如,贴纸、表情图示或表情符号)存储在存储器130中,并且可以根据用户请求将存储在存储器130中的图形元素添加到识别出的对象中。例如,处理器120可以提供包括一个或更多个图形元素(例如,贴纸、表情图示和表情符号)的图形列表,并且可以将从所提供的图形列表中选择的图形元素添加并显示到识别出的对象。
根据各种实施例,当预览图像包括第一人和第二人时,处理器120可以基于检测到绘图的点来显示图形元素。用户可以确认实时显示的图形元素,并且可以请求显示与每个人相对应的可绘图区域。例如,当图形元素与用户的意图不同地应用于另一人时,处理器120可以根据用户的请求在预定时间内显示可绘图区域,并且可以将其去除。
在操作309,处理器120可以跟踪对象的变化。处理器120可以跟踪从相机模块180实时获取的预览图像中的对象的变化。处理器120可以在检测绘图或显示图形元素时跟踪对象的变化。例如,当对象是人时,处理器120可以跟踪对象在预览图像中的存在、不存在、大小、角度(或姿态)或位置中的至少一个。当对象是事物时,处理器120可以跟踪电子装置101的变化。电子装置101中的变化可以意味着电子装置101的位置信息或姿态(或角度)信息中的至少一个被改变。即使在执行操作309时,处理器120也可以识别对象。
在操作311,处理器120可以根据对象显示图形元素。处理器120可以基于对象的属性来控制图形元素的显示。例如,当对象是人时,处理器120可以根据所跟踪的对象的变化来显示图形元素。当对象是人时,处理器120可以控制图形元素的显示以跟随对象。处理器120可以根据对象的存在或不存在、大小、角度(或姿态)或位置中的至少一个来控制图形元素的显示。即使在执行操作311时,处理器120也可以识别对象。
例如,当在从相机模块180实时获得的预览图像中确认了对象时,处理器120可以显示与该对象相关联的图形元素,并且当在预览图像中没有识别对象时,处理器120可以不显示对象的图形元素。未识别对象的事实意味着未执行面部识别(或确认)。处理器120可以与预览图像中对象的大小、角度(或姿态)或位置中的至少一个成比例地变化并显示图形元素的大小、角度(或姿态)或位置。
例如,当对象的大小改变时,处理器120可以与对象的大小成比例地改变并显示图形元素的大小。当对象的角度改变时,处理器120可以与对象的角度成比例地改变并显示图形元素的角度。当对象的大小和角度改变时,处理器120可以与对象的大小和角度成比例地改变并显示图形元素的大小和角度。当对象的位置改变时,处理器120可以与对象的位置成比例地改变并显示图形元素的大小。当对象的大小和位置改变时,处理器120可以与对象的大小和位置成比例地改变并显示图形元素的大小和位置。当对象的角度和位置改变时,处理器120可以与对象的角度和位置成比例地改变并显示图形元素的角度和位置。
可替代地,当预览图像包括第一人和第二人时,处理器120可以通过为第一人绘图来显示第一图形元素,并且可以通过为第二人绘图来显示第二图形元素。当在实时获取的预览图像中第一人不存在或未被识别出时,处理器120可以去除第一图形元素并且可以显示第二人的第二图形元素。随后,当可以从预览图像中确认第一人和第二人时,处理器120可以显示第一人的第一图形元素,并且可以显示第二人的第二图形元素。可替代地,当在预览图像中第一人位于中心并向左移动时,处理器120可以根据对象在中心显示第一人的第一图形元素,然后可以向左移动。
根据各种实施例,当对象是事物时,处理器120可以根据电子装置101中的变化来显示图形元素。当对象是事物时,处理器120可以基于通过绘图生成的图形元素的空间坐标值来控制图形元素的显示。例如,图形元素的空间坐标值对应于绝对坐标值,并且可以包括电子装置101的位置信息或姿态信息。处理器120可以控制根据电子装置101中的变化(例如,经度、纬度、高度或角度)显示图形元素的大小(或粗度)、位置或角度中的至少一个。不同于人物对象的图形元素,用于事物对象的图形元素可以不对应于对象(例如,事物)。
根据各个实施例,在执行操作301至操作311时,处理器120可以根据用户的请求拍摄视频(即,运动图像)。例如,处理器120可以记录其中在显示预览图像时由用户执行绘图并且其中与该绘图相对应的图像元素沿着对象移动的图像,或者其中图形元素根据电子装置101中的改变而被改变的图像。处理器120可以拍摄包括预绘图图像、绘图图像或后绘图图像中的至少一个的视频。可替代地,处理器120可以记录预绘图图像,然后可以在执行绘图时停止记录。接下来,在完成绘图之后,处理器120可以记录其中与绘图相对应的图形元素沿着对象移动的图像,或者其中图形元素根据电子装置101中的改变而被改变的图像。处理器120可以拍摄包括预绘图图像和后绘图图像的视频。
图4A至图4G是示出根据本公开的各种实施例的在电子装置中向从预览图像确认的对象添加图形元素的示例的视图。
图4A是示出根据本公开的实施例的在电子装置中显示预览图像的示例的视图。
参照图4A,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以在显示器(例如,图1的显示装置160)上显示包括预览图像413的第一用户界面410。第一用户界面410可以包括涂鸦功能按钮411、预览图像413、拍摄模式信息415或拍摄控制信息417。涂鸦功能按钮411可以执行(或调用)用于为每个对象添加图形元素的功能。可以通过根据用户的请求执行的相机应用,从相机模块(例如,图1的相机模块180)获得预览图像413。当检测到用户触摸了涂鸦功能按钮411时,处理器120可以从预览图像413中识别对象。拍摄模式信息415是指与相机拍摄相关联的模式(或功能),并且可以包括例如照片、视频、自拍照、后方自拍照、实时对焦、慢动作、专业或全景中的至少一个。拍摄控制信息417可以包括最近的图片观看按钮、拍摄按钮或相机切换按钮(例如,前置相机或后置相机)中的至少一个。
图4B是示出根据本公开的实施例的在电子装置中从预览图像识别对象的示例的视图。
参照图4B,当检测到用于选择第一用户界面410中的涂鸦功能按钮411的用户输入时,处理器120可以在显示装置160上显示第二用户界面420。第二用户界面420可以从实时地从相机模块180获取的预览图像(例如,预览图像413)中确认对象。根据各种实施例,处理器120可以在从预览图像确认对象的同时模糊预览图像。可替代地,处理器120可以在第一用户界面410中将拍摄模式改变为“视频模式”,并且可以在选择了涂鸦功能按钮411时提供第二用户界面420。
根据各种实施例,尽管在图4中将用于执行涂鸦功能的用户输入描述为选择涂鸦功能按钮411,即使当检测到用于执行涂鸦功能的指定语音输入或指定手势输入时,处理器120也可以提供第二用户界面420。
图4C是示出根据本公开的实施例的在电子装置中显示与对象相对应的视觉提示的示例的视图。
参照图4C,当对象确认(或识别)完成时,处理器120可以在显示装置160上显示第三用户界面430。第三用户界面430可以包括对象属性改变按钮431、预览图像433、视觉提示435或笔(或绘图)属性改变信息437。对象属性改变按钮431是用于改变对象属性的按钮,并且可以对人(例如,面部)或事物(例如,各处)的一个(切换方法)进行配置。当对象属性改变按钮431对人(例如,面部)配置(或选择)时,处理器120可以从预览图像433识别人。当对象属性改变按钮431对事物(例如,各处)配置时,处理器120可以从预览图像433识别出对象。替代地,当对象属性改变按钮431对事物配置时,处理器120可以从预览图像433中识别出所有的人或事物。
可以从相机模块180实时获取预览图像433。视觉提示435可以分别被显示在从预览图像433识别出的对象(例如,人)上。视觉提示可以包括图形(例如,圆圈)、文本(例如,名称或联系人)或图像(例如,存储在联系人或相册中的图像)中的至少一个。处理器120可以在预定时间段内显示视觉提示435,并且可以在预定时间之后去除视觉提示435。笔属性改变信息437可以改变笔的属性,并且可以包括例如用于改变笔(或绘图)的形式、笔(或绘图)的形状、笔(或绘图)的粗度或笔(或绘图)的颜色。
根据各个实施例,处理器120可以将对象属性改变按钮431配置为“人”作为默认值。可替代地,处理器120可以基于被驱动的相机来改变在对象属性改变按钮431中配置的默认值。当驱动前置相机时,处理器120可以将对象属性改变按钮431配置为“人”,并且当驱动后置相机时,处理器120可以将对象属性改变按钮431配置为“事物”。可替代地,处理器120可以基于被驱动的相机来确定是否提供对象属性改变按钮431。例如,处理器120可以在驱动后置相机时提供对象属性改变按钮431,而可以在驱动前置相机时不提供对象属性改变按钮431。
图4D是示出根据本公开的实施例的在电子装置中显示与对象相对应的可绘图区域的示例的视图。
参照图4D,在显示视觉提示435之后,处理器120可以在显示装置160上显示第四用户界面440。第四用户界面440可以包括预览图像441或可绘图区域443。可以从相机模块180实时获取预览图像441。当从预览图像441识别出的对象的属性是人时,处理器120可以显示可绘图区域443。可绘图区域443可以指的是其中基于人的面部可以进行绘图输入的区域。可绘图区域443可以大于视觉提示435。例如,视觉提示435可以沿着人的面部轮廓显示,并且可绘图区域443可以包括人的上半身。处理器120可以逐渐将所显示的视觉提示435显示为可绘图区域443。当在显示可绘图区域443之后经过了预定时间(例如,3秒或5秒)时,处理器120可以不显示可绘图区域443。
图4E是示出根据本公开的实施例的在电子装置中改变笔属性的示例的视图。
参照图4E,当选择笔属性改变信息437时,处理器120可以在显示装置160上显示第五用户界面450。第五用户界面450可以包括预览图像451或笔属性改变信息453。可以从相机模块180实时获取预览图像451。当从笔属性改变信息453选择用于改变笔的颜色的按钮时,处理器120可以提供笔(或绘图)的颜色信息455(例如,黑色、粉色、红色等)。可替代地,当从笔属性改变信息453中选择用于改变笔的类型的按钮时,处理器120可以提供笔的类型信息(例如,钢笔、铅笔、画刷等)。当从笔属性改变信息453中选择用于改变笔的形状的按钮时,处理器120可以提供笔的形状信息(例如,实线、虚线、水滴等)。当从笔属性改变信息453中选择用于改变笔的粗度的按钮时,处理器120可以提供笔的粗度信息(例如,第一粗度、第二粗度、实线、虚线、水滴等)。
图4F是示出根据本公开的实施例的在电子装置中检测和显示绘图的示例的视图。
参照图4F,处理器120可以检测绘图输入以在显示装置160上显示第六用户界面460。第六用户界面460可以包括对象461、第一图形元素463或第二图形元素465。第一图形元素463可以通过用户的绘图被映射到对象461的头部的左侧。第二图形元素465可以通过用户的绘图被映射到对象461的左脸颊。处理器120可以通过映射对象461的特征点(头部的左侧)和绘图的坐标信息来生成使第一图形元素463与对象461相关联的第一关系信息。处理器120可以通过映射对象461的特征点(左脸颊)和绘图的坐标信息来生成使第二图形元素465与对象461相关联的第二关系信息。处理器120可以将第一图形元素463、第二图形元素465、第一关系信息或第二关系信息临时存储在存储器(例如,图1的存储器130)中。
图4G是示出根据本公开的实施例的在电子装置中检测和显示绘图的另一示例的视图。
参照图4G,处理器120可以检测绘图输入以在显示装置160上显示第七用户界面470。第七用户界面470可以包括对象461、第三图形元素471或第四图形元素473。第三图形元素471可以通过用户的绘图被映射到对象461的头部的右侧。第四图形元素473可以通过用户的绘画被映射到对象461的右脸颊。处理器120可以通过映射对象461的特征点(头部的右侧)和绘图的坐标信息来生成使第三图形元素471与对象461相关联的第三关系信息。处理器120可以通过映射对象461的特征点(右脸颊)和绘图的坐标信息来生成使第四图形元素473与对象461相关联的第四关系信息。处理器120可以将第三图形元素471、第四图形元素473、第三关系信息或第四关系信息临时存储在存储器(例如,图1的存储器130)中。
根据各种实施例,处理器120可以相对于对象461将第一图形元素463、第二图形元素465、第三图形元素471和第四图形元素473处理为单个图形元素。处理器120可以在存储器(例如,图1的存储器130)中存储包括第一图形元素463、第二图形元素465、第三图形元素471以及第四图形元素473的单个图形元素(例如,第一用户图形)。处理器120也可以存储第一用户图形的显示特性。例如,处理器120可以以这样的方式存储显示特性:第一图形元素463和第三图形元素471被显示在人的头发上并且第二图形元素465和第四图形元素473被显示在人的脸颊上。此后,考虑到显示特性,处理器120可以在识别出的对象上显示第一用户图形。
图5是示出根据本公开的实施例的控制针对电子装置中的对象的每个属性的图形元素的显示的方法的流程图。
参照图5,在方法500中,在操作501,电子装置(例如,图1的电子装置101)的处理器(例如,图1的处理器120)可以显示预览图像。预览图像可以指的是从相机模块180实时获取的图像(或视频)。处理器120可以在显示器(例如,图1的显示装置160)上显示预览图像。由于操作501与图3的操作301相同或相似,因此,可以省略其详细描述。
在操作503,处理器120可以检测针对涂鸦功能的用户输入。处理器120可以在显示预览图像时检测用于执行(或调用)涂鸦功能的用户输入。用户输入可以包括指定按钮(例如,涂鸦功能按钮)触摸、指定语音输入或指定手势输入中的至少一个。例如,处理器120可以在拍摄模式被配置为“照相模式”或“视频模式”时检测到针对涂鸦功能的用户输入。
根据各种实施例,处理器120可以从用户选择对象属性。对象可以包括人(或人类)或事物(例如,物品或对象)。处理器120可以通过对象属性改变按钮(例如,图4C的对象属性改变按钮431)来配置对象属性。例如,处理器120可以通过对象属性改变按钮431将对象的属性选择为“人”或“事物”。
在操作505,处理器120可以基于属性来识别对象。例如,处理器120可以在选择(或配置)为“人识别”时将人识别为对象,并且当选择为“事物识别”时将事物识别为对象。当将人识别为对象时,处理器120可以根据面部识别算法来不同地识别每个人。面部识别可以意味着当从预览图像识别出两个人时,第一人和第二人被不同地识别。
根据各种实施例,即使在操作505之后,处理器120也可以继续从预览图像识别对象,从而执行操作505之后的操作。当在执行了操作505之后的操作的同时通过操作505识别了新对象时,处理器120可以针对新识别的对象执行操作507至操作525中的至少一项。
在操作507中,处理器120可基于识别出的对象显示视觉提示。视觉提示可以被显示在从预览图像识别出的对象上,并且可以指引涂鸦功能的应用或可以绘图的事实。视觉提示可以包括图形(例如,圆形、正方形、多边形等)、文本(例如,名称或联系人)或图像(例如,存储在联系人或相册中的图像)中的至少一个。对于每个识别出的对象,视觉提示可以相同或不同地显示。例如,处理器120可以针对每个对象不同地显示被提供为视觉提示的图形的颜色或形状,或者可以不同地显示标识信息(例如,文本或图像)。标识信息可以被显示在对象的边缘部分或特定的指定位置。即使在执行操作507时,处理器120也可以识别对象。当识别出新对象时,处理器120可以显示与新对象相对应的视觉提示。
处理器120可以基于对象的边缘显示视觉提示。例如,当所识别的对象是单个人时,处理器120可以以圆形的形式提供所识别的单个人的面部轮廓(或边缘)作为视觉提示。当存在确认所识别的人的信息时,处理器120还可以提供文本或图像作为视觉提示。可替代地,当所识别的对象是事物(例如,椅子、大海或桌子)时,处理器120可以提供每个对象的边缘部分或包括每个对象的图形(例如,矩形)作为视觉提示。根据各种实施例,处理器120可以在预定时间段内显示视觉提示,然后可以去除视觉提示。此外,处理器120可以基于识别出的对象的属性来确定是否显示可绘图区域。当对象是人时,处理器120可以在逐渐扩大视觉提示的同时显示可绘图区域。当对象是事物时,处理器120可以不显示可绘图区域。
根据各种实施例,处理器120可以不根据电子装置101的配置或用户的配置来显示视觉提示。可以省略操作507。
在操作509,处理器120可以检测绘图。绘图表示用户使用用户的身体(例如,手指、手等)或电子装置101中包括(或安装)的笔(或外部绘图笔)以点、线或面的形式进行绘图。处理器120可以提供能够改变笔(或绘图)的属性信息(例如,形式、形状、粗度(或大小)或颜色)的用户界面。处理器120可以基于用户输入来确定(或配置)笔的属性信息,并且可以使用所确定的笔的属性信息来接收对象的绘图输入。当对象是人时,当检测到绘图输入的点(或位置)在可绘图区域之外时,处理器120可以显示可绘图区域。处理器120可以临时显示可绘图区域,然后可以去除可绘图区域,从而指引用户可以在哪个区域进行绘图输入。处理器120可以基于绘图检测在显示装置160上实时地、同时地或顺序地显示由绘图生成的图形元素。即使在执行操作509时,处理器120也可以识别该对象。处理器120可以检测绘图以对应于通过操作509新识别出的对象。
在操作511,处理器120可以识别其中已经检测到绘图的对象的属性。处理器120可以确认在其中检测到绘图的对象的属性是人还是事物。
在操作513,处理器120可以确定对象的属性是否是人。当在操作503之后配置的对象的属性是“人”时,处理器120可以执行操作515,并且在对象的属性是“事物”时,处理器120可以执行操作521。根据各种实施例,处理器120可以识别在操作505中可识别的所有对象(例如,人或事物),并且可以确定检测到绘图的点处的对象的属性。
当对象的属性是“人”时,在操作515中,处理器120可以生成对象与图形元素之间的关系信息。例如,当对象的属性是“人”时,处理器120可以基于对象的特征点获得在其上检测到绘图的坐标信息。例如,对象(例如,人)的特征点可以包括眼睛、鼻子、嘴巴、耳朵、前额、脸颊、下巴、面部轮廓、头发、发型或身体(例如,脖子、肩膀或手臂)中的至少一个。处理器120可以通过映射对象的特征点和图形的坐标信息来生成对象的特征点和图形元素之间的关系信息。可以通过基于在其上检测到绘图的坐标信息将图形元素与对象相关联来获得关系信息。
例如,当检测到的绘图对应于人的脸颊时,处理器120可以通过映射与人的脸颊相对应的坐标信息和绘图的坐标信息来生成关系信息。处理器120可以将关系信息存储在存储器(例如,图1的存储器130)中。处理器120可以将图形元素与关系信息一起存储。当停止(或终止)相机应用时,处理器120可以从存储器130中删除关系信息或图形元素。可替代地,处理器120可以维持关系信息或图形元素中的至少一个,而不从存储器130删除它们。
在操作517,处理器120可以跟踪对象。处理器120可以跟踪从相机模块180实时获得的预览图像中的对象的变化。例如,当对象是人时,处理器120可以跟踪预览图像中的对象的存在或不存在、大小,角度(或姿态)或位置。
在操作519,处理器120可以基于关系信息显示与对象相对应的图形元素。当对象是人时,处理器120可以基于关系信息执行控制以将图形元素显示在映射到对象的特征点的位置。处理器120可以根据对象的存在或不存在、大小、角度(或姿态)或位置中的至少一项来控制图形元素的显示。例如,当对象的大小改变时,处理器120可以基于关系信息来与对象的大小成比例地改变并显示图形元素的大小。当对象的角度改变时,处理器120可以基于关系信息,以与对象的角度成比例地改变并显示图形元素的角度。当对象的位置改变时,处理器120可以基于关系信息,以与对象的位置成比例地改变并显示图形元素的大小。可替代地,当识别出对象时,处理器120可以显示与该对象相关联的图形元素,并且当在预览图像中没有识别到对象时,可以不显示针对该对象的图形元素。未识别出对象的事实意味着未执行面部识别(或识别)。
当对象的属性是“事物”时,在操作521,处理器120可以识别图形元素的空间坐标值。处理器120可以在检测到绘图的时间获得电子装置101的位置信息或姿态信息作为空间坐标值。电子装置101的位置信息可以包括纬度、经度或高度中的至少之一。电子装置101的姿态信息是由传感器模块(例如,图1的传感器模块176)检测到的感测信息,并且可以包括例如加速度数据或陀螺仪数据。处理器120可以将图形元素的空间坐标值存储在存储器(例如,图1的存储器130)中。处理器120可以存储图形元素以及空间坐标值。当停止(或终止)相机应用时,处理器120可以从存储器130中删除空间坐标值或图形元素。可替代地,处理器120可以维持空间坐标值或图形元素中的至少一个,而不从存储器130删除它们。
在操作523,处理器120可以跟踪电子装置101中的改变。电子装置101中的改变可以意味着电子装置101的位置信息或姿态(或角度)信息中的至少一个被改变了。例如,当电子装置101的位置(例如,纬度、经度和高度)改变时,对象的位置或大小(例如,透视图)可以不同。可替代地,当改变电子装置101的姿态信息时,可以改变在从相机模块180获得的预览图像上显示对象的角度或姿态。
在操作525,处理器120可以基于空间坐标值来显示图形元素。例如,图形元素的空间坐标值对应于绝对坐标值,并且处理器120可以根据电子装置101中的改变来控制显示图形元素的大小(或粗度)、位置或角度中的至少一个。与个人对象的图形元素不同,事物对象的图形元素可能与对象(例如,事物)不对应。
图6A是示出根据本公开的各种实施例的提供给电子装置中的人的视觉提示的示例的图,图6B是示出根据本公开的各种实施例的提供给电子装置中的人的视觉提示的示例的图,图6C是示出根据本公开的各种实施例的提供给电子装置中的人的视觉提示的示例的视图。
图6A是示出根据本公开的各种实施例的提供给电子装置中的人的第一视觉提示的示例的视图。
参照图6A,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以基于对象611的边缘(或轮廓)在显示器(例如,图1的显示装置160)上显示包括第一视觉提示613的第一用户界面610。第一视觉提示613可以指示对象611的矩形边缘(例如,面部轮廓)。
图6B是示出根据本公开的实施例的提供给电子装置中的人的第二视觉提示的示例的视图。
参照图6B,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以基于对象611的边缘(或轮廓)在显示装置160上显示包括第二视觉提示的第二用户界面620。第二视觉提示可以包括图形(例如,圆形)视觉提示625和文本(例如,姓名)视觉提示623。可以通过将借助于面部识别的面部边缘部分表示为圆形来获得图形视觉提示625。当识别出的面部事先已经用Taylor(例如,标识信息)配置(或注册)过哪怕一次时,就可以提供文本视觉提示623。当接收到与对象相对应的标识信息时,处理器120可以将接收到的标识信息存储在存储器(例如,图1的存储器130)中。处理器120可以在存储器130中存储的图像(例如,联系人或相册)中搜索是否存在映射到识别出的面部的面部,并且当存在映射的面部时,可以将相应的标识信息提供给文本视觉提示623。
处理器120可以基于用户输入来改变标识信息。当接收到用于选择标识信息的用户输入时,处理器120可以提供用于改变标识信息的键盘。可替代地,当接收到用于选择标识信息的用户输入时,处理器120可以提供存储器130中存储的图像。
图6C是示出根据本公开的实施例的提供给电子装置中的人的第三视觉提示的示例的视图。
参照图6C,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以基于对象611的边缘(或轮廓)在显示装置160上显示包括第三视觉提示的第三用户界面630。第三视觉提示可以包括图形(例如,圆形)视觉提示635和图像(例如,照片)视觉提示633。可以通过将借助于面部识别的面部边缘部分表示为圆形来获得图形视觉提示635。当识别出的面部事先已经被配置(或注册)为图像(例如,标识信息)一次时,可以提供图像视觉提示635。处理器120可以在联系人或相册中存储的图像中搜索是否存在映射到识别出的面部的面部,并且当存在映射的面部时,可以将相应的标识信息提供给图像视觉提示633。
图7A是示出根据本公开的实施例的提供给电子装置中的事物的视觉提示的示例的图,图7B是示出根据本公开的实施例的提供给电子装置中的事物的视觉提示的示例的视图。
图7A是示出根据本公开的实施例的提供给电子装置中的事物的第一视觉提示的示例的视图。
参照图7A,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以基于对象的边缘(或轮廓)在显示器(例如,图1的显示装置160)上显示包括第一视觉提示(例如,713、715、717或719)的第一用户界面710。第一用户界面710可以包括对象属性改变按钮711、预览图像712和第一视觉提示。对象属性改变按钮711是用于改变对象的属性的按钮,并且第一用户界面710示出了其中对象属性改变按钮711对“事物”进行配置的示例。当对象属性改变按钮711对“事物”进行配置时,处理器120可以从预览图像712中识别事物。
处理器120可以通过事物识别基于该事物的边缘来显示第一视觉提示。第一视觉提示可以以图形的形式显示。例如,第一视觉提示可以包括与台灯相对应的视觉提示713、与床相对应的视觉提示715、与天空相对应的视觉提示717以及与椅子相对应的视觉提示719中的至少一个。
图7B是示出根据本公开的实施例的提供给电子装置中的事物的第二视觉提示的示例的视图。
参照图7B,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以基于对象的边缘(或轮廓)在显示装置160上显示包括第二视觉提示(例如,733、735、737或739)的第二用户界面730。第二用户界面730可以包括预览图像731和第二视觉提示。第二视觉提示可以包括图形和文本。当接收到与对象相对应的标识信息时,处理器120可以将接收到的标识信息存储在存储器(例如,图1的存储器130)中。当与被识别为事物的对象相对应的标识信息被存储在存储器130中时,处理器120可以提供包括图形和标识信息的第二视觉提示。第二视觉提示可以包括与台灯相对应的图形(例如,矩形)和文本(台灯)视觉提示733、与床相对应的图形(例如,矩形)和文本(例如,床)视觉提示735、与天空相对应的图形(例如,矩形)和文本(例如,天空)视觉提示737,以及与椅子相对应的图形(例如,矩形)和文本(例如,椅子)视觉提示739。
图8是示出根据本公开的实施例的根据是否确认了电子装置中的对象来控制图形元素的显示的方法的流程图。
参照图8,在方法800中,在操作801,根据各种实施例的电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以从预览图像中识别出第一对象和第二对象。预览图像可以是指从相机模块180实时获取的图像(或视频)。对象可以包括人(或人类)或事物(例如,物品)。在下文中,为了便于描述,将对象描述为“人”,但是该对象可以是事物。处理器120可以针对每个识别出的人从预览图像中确认识别出多少人。面部识别可以意味着当从预览图像识别出两种对象时,第一对象和第二对象被不同地识别。
在操作803,处理器120可以显示与每个对象相对应的视觉提示。视觉提示可以分别显示在从预览图像识别出的对象上,并且可以指导涂鸦功能的应用或可以绘图的事实。视觉提示可以包括图形(例如,圆圈)、文本或图像中的至少一个。处理器120可以显示与第一对象相对应的第一视觉提示和与第二对象相对应的第二视觉提示。对于每个识别出的对象,视觉提示可以相同或不同地显示。处理器120可以针对每个对象不同地显示作为视觉提示提供的图形的颜色或形状,或者可以不同地显示标识信息(例如,文本或图像)。标识信息可以显示在对象的边缘部分或特定的指定位置。即使在执行操作803时,处理器120也可以识别对象。
根据各种实施例,处理器120可以基于识别出的对象的属性来确定是否显示可绘图区域。当对象是“人”时,处理器120可以显示可绘图区域,而当对象是“事物”时,处理器120可以不显示可绘图区域。处理器120可以逐渐显示所显示的视觉提示以显示可绘图区域。处理器120可以放大第一对象的第一视觉提示以显示第一可绘图区域,并且可以放大第二对象的第二视觉提示以显示第二可绘图区域。
在操作805,处理器120可以检测与每个对象相对应的绘图输入。绘图可能意味着用户使用他或她的身体或笔(例如,安装在电子装置101上的外部绘图笔)以点、线或面的形式直接地执行绘图。处理器120可以基于对象的特征点获得检测到绘图的坐标信息。处理器120可以通过映射对象的特征点和绘图的坐标信息来生成对象的特征点与图形元素之间的关系信息。关系信息可以基于在其上检测到绘图的坐标信息将图形元素与对象相关联。处理器120可以通过将第一图形元素映射到第一对象的特征点来生成第一关系信息,并且可以通过将第二图形元素映射到第二对象的特征点来生成第二关系信息。处理器120可以将针对每个对象的关系信息存储在存储器130中。即使在执行操作805时,处理器120也可以识别对象。
根据各种实施例,用户可以针对每个对象不同地输入绘图。例如,处理器120可以检测相对于第一对象绘图冠状形状(例如,第一图形元素)的输入,并且可以检测相对于第二对象绘图条带形状(例如,第二图形元素)的输入。处理器120可以通过面部识别来识别第一对象和第二对象是不同的,并且可以基于绘图的检测点(例如,坐标信息)来分析(或检测)将绘图输入到第一对象或第二对象的哪个人。
例如,当将绘图输入到第一对象的第一可绘图区域中时,处理器120可以确定在第一对象中检测到绘图,并且当将绘图输入到第二对象的第二可绘图区域时,可以确定在第二对象中检测到绘图。当第一对象和第二对象彼此靠近并且可绘图区域交叠时,处理器120可以基于对象的特征点(例如,头部、面部轮廓、眼睛、鼻子、嘴等),确定绘图更靠近哪个对象,从而确定将绘图输入到第一对象或第二对象的哪个对象。
在操作807,处理器120可以显示与第一对象相对应的第一图形元素和与第二对象相对应的第二图形元素。处理器120可以基于关系信息控制在映射到对象的特征点的位置处显示图形元素。例如,处理器120可以基于存储器130中存储的第一关系信息来显示第一图形元素,并且可以基于第二关系信息来显示第二图形元素。处理器120可以根据对象的存在或不存在、大小、角度(或姿态)或位置中的至少一项来控制图形元素的显示。即使在执行操作807时,处理器120也可以识别对象。
在操作809,处理器120可以确定对象标识是否可能。处理器120可以从实时地从相机模块180获得的预览图像中确认(或识别)第一对象和第二对象。例如,处理器120可以跟踪预览图像中第一对象或第二对象的存在或不存在、大小、角度(或姿态)或位置。处理器120可以基于第一对象还是第二对象是可识别的来执行操作811、操作813或操作815中的至少一个。即使在执行操作809时,处理器120也可以识别对象。
当仅第一对象被识别时,在操作811,处理器120可以显示与第一对象相对应的第一图形元素,并且可以去除与第二对象相对应的第二图形元素。当从实时地获取的预览图像中仅识别了第一对象而未识别第二对象时,处理器120可以仅显示第一图形元素并且可以不显示第二图形元素。处理器120可以基于第一关系信息显示与第一对象相对应的第一图形元素。当甚至在执行操作811时也通过识别对象识别出了新的对象时,处理器120可以执行操作803至操作809。处理器120可以执行操作811并且可以执行操作817。
当第一对象和第二对象被识别时,在操作813,处理器120可以显示与第一对象相对应的第一图形元素,并且可以显示与第二对象相对应的第二图形元素。当从实时地获取的预览图像中识别了第一对象和第二对象两者时,处理器120可以显示第一图形元素和第二图形元素。处理器120可以与第一对象或第二对象的变化(例如,大小、位置或角度)成比例地改变并显示第一图形元素和第二图形元素。处理器120可以基于第一关系信息显示与第一对象相对应的第一图形元素,并且可以基于第二关系信息显示与第二对象相对应的第二图形元素。当即使在执行操作813时也通过识别对象识别出了新的对象时,处理器120可以执行操作803至操作809。处理器120可以执行操作813并且可以执行操作817。
当仅第二对象被识别时,在操作815,处理器120可以去除与第一对象相对应的第一图形元素,并且可以显示与第二对象相对应的第二图形元素。当从实时地获取的预览图像中仅识别了第二对象而未识别第一对象时,处理器120可以仅显示第二图形元素并且可以不显示第一图形元素。处理器120可以基于第二关系信息显示与第二对象相对应的第二图形元素。当即使在执行操作811时也通过识别对象识别出了新的对象时,处理器120也可以执行操作803至操作809。
根据各种实施例,处理器120可以在执行操作801之后的操作中的至少一个时执行操作801。当在执行操作801之后的操作中的至少一个时识别出新对象时,处理器120可以执行以下操作:为新识别的对象显示视觉提示,为新对象检测绘图,并为新对象显示图形元素。
在操作817,处理器120可以跟踪对象。处理器120可以跟踪从相机模块180实时获取的预览图像中的对象的变化。例如,当对象是人时,处理器120可以跟踪在预览图像中的对象存在或不存在、大小、角度(或姿态)或者位置。当对象是事物时,处理器120可以跟踪电子装置101中的变化。在执行操作817之后,处理器120可以返回操作809以确定对象标识是否可能,并且可以基于是第一对象还是第二对象是可确认的来执行操作811、操作813或操作815中的至少一项。即使在执行操作817时,处理器120也可以识别对象。
根据各种实施例,处理器120可以在根据用户的请求执行操作801至操作817时,在操作801至操作817中的至少一个中拍摄视频。
图9A是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的图,图9B是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的图,图9C是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的图,图9D是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的视图。
图9A是示出根据本公开的实施例的显示电子装置中的预览图像的示例的视图。
参照图9A,电子装置(例如,电子装置101)的处理器(例如,图1的处理器120)可以在显示器(例如,图1的显示装置160)上显示包括预览图像913的第一用户界面910。第一用户界面910可以包括对象属性改变按钮911和预览图像913。当对象属性改变按钮911针对人(例如,面部)进行配置(或选择)时,处理器120可以从预览图像913识别人。当对象属性改变按钮911针对事物(例如,各处)进行配置为时,处理器120可以从预览图像913中识别对象。由于对象属性改变按钮911针对人进行配置,因此处理器120可以识别该人以识别第一对象915和第二对象917。
图9B是示出根据本公开的实施例的显示与电子装置中的对象相对应的视觉提示的示例的视图。
参照图9B,当对象标识完成时,处理器120可以在显示装置160上显示第二用户界面930。第二用户界面930可以包括与第一对象915相对应的第一视觉提示931和与第二对象917相对应的第二视觉提示933。第一视觉提示931和第二视觉提示933可以分别显示在从预览图像识别出的对象(例如,人)上。处理器120可以以相同的形式(或形状)显示第一视觉提示931和第二视觉提示933。例如,处理器120可以基于第一对象915的面部轮廓来显示第一视觉提示931,并且可以基于第二对象917的面部轮廓来显示第二视觉提示933。根据各种实施例,当第一对象915和第二对象917被分析为具有不同的面部轮廓大小时,处理器120可以不同地显示第一视觉提示931和第二视觉提示933的大小。当第一对象915和第二对象917被分析为具有相同的面部轮廓大小时,处理器120可以相同地显示第一视觉提示931和第二视觉提示933。
图9C是示出根据本公开的实施例的显示与电子装置中的对象相对应的视觉提示的另一示例的视图。
参照图9C,当对象标识完成时,处理器120可以在显示装置160上显示第三用户界面950。第三用户界面950可以包括与第一对象915相对应的第一视觉提示951和与第二对象917相对应的第二视觉提示953。第一视觉提示951和第二视觉提示953可以分别被显示在从预览图像识别出的对象(例如,人)上。处理器120可以以不同的形式显示第一视觉提示951和第二视觉提示953。例如,处理器120可以与第二视觉提示953的形状、形式、颜色或大小中的至少一个不同地显示第一视觉提示951的形状、形式、颜色或大小中的至少一个。第一视觉提示951可以由虚线(或红色)指示,而第二视觉提示953可以由实线(或黑色)指示。
图9D是示出根据本公开的实施例的显示与电子装置中的对象相对应的视觉提示的另一示例的视图。
参照图9D,当对象标识完成时,处理器120可以在显示装置160上显示第四用户界面970。第四用户界面970可以包括与第一对象915相对应的第一视觉提示971和与第二对象917相对应的第二视觉提示973。处理器120可以以不同的形式显示第一视觉提示971和第二视觉提示973。关于第一视觉提示971,可以基于第一对象915的面部轮廓来显示图形(例如,黑色圆圈),并且可以显示文本(例如,迈克)作为标识信息。关于第二视觉提示973,可以基于第二对象917的面部轮廓来显示图形(例如,红色圆圈),并且可以显示文本(例如,Adele)作为标识信息。
根据各种实施例,当已经将第一对象915预先配置(或注册)为“Mike”哪怕一次并且将第二对象917已经预先配置(或注册)为“Adele”时,可以显示标识信息。处理器120可以基于用户输入来改变标识信息。当接收到用于选择标识信息的用户输入时,处理器120可以提供用于改变标识信息的键盘。可替代地,当接收到用于选择标识信息的用户输入时,处理器120可以提供存储器130中存储的图像。
图10A是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的图,图10B是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的图,图10C是示出根据本公开的实施例的对电子装置中的每个对象提供不同的视觉提示的示例的视图。
图10A是示出根据本公开的实施例的显示与电子装置中的对象相对应的视觉提示的示例的视图。
参照图10A,处理器120可以从预览图像确认对象,并且可以在对象标识完成时在显示装置160上显示第一用户界面1010。第一用户界面1010可以包括与第一对象相对应的第一视觉提示1011、与第二对象相对应的第二视觉提示1013、与第三对象相对应的第三视觉提示1015或与第四对象相对应的第四视觉提示1017。第一视觉提示1011至第四视觉提示1017可以分别显示在从预览图像识别出的对象(例如,人)上。处理器120可以以相同的形式(或形状)显示第一视觉提示1011至第四视觉提示1017。
例如,处理器120可以基于第一对象的面部轮廓显示第一视觉提示1011,基于第二对象的面部轮廓显示第二视觉提示1013,基于第三对象的面部轮廓显示第三视觉提示1015,以及基于第四对象的面部轮廓显示第四视觉提示1017。根据各种实施例,当第一对象到第四对象的面部轮廓大小被分析为彼此不同时,处理器120可以不同地显示第一视觉提示1011至第四视觉提示1017的大小。当第一对象至第四对象的面部轮廓的大小被分析为相同时,处理器120可以相同地显示第一视觉提示1011至第四视觉提示1017的大小。
图10B是示出根据本公开的实施例的显示与电子装置中的对象相对应的视觉提示的另一示例的视图。
参照图10B,处理器120可以从预览图像确认对象,并且可以在对象标识完成时在显示装置160上显示第二用户界面1030。第二用户界面1030可以包括与第一对象相对应的第一视觉提示1031,与第二对象相对应的第二视觉提示1033,与第三对象相对应的第三视觉提示1035或与第四对象相对应的第四视觉提示1037。第一视觉提示1031至第四视觉提示1037可以分别显示在从预览图像识别出的对象(例如,人)上。处理器120可以分别以不同的形式(或形状)显示第一视觉提示1031至第四视觉提示1037。对于第一视觉提示1031,可以基于第一对象的面部轮廓来显示图形(例如,黑色圆圈),并且可以显示文本(例如,Lana)作为标识信息。对于第二视觉提示1033,可以基于第二对象的面部轮廓显示图形(例如,红色圆圈),并且可以显示文本(例如,John)作为标识信息。对于第三视觉提示1035,可以基于第三对象的面部轮廓显示图形(例如,粉色圆圈),并且可以显示文本(例如,Tilda)作为标识信息。对于第四视觉提示1037,可以基于第四对象的面部轮廓来显示图形(例如,橙色圆圈),并且可以显示文本(例如,Jade)作为标识信息。
根据各种实施例,如果哪怕有一次已经将针对第一对象的标识信息预先配置(或注册)为“Lana”,已经将针对第二对象的标识信息预先配置(或注册)为“Jonn”,已经将针对第三对象的标识信息预先可配置(或注册)为“Tilda”,已经将第四对象的标识信息预先配置(或注册)为“Jade”时,处理器120可以显示与对象相对应的标识信息。处理器120可以基于用户输入来改变标识信息。当接收到用于选择标识信息的用户输入时,处理器120可以提供用于改变标识信息的键盘。可替代地,当接收到用于选择标识信息的用户输入时,处理器120可以提供存储在存储器130中的图像。
图10C是示出根据本公开的实施例的显示与电子装置中的对象相对应的视觉提示的另一示例的视图。
参照图10C,处理器120可以从预览图像确认对象,并且可以在对象标识完成时在显示装置160上显示第三用户界面1050。第三用户界面1050可以包括与第一对象相对应的第一视觉提示1051,与第二对象相对应的第二视觉提示1053,与第三对象相对应的第三视觉提示1055或与第四对象相对应的第四视觉提示1057。对于第一视觉提示1051,可以基于第一对象的面部轮廓来显示图形(例如,黑色圆圈)。第一视觉提示1051可以包括符号(例如,问号),该符号指导能够注册针对第一对象的标识信息的事实。对于第二视觉提示1053,可以基于第二对象的面部轮廓显示图形(例如,红色圆圈),并且可以显示文本(例如,John)作为标识信息。对于第三视觉提示1055,可以基于第二对象的面部轮廓来显示图形(例如,粉色圆圈),并且可以显示文本(例如,Tilda)作为标识信息。对于第四视觉提示1057,可以基于第四对象的面部轮廓显示图形(例如,橙色圆圈)。第四视觉提示1057可以包括符号(例如,问号),该符号指导能够注册用于第四对象的标识信息的事实。
根据各种实施例,如果已经提前配置(或注册)了标识信息(例如,John或Tilda)哪怕一次,就可以显示标识信息。处理器120可以基于用户输入来改变标识信息。用户可以通过选择第一对象的符号来输入第一对象的第一标识信息。用户可以通过选择第四对象的符号来输入第四对象的第四标识信息。当接收到用于选择标识信息的用户输入时,处理器120可以提供用于改变标识信息的键盘。可替代地,当接收到用于选择标识信息的用户输入时,处理器120可以提供存储在存储器130中的图像。在注册了第一标识信息或第四标识信息的情况下,当此后识别(或确认)出第一对象或第四对象时,处理器120可以将视觉提示与第一标识信息或第四标识信息一起提供。
图11A是示出根据本公开的实施例的根据是否确认了电子装置中的人来控制图形元素的显示的示例的图,图11B是示出根据本公开的实施例的根据是否确认了电子装置中的人来控制图形元素的显示的示例的图,以及图11C是示出根据本公开的实施例的根据是否确认了电子装置中的人来控制图形元素的显示的示例的视图。
图11A是示出根据本公开的实施例的显示与电子装置中的对象相对应的图形元素的示例的视图。
参照图11A,当通过绘图生成图形元素时,处理器120可以在显示装置160上显示第一用户界面1110。第一用户界面1110可以包括与第一对象1111相对应的第一图形元素1113,与第二对象1115相对应的第二图形元素1117。当用户输入用于第一对象1111的绘图时,可以生成第一图形元素1113。当用户输入用于第二对象1115的绘图时,可以生成第二图形元素1117。处理器120可以通过映射第一对象1111的特征点和用户绘图的坐标信息来生成第一图形元素1113的第一关系信息。处理器120可以通过映射第二对象1115的特征点和用户绘图的坐标信息来生成第二图形元素1117的第二关系信息。处理器120可以基于第一关系信息显示与第一对象1111相对应的第一图形元素1113,并且可以基于第二关系信息显示与第二对象1115相对应的第二图形元素1117。第一图形元素1113可以与第二图形元素1117不同。由于第一图形元素1113是基于第一对象1113的特征点生成的,所以即使用户以与第二图形元素1117相同的方式输入相应的绘图,因为对象是不同的,第一图形元素1113也可以与第二图形元素1117不同。
图11B是示出根据本公开的实施例的通过跟踪电子装置中的对象来显示图形元素的示例的视图。
参照图11B,在显示第一用户界面1110之后,处理器120可以跟踪对象以在显示装置160上显示第二用户界面1130。第二用户界面1130可以包括与第二对象1115相对应的第二图形元素1131。因为是基于第二对象1115的特征点来控制第二图形元素1131的显示,所以当在预览图像中第二对象1115改变时,第二图形元素1131也可以一起改变并显示。处理器120可以根据第一对象1111或第二对象1111的存在或不存在、大小、角度(或姿态)或位置中的至少一个的变化来控制第一图形元素1113或第二图形元素1131的显示。当在显示第一用户界面1110之后获得的预览图像中没有识别出第一对象1111而仅识别出第二对象1115时,处理器120可以不显示与第一对象1111相对应的第一图形元素1113,并且可以显示与第二对象1115相对应的第二图形元素1131。与第二图形元素1117不同,可以看出第二图形元素1131的位置和大小已经改变。
图11C是示出根据本公开的实施例的通过跟踪电子装置中的对象来显示图形元素的另一示例的视图。
参照图11C,处理器120可以显示第一用户界面1110或第二用户界面1130,然后可以跟踪对象以在显示装置160上显示第三用户界面1150。第三用户界面1150可以包括与第一对象1111相对应的第一图形元素1151,与第二对象1115相对应的第二图形元素1153。处理器120可以根据第一对象1111或第二对象1115的存在或不存在、大小、角度(或姿态)或位置中的至少一个的变化来控制第一图形元素1151或第二图形元素1153的显示。当在显示了第一用户界面1110或第二用户界面1130之后获得的预览图像中识别出第一对象1111和第二对象1115时,处理器120可以显示与第一对象1111相对应的第一图形元素1151和与第二对象1115相对应的第二图形元素1153。不同于第一图形元素1113,可以看出第一图形元素1151的位置或大小已经改变了。不同于第二图形元素1117或第二图形元素1131,可以看出第二图形元素1153的位置或大小已经改变。
图12A是示出根据本公开的实施例的根据是否识别了电子装置中的人来控制图形元素的显示的示例的图,图12B是示出根据本公开的实施例的根据是否识别了电子装置中的人来控制图形元素的显示的示例的图,图12C是示出根据本公开的实施例的根据是否识别了电子装置中的人来控制图形元素的显示的示例的图,图12D是示出根据本公开的实施例的根据是否确认了电子装置中的人来控制图形元素的显示的示例的视图。
图12A是示出根据本公开的实施例的显示与电子装置中的对象相对应的图形元素的示例的视图。
参照图12A,当通过绘图生成图形元素时,处理器120可以在显示装置160上显示第一用户界面1210。第一用户界面1210可以包括与第一对象1211相对应的第一图形元素1215,与第二对象1231相对应的第二图形元素1235,或与第三对象1251相对应的第三图形元素1255。当用户输入用于第一对象1211的绘图时,可以生成第一图形元素1215。当用户输入用于第二对象1231的绘图时,可以生成第二图形元素1235。当用户输入用于第三对象1251的绘图时,可以生成第三图形元素1255。处理器120可以通过映射第一对象1211的特征点和用户绘图的坐标信息来生成第一图形元素1215的第一关系信息。处理器120可以通过映射第二对象1231的特征点和用户绘图的坐标信息来生成第二图形元素1235的第二关系信息。处理器120可以通过映射第三对象1251的特征点和用户绘图的坐标信息来生成第三图形元素1255的第三关系信息。
处理器120可以基于第一关系信息显示与第一对象1211相对应的第一图形元素1215,基于第二关系信息来显示与第二对象1231相对应的第二图形元素1235,以及基于第三关系信息来显示与第三对象1251相对应的第三图形元素1255。第一图形元素1215至第三图形元素1255可以不同。
图12B是示出根据本公开的实施例的通过跟踪电子装置中的对象来显示图形元素的示例的视图。
参照图12B,在显示了第一用户界面1210之后,处理器120可以跟踪对象以在显示装置160上显示第二用户界面1230。第二用户界面1230可以包括与第一对象1211相对应的第一图形元素1215。由于是基于第一对象1211的特征点来控制第一图形元素1215的显示的,所以当在预览图像中改变第一对象1211时,可以一起改变并显示第一图形元素1215。处理器120可以根据第一对象1211至第三对象1251的存在或不存在、大小、角度(或姿态)或位置的至少一个的变化来控制第一图形元素1215至第三图形元素1255的显示。
在第二用户界面1230中,第二对象1231和第三对象1251覆盖了第二对象1231和第三对象1251的面部,从而处理器120可能无法识别第二对象1231和第三对象1251的面部。在第二用户界面1230中,处理器120可能无法识别第二对象1231和第三对象1251,并且可能仅识别出第一对象1211。在这种情况下,处理器120可能不会显示第二图形元素与第二对象1231相对应的第二图形元素1235和与第三对象1251相对应的第三图形元素1255,可以显示与第一对象1211相对应的第一图形元素1215。处理器120可以基于第一对象1211中的改变(位置、角度或大小)来改变第一图形元素1215。
图12C是示出根据本公开的实施例的通过跟踪电子装置中的对象来显示图形元素的另一示例的视图。
参照图12C,在显示了第一用户界面1210之后,处理器120可以跟踪对象以在显示装置160上显示第三用户界面1250。第三用户界面1250可以包括与第二对象1231相对应的第二图形元素1235。由于是基于第二对象1231的特征点来控制第二图形元素1235的显示的,所以当第二对象1231在预览图像中发生改变时,第二图形元素1235也可以被一起改变和显示。处理器120可以根据第一对象1211至第三对象1251的存在或不存在、大小、角度(或姿态)或位置的至少一个的变化来控制第一图形元素1215至第三图形元素1255的显示。
在第三用户界面1250中,第一对象1211和第三对象1251覆盖了第一对象1211和第三对象1251的面部,从而处理器120可能无法识别第一对象1211和第三对象1251的面部。在第三用户界面1250中,处理器120可能无法识别出第一对象1211和第三对象1251,并且可能仅识别出第二对象1231。在这种情况下,处理器120可能不会显示与第一对象1211相对应的第一图形元素1215和与第三对象1251相对应的第三图形元素1255,可以显示与第二对象1231相对应的第二图形元素1235。处理器120可以基于第二个对象1231的改变(例如,位置、角度或大小)来改变第二图形元素1235。
图12D是示出根据本公开的实施例的通过跟踪电子装置中的对象来显示图形元素的另一示例的视图。
参照图12D,在显示了第一用户界面1210之后,处理器120可以跟踪对象以在显示装置160上显示第四用户界面1270。第四用户界面1270可以包括与第一对象1211相对应的第一图形元素1215和与第三对象1251相对应的第三图形元素1255。由于是基于第一对象1211或第三对象1251的特征点来控制第一图形元素1215或第三图形元素1255的显示的,所以当在预览图像中改变了第一对象1211或第三对象1251时,可以一起改变并显示第一图形元素1215或第三图形元素1255。处理器120可以根据第一对象1211至第三对象1251的存在或不存在、大小、角度(或姿态)或位置中的至少一个的变化来控制第一图形元素1215至第三图形元素1255的显示。
在第四用户界面1270中,第二对象1231覆盖了第二对象1231的面部,使得处理器120可能无法识别出第二对象1231的面部。在第四用户界面1270中,处理器120可以不能识别出第二对象1231,而可以仅识别出第一对象1211和第三对象1251。在这种情况下,处理器120可以显示与第一对象1211相对应的第一图形元素1215和与第三对象1251相对应的第三图形元素1255,并且可以不显示与第二对象1231相对应的第二图形元素1235。处理器120可以基于第一对象1211和第三对象1251中的改变(例如,位置、角度或大小)来改变第一图形元素1215和第三图形元素1255。
根据各种实施例,处理器120可以在基于用户输入来显示第一用户界面1210至第四用户界面1270的同时拍摄视频。例如,处理器120可以顺序地或非顺序地拍摄第一用户界面1210、第二用户界面1230、第三用户界面1250和第四用户界面1270,以生成单个视频。可替代地,处理器120可以在显示着第一用户界面1210至第四用户界面1270中的至少一个的同时拍摄视频。
图13A是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的图,图13B是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的图,图13C是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的图,图13D是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的视图。
图13A是示出根据本公开的实施例的显示与电子装置中的对象相对应的图形元素的示例的视图。
参照图13A,当通过绘图生成了图形元素时,处理器120可以在显示装置160上显示第一用户界面1310。第一用户界面1310可以包括第一预览图像1311和第一图形元素1318。如果对象的属性被配置为“事物”,则处理器120可以从通过相机模块180获得的第一预览图像1311中识别该事物。处理器120可以将台灯1313、窗户1314、空调1315、椅子1316和桌子1317识别为事物。处理器120可以在显示第一预览图像1311的同时识别检测到绘图时的空间坐标值,并且可以在检测到绘图的点处显示第一图形元素1318。在图13A中,尽管将第一图形元素1318描述为一个,但是也可以将每个点、面或线识别为一个图形元素,而无需在触摸了笔之后释放笔。第一图形元素1318示出了其中多个图形元素被组合并完成为单个图片的示例。
处理器120可以获取电子装置101的位置信息或姿态信息作为空间坐标值。电子装置101的位置信息可以包括纬度、经度或高度中的至少之一。电子装置101的姿态信息可以包括由传感器模块(例如,图1的传感器模块176)检测到的感测信息。处理器120可以将通过检测到的绘图识别的第一图形元素1318的空间坐标值存储在存储器(例如,图1的存储器130)中。处理器120可以将第一图形元素1318与空间坐标值一起存储。
图13B是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的视图。
参照图13B,在显示了第一用户界面1310之后,处理器120可以跟踪电子装置101中的变化并且可以在显示装置160上显示第二用户界面1330。第二用户界面1330可以包括第二预览图像1331和第二图形元素1338。第二预览图像1331不同于第一预览图像1311。例如,可以看到包括在第一预览图像1311中的事物(例如,台灯1313、窗户1314、空调1315、椅子1316或桌子1317)的位置、形状或大小与包括在第二预览图像1331中的事物(例如,台灯1333、窗户1334、空调1335、椅子1336或桌子1337)的位置、形状或大小是不同的。
处理器120可以在获取第二预览图像1331时跟踪电子装置101中的变化,并且可以基于存储器130中存储的第一图形元素1318的空间坐标值来显示第二图形元素1338。由于在第一用户界面1310中电子装置101的位置信息或姿态信息不同于第二用户界面1330中电子装置101的位置信息或姿态信息,所以第一图形元素1318和第二图形元素1338可以不同地显示。第二图形元素1338可以被显示为比第一图形元素1318更近,从而可以看到一些图片不可见了。
图13C是示出根据本公开的实施例的通过跟踪电子装置中的变化来显示图形元素的另一示例的视图。
参照图13C,在显示了第一用户界面1310或第二用户界面1330之后,处理器120可以跟踪电子装置101中的变化以在显示装置160上显示第三用户界面1350。第三用户界面1350可以包括第三预览图像1351和第三图形元素1358。第三预览图像1351可以与第一预览图像1311或第二预览图像1331不同。例如,可以看到第一预览图像1311或第二预览图像1331中包括的某些事物(例如,台灯1313、窗户1314、空调1315、椅子1316或桌子1317)中的一些没有被包括在第三预览图像1351中。第三预览图像1351可以仅包括台灯1353和窗户1354。
处理器120可以在获取第三预览图像1351时跟踪电子装置101中的变化,并且可以基于在存储器130中存储的第一图形元素1318的空间坐标值来显示第三图形元素1358。由于第一用户界面1310或第二用户界面1330中电子装置101的位置信息或姿态信息与第三用户界面1350中电子装置101的位置信息或姿态信息不同,所以第三图形元素1358可以与第一图形元素1318或第二图形元素1338不同地显示。第三图形元素1358可以显示为比第一图形元素1318或第二图形元素1338更近,从而可以看到一些图片(例如,披肩、上身和头发)不可见了。
图13D是示出根据本公开的实施例的通过跟踪电子装置中的变化来显示图形元素的另一示例的视图。
参照图13D,在显示了第一用户界面1310至第三用户界面1350中的至少一个之后,处理器120可以跟踪电子装置101中的变化以在显示装置160上显示第四用户界面1370。第四用户界面1370可以包括第四预览图像1371和第四图形元素1378。第四预览图像1371可以不同于第一预览图像1311至第三预览图像1351。例如,可以看到包括在第一预览图像1311至第三预览图像1351中事物(例如,台灯1313、窗户1314、空调1315、椅子1316或桌子1317)的一些没有被包括在第四预览图像1371中。第四预览图像1371可以仅包括台灯1373、窗户1374和桌子1377。
处理器120可以在获取第四预览图像1371时跟踪电子装置101中的变化,并且可以基于存储在存储器130中的第一图形元素1318的空间坐标值来显示第四图形元素1378。由于第一用户界面1310至第三用户界面1350中的任何一个中的电子装置101的位置信息或姿态信息与第四用户界面1370中的电子装置101的位置信息或姿态信息不同,所以第四图形元素1378可以与第一图形元素1318至第三图形元素1358不同地显示。可以将第四图形元素1378显示为比第一图形元素1318至第三图形元素1358更近,从而可以看到一些图片(例如,面部的一部分、头发和上半身)不可见了。
根据各种实施例,处理器120可以从显示第一用户界面1310的时间点开始拍摄视频。处理器120可以在基于用户输入显示第一用户界面1310至第四用户界面1370的同时拍摄视频。在该视频中,可以可变地或顺序地包括第一用户界面1310至第四用户界面1370。可替代地,处理器120可以在显示第一用户界面1310至第四用户界面1370中的至少一个的同时拍摄视频。
图14A是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的图,图14B是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的图,图14C是示出根据本公开的实施例的通过跟踪电子装置中的变化来控制图形元素的显示的示例的视图。
图14A是示出根据本公开的实施例的通过跟踪电子装置中的电子装置中的变化来显示图形元素的示例的视图。
参照图14A,当生成通过绘图的图形元素时,处理器120可以在显示装置160上显示第一用户界面1410。第一用户界面1410可以包括第一图形元素1415和第二图形元素1417。第一图形元素1415可以是类似笔迹的文本,第二图形元素1417可以是诸如点或圆的图形。当对象的属性被配置为“事物”时,处理器120可以从借助于相机模块180获得的预览图像中识别对象。处理器120可以将树(例如,1411和1413)识别为事物。处理器120可以在显示第一用户界面1410之前的任意时间点检测在比第一用户界面1410上的显示更远的位置处的绘图,并且可以通过检测到的绘图生成第一图形元素1415和第二图形元素1417。例如,用户可以在移动(例如,前/后和左/右)位置(例如,电子装置101的位置)的同时输入绘图。处理器120可以在检测到绘图的时间点确认空间坐标值,并且可以将所确认的空间坐标值存储在存储器(例如,图1的存储器130)中。处理器120可以将第一图形元素1415和第二图形元素1417与空间坐标值一起存储。处理器120可以基于存储器130中存储的图形元素的空间坐标值、电子装置101的位置信息及其姿态信息中的至少一个来显示第一用户界面1410。
根据各种实施例,由于用户在移动位置的同时输入绘图,因此一些图形元素可能不会显示在第一用户界面1410中。由于从电子装置101的相机模块180获得的图像的视角比用户的眼睛的视角更窄或要拍摄的距离更短,所以一些图形元素在电子装置101的当前位置可能是不可见的。
图14B是示出根据本公开的实施例的通过跟踪电子装置中的变化来显示图形元素的另一示例的视图。
参照图14B,当生成通过绘图的图形元素时,处理器120可以在显示装置160上显示第二用户界面1430。第二用户界面1430可以包括第一图形元素1415、第二图形元素1417和第三图形元素1431。处理器120可以基于存储在存储器130中的图形元素的空间坐标值、电子装置101的位置信息及其姿态信息中的至少一个来显示第二用户界面1430。根据电子装置101的位置移动,可以将第一用户界面1410中包括的第一图形元素1415和第二图形元素1417大部分地显示在第二用户界面1430上。另外,第一用户界面1410中未包括的一些图形元素(例如,第二图形元素1417或第三图形元素1431的一部分)可以被显示在第二用户界面1430中。由于电子装置101在第一用户界面1410中的位置信息或姿态信息是与电子装置101在第二用户界面1430中的位置信息或姿态信息不同,所以显示的图形元素可以不同。例如,关于在第一用户界面1410中看到的树1411,在第二用户界面1430中仅树1413可以是可见的而树1411可以是不可见的。
图14C是示出根据本公开的实施例的通过跟踪电子装置中的变化来显示图形元素的另一示例的视图。
参照图14C,当生成通过绘图的图形元素时,处理器120可以在显示装置160上显示第三用户界面1450。第三用户界面1450可以包括第一图形元素1415、第二图形元素1417和第四图形元素1451。处理器120可以基于存储在存储器130中的图形元素的空间坐标值、电子装置101的位置信息及其姿态信息中的至少一个来显示第三用户界面1450。根据电子装置101的位置移动,可以将包括在第一用户界面1410或第二用户界面1430中的第一图形元素1415和第二图形元素1417大部分地显示在第三用户界面1450中。包括在第二用户界面1430中的第三图形元素1431可以不显示在第三用户界面1450中。
由于电子装置101在经过第三图形元素1431的空间坐标值的同时已经移动,因此第三图形元素1431可能不显示在电子装置101的当前位置。由于基于空间坐标值显示图形元素,因此当电子装置101生成与前/后或左/右有一定距离的图形元素(例如,第三图形元素1431)时,当电子装置101经过该空间坐标值时,可能不显示该图形元素。另外,未包括在第一用户界面1410或第二用户界面1430中的第四图形元素1451可以显示在第三用户界面1450中。由于电子装置101在第一用户界面1410中的位置信息或姿态信息与电子装置101在第二用户界面1430中的位置信息或姿态信息不同,所以要显示的图形元素可以不同。
根据各个实施例,可以从预览图像中识别出对象以通过向对象添加图形元素,并且可以从预览图像中实时跟踪该对象,从而可变地显示与对象相对应的图形元素。
根据各个实施例,用户可以针对从预览图像确认的每个对象直接输入绘图,并且通过输入绘图的图形元素可以被不同地应用于每个对象,从而提高用户满意度。
根据各种实施例,当可以从预览图像确认对象时,可以显示图形元素。当对象不可确认时,可以在不显示图形元素的情况下去除图形元素,从而根据是否确认了对象来控制图形元素的显示。
尽管已经参考本公开的各种实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离由所附权利要求及其等同形式限定的本公开的精神和范围的情况下,可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置,所述电子装置包括:
相机模块;
显示器;
存储器;以及
处理器,所述处理器被配置为可操作地连接至所述相机模块、所述显示器和所述存储器,
其中,所述处理器被进一步配置为:
在所述显示器上显示从所述相机模块获得的预览图像,
从所述预览图像中识别对象,
基于所述对象检测绘图输入,
通过检测到的绘图输入,生成图形元素,以及
通过跟踪所述对象,将所述图形元素显示得与所述对象相对应。
2.根据权利要求1所述的电子装置,
其中,所述对象包括人或事物中的至少一者,以及
其中,所述处理器被进一步配置为:
当所述相机模块被前置相机驱动时,将所述人识别为所述对象,并且
当所述相机模块被后置相机驱动时,将所述人或所述事物识别为所述对象。
3.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为基于识别出的对象在所述显示器上显示视觉提示,所述视觉提示指引所述绘图是可能的。
4.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为当所述对象的属性是人时,在所述显示器上显示可绘图区域。
5.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为:
当所述对象的属性是人时,基于所述对象的特征点获取检测到所述绘图输入的坐标信息,并且
通过映射所述对象的特征点和所述绘图输入的坐标信息来生成关系信息。
6.根据权利要求5所述的电子装置,其中,所述处理器被进一步配置为与图形信息相关联地将所生成的关系信息临时地存储在所述存储器中。
7.根据权利要求5所述的电子装置,其中,所述处理器被进一步配置为基于所述关系信息在所述对象上显示所述图形元素。
8.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为:
当所述对象的属性是事物时,在检测到所述绘图输入的时刻,获取所述电子装置的位置信息或姿态信息作为空间坐标值,并且
与图形信息相关联地将所述空间坐标值临时地存储在所述存储器中。
9.根据权利要求8所述的电子装置,其中,所述处理器被进一步配置为基于所述空间坐标值在所述显示器上显示所述图形元素。
10.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为:在所述绘图输入被检测到或所述图形元素被显示时,从实时获得的预览图像跟踪所述对象的变化。
11.根据权利要求10所述的电子装置,其中,所述处理器被进一步配置为:
当所述对象的属性是人时,跟踪所述对象的存在或不存在、大小、角度或位置,以及
当所述对象的属性是事物时,跟踪所述电子装置的改变。
12.根据权利要求11所述的电子装置,其中,所述处理器被进一步配置为:与在从所述相机模块实时获得的所述预览图像中包括的所述对象的所述大小、所述角度或所述位置中的至少一项成比例地改变并显示所述图形元素的大小、角度或位置中的至少一项。
13.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为:当在从所述相机模块实时获得的所述预览图像中没有识别到对象时,不显示针对所述对象的图形元素。
14.根据权利要求1所述的电子装置,其中,所述处理器被进一步配置为:
在第一预览图像中显示与第一对象相对应的第一图形元素和与第二对象相对应的第二图形元素,
从在所述第一预览图像之后获得的第二预览图像中识别所述第一对象和所述第二对象,以及
当在所述第二预览图像中没有识别出第一对象时,去除与所述第一对象相对应的所述第一图形元素,并显示与所述第二对象相对应的所述第二图形元素。
15.一种运行电子装置的方法,所述方法包括:
在所述电子装置的显示器上显示从所述电子装置的相机模块获得的预览图像;
从所述预览图像中识别对象;
基于所述对象检测绘图输入;
通过检测到的绘图输入,生成图形元素;以及
通过跟踪所述对象,将所述图形元素显示得与所述对象相对应。
CN202010784335.2A 2019-08-06 2020-08-06 根据对象显示图形元素的装置和方法 Pending CN112351188A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0095767 2019-08-06
KR1020190095767A KR20210017081A (ko) 2019-08-06 2019-08-06 객체에 대응하는 그래픽 요소 표시 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112351188A true CN112351188A (zh) 2021-02-09

Family

ID=71994406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010784335.2A Pending CN112351188A (zh) 2019-08-06 2020-08-06 根据对象显示图形元素的装置和方法

Country Status (5)

Country Link
US (1) US11284020B2 (zh)
EP (1) EP3779660A1 (zh)
KR (1) KR20210017081A (zh)
CN (1) CN112351188A (zh)
WO (1) WO2021025509A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200100918A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법
KR20230166595A (ko) 2022-05-31 2023-12-07 한림대학교 산학협력단 글자의 크기, 자간, 및 중심점의 높낮이 자동측정을 수행하는 전자 장치, 제어 방법, 및 컴퓨터 프로그램
CN115171200B (zh) * 2022-09-08 2023-01-31 深圳市维海德技术股份有限公司 基于变倍的目标跟踪特写方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304607A1 (en) * 2010-06-09 2011-12-15 Nintendo Co., Ltd. Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
KR20140066557A (ko) * 2012-11-23 2014-06-02 삼성전자주식회사 디스플레이 장치 및 그의 그래픽 요소 디스플레이 방법
EP2852138A1 (en) * 2013-09-23 2015-03-25 LG Electronics, Inc. Head mounted display system
CN105711499A (zh) * 2014-12-19 2016-06-29 爱信精机株式会社 车辆周围监视装置
US20160241776A1 (en) * 2015-02-13 2016-08-18 Samsung Electronics Co., Ltd. Device and method for detecting focus of electronic device
US20170030716A1 (en) * 2015-07-29 2017-02-02 Invensense, Inc. Method and apparatus for user and moving vehicle detection
CN106488002A (zh) * 2015-08-28 2017-03-08 Lg电子株式会社 移动终端
CN108279832A (zh) * 2017-01-06 2018-07-13 三星电子株式会社 图像采集方法和电子装置
US20180276473A1 (en) * 2017-03-27 2018-09-27 Samsung Electronics Co., Ltd. Device for providing information related to object in image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3177474B2 (ja) 1997-03-31 2001-06-18 三洋電機株式会社 ディジタルスチルカメラ
US8594740B2 (en) 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
KR101632248B1 (ko) * 2014-07-23 2016-06-22 서울특별시 방범 시스템 및 그 제어 방법
KR20170041098A (ko) 2015-10-06 2017-04-14 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR101944112B1 (ko) 2016-12-22 2019-04-17 주식회사 시어스랩 사용자 저작 스티커를 생성하는 방법 및 장치, 사용자 저작 스티커 공유 시스템
KR20180082825A (ko) 2017-01-11 2018-07-19 주식회사 매크론 모션 인식에 따른 그래픽 효과 발생 방법 및 그 장치
KR102315341B1 (ko) 2017-03-17 2021-10-20 삼성전자주식회사 객체의 구성 정보에 대응하는 그래픽 효과를 제공하기 위한 방법 및 그 전자 장치
CN109391792B (zh) 2017-08-03 2021-10-29 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
KR20180108541A (ko) 2018-09-21 2018-10-04 주식회사 시어스랩 사용자 저작 스티커를 생성하는 방법 및 장치, 사용자 저작 스티커 공유 시스템
KR102570009B1 (ko) 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110304607A1 (en) * 2010-06-09 2011-12-15 Nintendo Co., Ltd. Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
JP2011259243A (ja) * 2010-06-09 2011-12-22 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
KR20140066557A (ko) * 2012-11-23 2014-06-02 삼성전자주식회사 디스플레이 장치 및 그의 그래픽 요소 디스플레이 방법
EP2852138A1 (en) * 2013-09-23 2015-03-25 LG Electronics, Inc. Head mounted display system
CN105711499A (zh) * 2014-12-19 2016-06-29 爱信精机株式会社 车辆周围监视装置
US20160241776A1 (en) * 2015-02-13 2016-08-18 Samsung Electronics Co., Ltd. Device and method for detecting focus of electronic device
US20170030716A1 (en) * 2015-07-29 2017-02-02 Invensense, Inc. Method and apparatus for user and moving vehicle detection
CN106488002A (zh) * 2015-08-28 2017-03-08 Lg电子株式会社 移动终端
CN108279832A (zh) * 2017-01-06 2018-07-13 三星电子株式会社 图像采集方法和电子装置
US20180276473A1 (en) * 2017-03-27 2018-09-27 Samsung Electronics Co., Ltd. Device for providing information related to object in image
CN108664829A (zh) * 2017-03-27 2018-10-16 三星电子株式会社 用于提供与图像中对象有关的信息的设备

Also Published As

Publication number Publication date
US20210044762A1 (en) 2021-02-11
KR20210017081A (ko) 2021-02-17
WO2021025509A1 (en) 2021-02-11
US11284020B2 (en) 2022-03-22
EP3779660A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
KR102659357B1 (ko) 아바타 애니메이션을 제공하기 위한 전자 장치 및 그에 관한 방법
CN112543901A (zh) 根据外部对象的位置的改变显示与外部对象相对应的替身的电子装置
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
KR20140144510A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11048923B2 (en) Electronic device and gesture recognition method thereof
CN112840634B (zh) 用于获得图像的电子装置及方法
US11062426B2 (en) Electronic device and image processing method
CN114175113A (zh) 提供头像的电子装置及其操作方法
US20210383588A1 (en) Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
US11509815B2 (en) Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
WO2019218879A1 (zh) 拍照交互方法、装置、存储介质及终端设备
US20220385814A1 (en) Method for generating plurality of content items and electronic device therefor
US11403848B2 (en) Electronic device and method for generating augmented reality object
US11587205B2 (en) Method and device for generating avatar on basis of corrected image
KR20200111144A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20210027540A1 (en) Electronic device and method for providing augmented reality object therefor
KR102664688B1 (ko) 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
KR20210106763A (ko) 객체의 움직임을 추적하는 전자 장치 및 방법
KR20210115786A (ko) 자기 이미지 캡쳐 방법 및 이를 위한 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination