CN112262364A - 用于生成对象的电子装置和系统 - Google Patents

用于生成对象的电子装置和系统 Download PDF

Info

Publication number
CN112262364A
CN112262364A CN201980039047.XA CN201980039047A CN112262364A CN 112262364 A CN112262364 A CN 112262364A CN 201980039047 A CN201980039047 A CN 201980039047A CN 112262364 A CN112262364 A CN 112262364A
Authority
CN
China
Prior art keywords
processor
electronic device
user input
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980039047.XA
Other languages
English (en)
Inventor
辛相旻
姜东勋
康智光
权莳昷
金贞勋
田镐振
林然旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112262364A publication Critical patent/CN112262364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

公开了电子装置和系统。该电子装置包括：壳体；设置在壳体内并通过壳体的至少一部分暴露的触摸屏显示器；相机；设置在壳体内的无线通信电路；位置传感器；运动传感器；设置在壳体内并可操作地连接到显示器、相机、无线通信电路、位置传感器和运动传感器的处理器；以及设置在壳体内并可操作地连接到处理器的存储器，其中，该存储器被配置为存储指令，该指令在被执行时使得该处理器：利用相机来捕获图像，从相机接收所捕获的图像，从位置传感器接收与所捕获的图像相关联的位置数据，从运动传感器接收与所捕获的图像相关联的方位数据，通过显示器接收用于向所捕获的图像添加对象的用户输入，并且通过无线通信电路向外部服务器发送对象、捕获的图像、位置数据和方位数据。

Description

用于生成对象的电子装置和系统
技术领域
本公开涉及一种用于响应于触敏用户输入而直观地生成和处理对象(尤其是三维对象)的电子装置和系统。
背景技术
近年来，显示器在便携式电子装置中的作用变得越来越重要。具体而言，具有诸如触摸屏的触敏显示器的便携式电子装置能够通过显示器接收各种用户输入(例如，触摸输入、手写笔输入、悬停输入等)，并执行与接收到的用户输入相对应的特定功能。
便携式电子装置可以通过显示器显示用户界面(例如，增强现实(AR)界面)，并且基于用户界面生成或存储对象(例如，内容)。也就是说，便携式电子装置可以响应于用户输入来识别输入数据值，然后基于所识别的数据值来生成或存储特定对象。
发明内容
技术问题
为了基于AR界面生成这样的对象，电子装置可以通过其相机捕获图像，并接收捕获的图像以及与捕获的图像相关联的位置和方向数据。然后，电子装置可以基于所捕获的图像、位置数据和方位数据来实现AR界面。
当基于AR界面生成特定对象(例如，内容)时，电子装置需要关于要生成的对象的信息(例如，大小、长度、斜率、高度、面积和/或坐标数据，例如相对于X、Y和Z轴的坐标值)。通常，这样的对象信息可以是用户输入的数据值。例如，电子装置可以识别用户输入的数值，并生成与所识别的数值相对应的特定对象。特别地，为了生成三维对象，用户进一步输入对象的旋转信息和深度信息的数值。遗憾的是，这可能会导致生成对象的操作变得复杂。
问题的解决方案
根据本公开的另一方面，提供了一种电子装置。所述电子装置包括：壳体；触摸屏显示器，所述触摸屏显示器设置在所述壳体内并通过所述壳体的至少一部分暴露；相机；无线通信电路，所述无线通信电路设置在所述壳体内；位置传感器；运动传感器；处理器，所述处理器设置在所述壳体内，并且可操作地连接到所述显示器、所述相机、所述无线通信电路、所述位置传感器和所述运动传感器；以及存储器，所述存储器设置在所述壳体内并可操作地连接到所述处理器，其中，所述存储器被配置为存储指令，所述指令在执行时使得所述处理器：利用所述相机捕获图像，从所述相机接收所捕获的图像，从所述位置传感器接收与所捕获的图像相关联的位置数据，从所述运动传感器接收与所捕获的图像相关联的方位数据，通过所述显示器接收用于向所捕获的图像添加对象的用户输入，以及通过所述无线通信电路向外部服务器发送所述对象、所捕获的图像、所述位置数据和所述方位数据。
根据本公开的另一方面，提供了一种系统。该系统包括：网络接口；处理器，所述处理器可操作地连接到所述网络接口；以及存储器，所述存储器可操作地连接到所述处理器，其中，所述存储器被配置为存储指令，所述指令在执行时使得所述处理器：经由所述网络接口从包括显示器和相机的第一外部电子装置接收第一数据，其中所述第一数据包括图像、与所述图像相关联的位置数据、与所述图像相关联的方位数据以及响应于用户输入而生成的要与所述图像重叠的对象，基于从所述第一外部电子装置接收的所述位置数据、所述方位数据或所述用户输入中的至少一部分，处理所述第一数据，使得所述对象的方向被应用于所述图像，以及经由所述网络接口向另一外部电子装置发送处理后的第一数据。
发明的有益效果
本公开的一方面提供了一种触敏环境，当基于AR界面在用户界面中生成三维(3D)对象并显示二维平面时，该触敏环境使得用户轻松地将关于3D对象的信息输入到电子装置中。该环境不仅使得用户通过触摸输入将3D相关信息(例如，旋转信息和深度信息)轻松地输入到电子装置中，而且使得电子装置基于用户输入的3D相关信息生成3D对象。
附图说明
通过以下结合附图的描述，本公开的某些实施例的上述和其他方面，特征和优点将变得更加明显，其中：
图1是根据实施例的网络环境中的电子装置的框图；
图2是根据实施例的基于增强现实界面生成对象的方法的流程图；
图3A和图3B是根据实施例的用于生成3D对象的方法的流程图；
图4A、图4B、图4C和图4D是根据实施例生成3D对象的图示；
图5A、图5B、图5C、图5D和图5E是根据实施例生成3D对象的图示；
图6是根据实施例的通过利用压力信息生成3D对象的方法的流程图；
图7A、图7B和图7C是根据实施例通过利用压力信息生成3D对象的图示；
图8是根据实施例的通过利用压力信息生成3D对象的图示；
图9是根据实施例的通过利用压力信息生成3D对象的图示；
图10A、图10B、图10C和图10D是根据实施例的响应于额外的用户输入旋转3D对象的图示；
图11是根据实施例的通过利用笔倾斜信息来生成3D对象的方法的流程图；以及
图12A、图12B和图12C是根据实施例通过利用笔倾斜信息生成3D对象的图示。
具体实施方式
下面参考附图详细描述本公开的各种实施例。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
根据实施例，处理器120可以感测显示装置160(例如，触摸屏)上的手写笔的输入。其中具有独立谐振电路的手写笔可以与包含在显示装置160中的电磁感应面板(例如，数字化仪)相互作用。手写笔可以使用电磁共振(EMR)、有源电手写笔(AES)或电耦合共振(ECR)技术来实现。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
根据实施例，处理器120可以利用相机模块180来捕获图像，并且基于所捕获的图像来实现AR界面。此外，处理器120可以通过显示装置160显示所实现的AR界面。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个或更多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是根据实施例的基于AR界面生成对象的方法的流程图。
在步骤201，电子装置101的处理器120可以利用相机模块180来捕获图像。例如，处理器120可以激活相机180，并通过激活的相机180捕获静止图像。
在步骤203，处理器120可以接收捕获的图像以及与捕获的图像相关联的位置和方向数据。例如，处理器120可以通过利用位置传感器(例如，图1的传感器模块176)接收与捕获的图像相关联的位置数据，并且还通过利用运动传感器(例如，图1的传感器模块176)接收与捕获的图像相关联的方位数据。位置数据可以包括关于电子装置101所处的坐标的数据，并且方位数据可以包括关于电子装置101的相机180所面对的方向的数据。根据实施例，电子装置101可以基于捕获的图像和与捕获的图像相关联的位置和方向数据来实现AR界面。
在步骤205，处理器120可以接收用于将向捕获的图像添加对象的用户输入(例如，手写笔输入)。例如，处理器120可以基于实现的AR界面，通过输入设备150接收用户输入。该用户输入可以包括用于生成对象(例如，内容)的触摸输入。根据实施例，该对象可以包括文本、符号、几何形状或图像。
在步骤207，处理器120可以向服务器108发送响应于用户输入而生成的对象、捕获的图像、位置数据和方位数据。此外，处理器120可以将生成的对象存储在存储器130中。在实施例中，处理器120可以至少部分地向服务器108发送所生成的对象、在步骤201捕获的图像以及在步骤203接收的位置/方向数据。
如上文所述，电子装置101可以通过相机180捕获特定图像，并接收与所捕获的图像相关联的位置和方向数据。然后，电子装置101可以基于捕获的图像、接收的位置数据和接收的方位数据来实现AR界面。此外，电子装置101可以通过AR界面接收用户输入，然后响应于接收的用户输入生成对象。此外，电子装置101可以将生成的对象存储在存储器130中，并向服务器发送所生成的对象、捕获的图像、位置数据和方位数据。
图3A和图3B是根据实施例的用于生成3D对象的方法的流程图301和302。
参考图3A，流程图301涉及用于生成3D对象的方法。流程图301可以对应于图2中的上述步骤205和207。
在步骤311，电子装置101的处理器120可以接收与对象(或内容)相关联的用户输入。例如，处理器120可以通过诸如触摸屏显示器(例如，图1的显示装置160)的显示器显示用于生成对象的用户界面，并通过用户界面接收用户输入。用户输入可以包括手指的触摸输入或笔(例如，手写笔)的触摸输入。根据实施例，用户界面可以是AR界面。例如，处理器120可以激活相机模块180，通过激活的相机捕获特定图像，通过显示器显示捕获的图像，并基于捕获的图像实现AR界面。
在步骤313，处理器120可以从接收的用户输入中获取用于生成对象的3D相关信息。例如，处理器120可以获取关于根据接收的用户输入要生成的对象(例如，文本、几何形状等)的3D相关信息(例如，关于坐标、角度、斜率、宽度、长度、高度和/或面积的数据)。
在步骤315，处理器120可以向服务器108发送基于获取的3D相关信息生成的对象。例如，处理器120可以基于获取的3D相关信息生成对象，在显示器160上显示生成的对象，并将生成的对象存储在存储器130中。此外，处理器120可以向外部电子装置(例如，服务器108)发送所生成的对象。
如上所述，电子装置101可以通过显示器160接收用户输入，然后获取用于从接收的用户输入生成对象的3D相关信息。此外，电子装置101可以基于获取的3D相关信息生成对象，在显示器160上显示生成的对象，将生成的对象存储在存储器130中，并向服务器108发送生成的对象。
参考图3B，流程图302涉及用于生成3D对象的方法。流程图302可以对应于图2中的上述步骤205和207。
在步骤321，电子装置101的处理器120可以接收与对象相关联的第一用户输入。例如，处理器120可以通过显示器(例如，触摸屏显示器)接收书写文本对象“HELLO”的用户输入。
在步骤323，处理器120可以识别具有3D相关信息的几何形状。例如，处理器120可以接收在显示器上构建特定几何形状的输入，并从接收的输入中识别几何形状。几何形状可以具有诸如长度、高度和斜率的3D相关信息，使得处理器120也可以从所识别的几何形状中识别3D相关信息。
虽然描述了在步骤321之后执行步骤323，但是也可以在步骤321之前执行步骤323。具有3D相关信息的几何形状可以与在步骤321接收的第一用户输入相关联。在上述一个示例中，可以在接收到与对象相关联的第一用户输入之后接收构建几何形状的输入。然而，在另一示例中，处理器120可以识别具有3D相关信息的几何形状，然后接收与对象相关联的第一用户输入。例如，处理器120可以识别由几何形状定义的特定区域中的第一用户输入。
在步骤325，处理器120可以响应于第一用户输入并考虑所识别的几何形状来生成对象。例如，考虑所识别的几何形状的3D相关信息，处理器120可以生成对应于第一用户输入的特定对象。也就是说，生成的对象可以是对其应用了3D相关信息的3D对象。
在步骤327，处理器120可以接收针对所生成的对象的第二用户输入。例如，第二用户输入可以是直接触摸所生成的对象的至少一个输入。例如，第二用户输入可以包括拖动输入。
在步骤329，处理器120可以响应于接收到的第二用户输入向服务器108发送对象。例如，当第二用户输入是针对对象的拖动输入时，处理器120可以响应于拖动输入来移动对象。此时，处理器120可以通过显示器160显示对象的实时拖动状态。此外，处理器120可以将与对象相关的信息(例如，位置、坐标、斜率、宽度、长度等)存储在存储器130中，并向外部电子装置(例如，服务器108)发送该对象。
图4A、图4B、图4C和图4D是根据实施例生成3D对象的图示。
参考图4A，电子装置400的处理器120可以通过诸如触摸屏显示器的显示器410显示基于3D的用户界面(例如，AR界面)。例如，基于3D的用户界面可以包括通过相机模块180获得的3D图像、照片、图片或实时预览图像。处理器120可以接收用于在基于3D的用户界面上生成3D对象的用户输入。例如，处理器120可以接收书写文本对象401(例如，“HELLO”)的第一用户输入，并在显示器410上显示文本对象401。该用户输入可以是用户通过手指或手写笔的触摸输入。根据实施例，响应于该用户输入而生成的对象不限于文本对象401。
参考图4B，处理器120可以接收构造至少部分围绕文本对象401的特定几何形状403(例如，在基于3D的用户界面中定义基于3D的平面)的第二用户输入。然后，处理器120可以从接收的第二用户输入中识别几何形状403，并且在显示器410上显示识别的几何形状403。该几何形状403可以具有3D相关信息，例如关于坐标、角度、斜率、宽度、长度、高度和/或面积的数据。因此，处理器120可以从识别的几何形状403获取3D相关信息。
参考图4C，处理器120可以接收构建完全围绕文本对象401的完整几何形状404的第三用户输入。然后，处理器120可以从接收的第三用户输入中识别完整的几何形状404，在显示器410上显示识别的几何形状404，并从识别的几何形状404中获取3D相关信息。也就是说，基于第二用户输入和第三用户输入，构造出用户所需的完整几何形态404，以围绕文本对象401。结果，诸如“HELLO”的文本对象401包含在完整的几何形状404内。
参考图4D，处理器120可以基于完整的几何形状404来修改文本对象401的形状。例如，根据获取的完整几何形状404的3D相关信息，处理器120可以改变文本对象401的相应3D相关信息。
图5A、图5B、图5C、图5D和图5E是根据实施例生成3D对象的图示。
参考图5A，电子装置400的处理器120可以通过诸如触摸屏显示器的显示器410显示基于3D的用户界面(例如，AR界面)。此外，处理器120可以接收构造特定几何形状501的第一用户输入，该特定几何形状501定义例如基于3D的用户界面中的基于3D的平面。然后，处理器120可以从接收的第一用户输入中识别几何形状501，并且在显示器410上显示识别的几何形状501。第一用户输入可以是用户通过手指或手写笔的触摸输入。几何形状501可以具有3D相关信息，例如关于坐标、角度、斜率、宽度、长度、高度和/或面积的数据。因此，处理器120可以从识别的几何形状501获取3D相关信息。
参考图5B，处理器120可以接收在基于3D的用户界面中显示的几何形状501内的第二用户输入。第二用户输入用于生成3D对象。例如，处理器120可以接收书写文本对象503“HELLO”的第二用户输入，并在显示器410上以几何形状501显示文本对象503。
参考图5C，处理器120可以基于几何形状501修改文本对象503的形状。例如，根据获取的几何形状501的3D相关信息，处理器120可以改变文本对象503的相应3D相关信息。
参考图5D，处理器120可以接收与文本对象503相关联的第三用户输入510。例如，第三用户输入可以是用于在基于3D的用户界面中移动文本对象503的拖动输入。因此，处理器120可以响应于第三用户输入510来移动文本对象503。此时，几何形状501可以从显示器410上消失。
参考图5E，在第三用户输入510被释放之后，处理器120可以在显示器410上显示移动后的文本对象503。结果，移动后的文本对象503可以充当包含在基于3D的用户界面中的事物之一。
图6是根据实施例的通过利用压力信息来生成3D对象的方法的流程图600。
在步骤601，电子装置101的处理器120可以接收与对象相关联的第一用户输入。第一用户输入可以是触摸输入，并且包括与触摸输入相关联的压力信息。处理器120可以通过诸如触摸屏显示器的显示器显示用于生成对象的用户界面(例如，AR界面)，并通过用户界面接收第一用户输入。
在步骤603，处理器120可以从接收到的包括压力信息的第一用户输入获取3D相关信息。例如，3D相关信息可以包括关于用于生成诸如文本或几何形状的对象的坐标、角度、斜率、宽度、长度、高度和/或面积的数据。
在步骤605，处理器120可以基于获取的3D相关信息生成对象。此外，处理器120可以在显示器160上显示生成的对象，并且还将生成的对象存储在存储器130中。
在步骤607，处理器120可以接收与对象相关联的第二用户输入。第二用户输入可以是触摸输入，并且包括与触摸输入相关联的压力信息。例如，第二用户输入可以是用于在用户界面中移动或旋转生成的对象或者用于修改生成的对象的形状的输入。
在步骤609，处理器120可以响应于接收到的包括压力信息的第二用户输入来处理对象。例如，处理器120可以根据包括压力信息的第二用户输入来旋转显示器160上显示的对象。在实施例中，第二用户输入的触摸位置可以确定对象的旋转轴，并且压力信息可以确定对象的旋转角度。也就是说，随着压力输入的增加，旋转角度可以增加。
在步骤611，处理器120可以向服务器108发送对于对象的处理结果。例如，处理器120可以将关于旋转对象的信息存储在存储器130中，并向外部电子装置(例如，服务器108)发送这样的信息。
图7A、图7B和图7C是根据实施例通过利用压力信息生成3D对象的图示。
参考图7A，电子装置400的处理器120可以接收与对象相关联的用户输入。该用户输入可以是触摸输入，并且包括与触摸输入相关联的压力信息。因此，在接收到用户输入时，处理器120可以从接收到的用户输入中提取压力信息。
例如，当假设用户输入具有120个压力单位内的压力信息时，处理器120可以根据压力单位的范围预先定义压力等级，如下表1所示。下表1显示了一个定义了四个压力等级的示例。在该示例中，处理器120可以通过提取压力信息来检测接收到的用户输入的特定压力单位，并且通过参考下面的表1来查找对应于检测到的压力单位的特定压力等级。
[表1]
Figure BDA0002823458170000131
Figure BDA0002823458170000141
在查找到与用户输入相关联的压力等级之后，处理器120可以基于压力等级来确定要生成的对象的Z轴坐标信息(即，深度信息)。例如，处理器120可以在显示器410上显示的用户界面(例如，AR界面)中建立由X、Y和Z轴组成的虚拟坐标系。当接收到的用于生成对象(例如，文本对象“HELLO”)的用户输入是具有特定压力等级的触摸输入时，处理器120可以根据触摸输入的位置确定X轴坐标和Y轴坐标，并且还根据压力等级确定Z轴坐标。例如，在压力等级为“1”的情况下，处理器120可以生成并显示具有如图7A所示的Z轴坐标“a”的对象。
参考图7B，用于生成文本对象“HELLO”的用户输入对于“HELLO”的各个字母可以具有不同的压力等级。例如，当以“1”的压力等级输入字母“H”，然后以“2”的压力等级输入字母“E”时，处理器120可以生成并显示字母“H”以具有Z轴坐标“a”，并且还生成并显示字母“E”以具有Z轴坐标“0”。
类似地，参考图7C，当字母“H”、“L”和“O”以“1”的压力等级输入并且字母“E”和“L”以“2”的压力等级输入时，处理器120可以生成和显示具有Z轴坐标“b”的字母“H”、“L”和“O”，并且还生成和显示具有Z轴坐标“0”的字母“E”和“L”。
如本文所述，当在用户界面中显示时，响应于具有特定压力等级的用户输入而生成的对象可以具有根据压力等级确定的深度。
图8是根据实施例的通过利用压力信息生成3D对象的图示。
参考图8，电子装置400的处理器120可以接收与对象相关联的用户输入。该用户输入可以是触摸输入，并且包括与触摸输入相关联的压力信息。因此，在接收到用户输入时，处理器120可以从接收到的用户输入中提取压力信息。
例如，当假设接收的用户输入是用于构建心形的输入时，绘制心形的左侧部分810的输入和绘制心形的右侧部分820的输入可以具有不同的压力等级。在此情况下，处理器120可以计算两个输入之间的压力等级差，并且基于所计算的差，确定心形的旋转角度。下面的表2显示了一个相关的示例。
[表2]
压力等级的差异 旋转角度
0 0°
1 30°
2 60°
3 90°
例如，当用于左侧部分810的输入可以具有“1”的压力等级时，并且当用于右侧部分820的输入可以具有“2”的压力等级时，压力等级的差异变成“1”。因此，处理器120可以通过参考上面的表2将旋转角度确定为30°。然后，处理器120可以将具有较大压力等级的心形的一部分旋转所确定的旋转角度。也就是说，具有较大压力等级的心形的右侧部分820旋转30°。
如本文所述，当在用户界面中显示时，响应于具有不同压力等级的用户输入而生成的对象可以根据压力等级的差异而部分地旋转。
图9是根据实施例的通过利用压力信息生成3D对象的图示。
参考图9，电子装置400的处理器120可以接收用于生成文本对象“HELLO”的用户输入，响应于接收到的用户输入生成文本对象“HELLO”，并且在显示器410上显示生成的文本对象。在此情况下，文本对象的深度可以根据接收到的用户输入的压力信息而变化。
在图9的三个示例中，根据压力等级“1”，第一示例性文本对象910可以具有较低的深度。另一方面，根据压力等级“2”，第二示例性文本对象920可以具有中等深度，而根据压力等级“3”，第三示例性文本对象930可以具有较高深度。
图10A、图10B、图10C和图10D是根据实施例响应于额外用户输入旋转3D对象的图示。
参考图10A，电子装置400的处理器120可以在显示器410上显示的用户界面(例如，AR界面)中建立由X、Y和Z轴组成的虚拟坐标系。例如，可以将X轴设置为对应于电子装置400的长度A，并且可以将Y轴设置为对应于电子装置400的宽度B。此外，Z轴可以被设置为对应于来自显示器410的垂直方向。根据实施例，处理器120可以在显示器410上显示对象。然后，处理器120可以接收对所显示的对象的用户输入，并且至少部分地响应于所接收的用户输入来旋转该对象。
处理器120可以在显示器410上显示文本对象1001(例如，“HELLO”)。然后，处理器120可以接收多点触摸输入，包括关于文本对象1001的第一用户输入1011和第二用户输入1013。例如，第一用户输入1011可以是手指触摸输入，第二用户输入1013可以是笔触摸输入。
在实施例中，处理器120可以基于第一用户输入1011确定对象的旋转轴，并且还可以基于第二用户输入1013确定对象的旋转方向。例如，当从对象“HELLO”的左端(即，字母“H”)检测到第一用户输入1011时，并且当从对象的右端(即，字母“O”)检测到第二用户输入1013时，处理器120可以基于第一用户输入1011将对象的旋转轴确定为经过对象左端的Y轴1010，并且还基于第二用户输入1013确定对象的旋转方向为旋转轴上的向右方向。在此，旋转角度可以与第二用户输入1013的持续时间或第二用户输入1013的压力等级成比例地确定。
在实施例中，当从文本对象1001“HELLO”的下端检测到第一用户输入1021时，并且当从对象的上端检测到第二用户输入1023时，处理器120可以基于第一用户输入1021将对象的旋转轴确定为穿过对象下端的X轴1020，并且还基于第二用户输入1023将对象的旋转方向确定为旋转轴上的向下方向。在此，可以与第二用户输入1023的持续时间或第二用户输入1023的压力等级成比例地确定旋转角度。
参考图10B，处理器120可以接收多点触摸输入，该多点触摸输入包括诸如手指触摸输入的第一用户输入1031和诸如笔拖动输入的第二用户输入1033。然后，处理器120可以基于第一用户输入1031确定对象的旋转轴，并且还可以基于第二用户输入1033确定对象的旋转方向。
例如，当从对象“HELLO”的左端(即，字母“H”)检测到第一用户输入1031时，并且当从对象的右端(即，字母“O”)检测到第二用户输入1033时，处理器120可以基于第一用户输入1031将对象的旋转轴确定为对象左端附近的Z轴1030，并且还根据第二用户输入1032(拖动方向)确定对象的旋转方向1032。
参考图10C，处理器120可以接收多点触摸输入，该多点触摸输入包括相对于对象1001中的预定单个区域1040的第一用户输入1041(例如手指触摸输入)和第二用户输入1043(例如笔触摸输入)。在此情况下，处理器120可以响应于接收到的多点触摸输入来线性移动显示的对象1001。
例如，当从对象1001“HELLO”的相同区域1040(即，中间字母“L”)检测到第一用户输入1041和第二用户输入1043时，处理器120可以沿着Z轴线性地移动对象1001，即，调整对象的深度。在此，可以与第一用户输入1041和第二用户输入1043的持续时间或者第一用户输入1041和第二用户输入1043中至少一个的压力等级成比例地确定对象的移动距离或调整深度。
参考图10D，处理器120可以接收多点触摸输入，包括诸如手指触摸输入的第一用户输入1051和诸如笔触摸输入的第二用户输入1053。然后，处理器120可以基于第一用户输入1051确定对象1001的旋转轴，并且还可以基于第二用户输入1053确定对象的旋转方向。
例如，当从对象1001“HELLO”的某个内部点(例如，字母“E”与“L”之间的空间)检测到第一用户输入1051时，并且当从对象的右端(即，字母“O”)检测到第二用户输入1053时，处理器120可以基于第一用户输入1051将对象的旋转轴确定为经过对象内部点的Y轴1030，并且还基于第二用户输入1053将对象的旋转方向确定为旋转轴上的向右方向。在此，可以与第二用户输入1053的持续时间或第二用户输入1053的压力等级成比例地确定旋转角度。
图11是根据实施例的通过利用笔倾斜信息来生成3D对象的方法的流程图1100。
在步骤1101，电子装置101的处理器120可以接收与对象相关联的用户输入。用户输入可以是手写笔的触摸输入。
在步骤1103，处理器120可以获取笔的倾斜信息。例如，处理器120可以基于根据笔的倾斜而改变的电磁波来检测笔的倾斜信息。例如，笔可以具有用于检测其倾斜信息的传感器，并通过该传感器获取倾斜信息。因此，处理器120可以从笔接收笔的倾斜信息。
在步骤1105，处理器120可以基于接收的用户输入和获取的笔的倾斜信息两者来生成对象。例如，处理器120可以基于笔的倾斜信息来确定对象的方向和斜率。然后，处理器120可以在显示器上显示应用了所确定的方向和斜率的对象。
图12A、图12B和图12C是根据实施例通过利用笔倾斜信息生成3D对象的图示。
参考图12A，电子装置400的处理器120可以在显示器410上显示的用户界面(例如，AR界面)中建立由X、Y和Z轴组成的虚拟坐标系。例如，可以将X轴设置为对应于电子装置400的长度A，并且可以将Y轴设置为对应于电子装置400的宽度B。此外，Z轴可以被设置为对应于来自显示器410的垂直方向。
根据实施例，处理器120可以在显示器410上显示对象1201(例如，文本对象“HELLO”)。然后，处理器120可以接收由笔1210针对所显示的对象1201的用户输入，获取笔1210的倾斜信息，并且基于所获取的倾斜信息来修改对象。
当倾斜信息指示笔1210相对于Z轴倾斜0度时(即，笔垂直于显示器410)，处理器120可以显示对象1201而没有任何倾斜。
参考图12B，当倾斜信息指示笔1210相对于X轴1221具有α°的倾斜时，处理器120可以显示相对于X轴1221具有α°的倾斜的文本对象1203“HELLO”。
参考图12C，当倾斜信息指示笔1210具有相对于Y轴1223的β°的倾斜时，处理器120可以显示具有相对于Y轴1223的β°的倾斜的文本对象1205“HELLO”。
根据各种实施例，电子装置包括壳体；触摸屏显示器，设置在壳体内并通过壳体的至少一部分暴露；相机；设置在壳体内的无线通信电路；位置传感器；运动传感器；处理器，设置在壳体内，并且可操作地连接到显示器、相机、无线通信电路、位置传感器和运动传感器；以及设置在壳体内并可操作地连接到处理器的存储器。存储器可以存储指令，该指令在执行时使得处理器：利用相机来捕获图像，从相机接收捕获的图像，从位置传感器接收与捕获的图像相关联的位置数据，从运动传感器接收与捕获的图像相关联的方向数据，通过显示器接收用于向捕获的图像添加对象的用户输入，并且通过无线通信电路向外部服务器发送对象、捕获的图像、位置数据和方向数据。
处理器可以使用手写笔接收用户输入。
该对象可以包括文本、符号、几何形状或图像中的至少一种。
处理器可以接收在捕获的图像上构造几何形状的第一用户输入，并且接收在捕获的图像上书写与几何形状至少部分地重叠的文本的第二用户输入。
处理器可以根据几何形状改变文本的方向，并向服务器发送关于改变的方向的信息。
处理器可以接收移动捕获图像中的文本的第三用户输入，并在显示器上显示移动的文本，而不显示几何形状。
处理器可以识别对应于几何形状的三维(3D)相关信息，并基于所识别的3D相关信息改变文本的方向。
3D相关信息可以包括与几何形状相对应的坐标、角度、斜率、宽度、长度、高度或面积中的至少一个的数据。
处理器可以接收多点触摸输入，并且基于接收的多点触摸输入至少部分地旋转对象。
多点触摸输入可以包括用于确定对象的旋转轴的第一触摸输入，以及用于确定对象的旋转方向的第二触摸输入。
处理器可以从手写笔接收手写笔的倾斜信息，并且基于接收到的倾斜信息至少部分地旋转对象。
电子装置还可以包括压力传感器，并且处理器可以从压力传感器接收与用户输入相关联的压力信息，并且基于接收到的压力信息生成对象。
处理器可以根据接收的用户输入生成对象，并将生成的对象存储在存储器中。
根据各种实施例，一种系统包括网络接口；可操作地连接到网络接口的处理器；和可操作地连接到处理器的存储器。存储器可以存储指令，该指令在执行时使得处理器：经由网络接口从包括显示器和相机的第一外部电子装置接收第一数据，其中第一数据包括图像、与图像相关联的位置数据、与图像相关联的方位数据以及响应于用户输入而生成的要与图像重叠的对象，至少部分地基于从第一外部电子装置接收的位置数据、方向数据或用户输入来处理第一数据，使得对象的方向被应用到图像上，以及经由网络接口向另一外部电子装置发送处理后的第一数据。
处理器可以经由网络接口从包括显示器和相机的第二外部电子装置接收图像、与图像相关联的位置数据和与图像相关联的方位数据，并且经由网络接口向第二外部电子装置发送对象，使得对象被显示在第二外部电子装置的显示器上，其中方位数据被应用于所显示的对象。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
虽然已经参照本发明的某些实施例示出和描述了本发明，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，包括：
壳体；
触摸屏显示器，所述触摸屏显示器设置在所述壳体内并通过所述壳体的至少一部分暴露；
相机；
无线通信电路，所述无线通信电路设置在所述壳体内；
位置传感器；
运动传感器；
处理器，所述处理器设置在所述壳体内，并且可操作地连接到所述显示器、所述相机、所述无线通信电路、所述位置传感器和所述运动传感器；以及
存储器，所述存储器设置在所述壳体内并可操作地连接到所述处理器，
其中，所述存储器被配置为存储指令，所述指令在执行时使得所述处理器：
利用所述相机捕获图像，
从所述相机接收所捕获的图像，
从所述位置传感器接收与所捕获的图像相关联的位置数据，
从所述运动传感器接收与所捕获的图像相关联的方位数据，
通过所述显示器接收用于向所捕获的图像添加对象的用户输入，以及
通过所述无线通信电路向外部服务器发送所述对象、所捕获的图像、所述位置数据和所述方位数据。
2.根据权利要求1所述的电子装置，其中，所述指令在执行时进一步使得所述处理器利用手写笔接收所述用户输入，
其中，所述对象包括文本、符号、几何形状和图像中的至少一种。
3.根据权利要求1所述的电子装置，其中，所述指令在执行时进一步使得所述处理器：
接收在所捕获的图像上构建几何形状的第一用户输入，
接收在所捕获的图像上书写与所述几何形状至少部分地重叠的文本的第二用户输入，
根据所述几何形状改变所述文本的方向，以及
向所述服务器发送关于改变后的方向的信息。
4.根据权利要求3所述的电子装置，其中，所述指令在执行时进一步使得所述处理器：
接收在所捕获的图像中移动所述文本的第三用户输入，以及
在所述显示器上显示移动后的文本，而不显示所述几何形状。
5.根据权利要求3所述的电子装置，其中，所述指令在执行时进一步使得所述处理器：
识别与所述几何形状相对应的三维(3D)相关信息，以及
基于所识别的3D相关信息，改变所述文本的方向，
其中，所述3D相关信息包括关于与所述几何形状相对应的坐标、角度、斜率、宽度、长度、高度和面积中的至少一种的数据。
6.根据权利要求1所述的电子装置，其中，所述指令在执行时进一步使得所述处理器：
接收多点触摸输入，以及
基于所接收的多点触摸输入，至少部分地旋转所述对象，
其中，所述多点触摸输入包括用于确定所述对象的旋转轴的第一触摸输入、以及用于确定所述对象的旋转方向的第二触摸输入。
7.根据权利要求2所述的电子装置，其中，所述指令在执行时进一步使得所述处理器：
从所述手写笔接收所述手写笔的倾斜信息，以及
基于所接收到的倾斜信息，至少部分地旋转所述物体。
8.根据权利要求1所述的电子装置，还包括：
压力传感器，
其中，所述指令在执行时进一步使得所述处理器：
从所述压力传感器接收与所述用户输入相关联的压力信息，以及
基于所接收到的压力信息生成所述对象。
9.一种系统，包括：
网络接口；
处理器，所述处理器可操作地连接到所述网络接口；以及
存储器，所述存储器可操作地连接到所述处理器，
其中，所述存储器被配置为存储指令，所述指令在执行时使得所述处理器：
经由所述网络接口从包括显示器和相机的第一外部电子装置接收第一数据，其中，所述第一数据包括图像、与所述图像相关联的位置数据、与所述图像相关联的方位数据以及响应于用户输入而生成的要与所述图像重叠的对象，
基于从所述第一外部电子装置接收的所述位置数据、所述方位数据或所述用户输入中的至少一部分，处理所述第一数据，使得所述对象的方向被应用于所述图像，以及
经由所述网络接口向另一外部电子装置发送处理后的第一数据。
10.根据权利要求9所述的系统，其中，所述指令在执行时进一步使得所述处理器：
经由所述网络接口从包括显示器和相机的第二外部电子装置接收图像、与所述图像相关联的位置数据和与所述图像相关联的方位数据，以及
经由所述网络接口向所述第二外部电子装置发送所述对象，使得所述对象被显示在所述第二外部电子装置的显示器上，其中，所述方位数据被应用于所显示的对象。
11.根据权利要求9所述的系统，其中，所述指令在执行时进一步使得所述处理器：
接收在所述图像上构建几何形状的第一用户输入和书写与所述几何形状至少部分地重叠的文本的第二用户输入，以及
向所述另一外部电子装置发送所述文本，其中，所述文本的方向根据所述几何形状而改变。
12.根据权利要求11所述的系统，其中，所述指令在执行时进一步使得所述处理器：
接收移动所述文本的第三用户输入，以及
向所述另一外部电子装置发送移动后的文本，而不显示所述几何形状。
13.根据权利要求11所述的系统，其中，所述指令在执行时进一步使得所述处理器：
识别与所述几何形状相对应的三维(3D)相关信息，以及
基于所识别的3D相关信息，向所述另一外部电子装置发送改变了方向的文本。
14.根据权利要求9所述的系统，其中，所述指令在执行时进一步使得所述处理器：
接收多点触摸输入，以及
基于所接收的多点触摸输入，至少部分地旋转所述对象。
15.根据权利要求9所述的系统，还包括：
手写笔，
其中，所述指令在执行时进一步使得所述处理器：
从所述手写笔接收所述手写笔的倾斜信息，以及
基于所接收的倾斜信息，至少部分地旋转所述物体。
CN201980039047.XA 2018-06-12 2019-06-11 用于生成对象的电子装置和系统 Pending CN112262364A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180067425A KR20190140657A (ko) 2018-06-12 2018-06-12 오브젝트를 생성하는 전자장치 및 시스템
KR10-2018-0067425 2018-06-12
PCT/KR2019/007009 WO2019240467A1 (en) 2018-06-12 2019-06-11 Electronic device and system for generating object

Publications (1)

Publication Number Publication Date
CN112262364A true CN112262364A (zh) 2021-01-22

Family

ID=68764936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039047.XA Pending CN112262364A (zh) 2018-06-12 2019-06-11 用于生成对象的电子装置和系统

Country Status (5)

Country Link
US (1) US11334230B2 (zh)
EP (1) EP3776158A4 (zh)
KR (2) KR20190140657A (zh)
CN (1) CN112262364A (zh)
WO (1) WO2019240467A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629412B1 (ko) 2019-01-04 2024-01-26 삼성전자주식회사 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
TWI710932B (zh) * 2019-12-30 2020-11-21 宏碁股份有限公司 主動式觸控筆及其偵測方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207898A1 (en) * 2007-10-16 2010-08-19 Mobiders, Inc. mobile terminal and method for generating the embedded drawing data based on flash image
US20120134588A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Rectification of characters and text as transform invariant low-rank textures
KR20120067421A (ko) * 2010-12-16 2012-06-26 고스트리트(주) 증강현실 지능형 모바일 장치
CN105094311A (zh) * 2014-05-05 2015-11-25 意美森公司 用于基于视口的增强现实触觉效果的系统和方法
US20180004406A1 (en) * 2016-07-04 2018-01-04 Samsung Electronics Co., Ltd. Method for controlling user interface according to handwriting input and electronic device for implementing the same
CN108028891A (zh) * 2015-09-22 2018-05-11 三星电子株式会社 电子设备和照相方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308442B (zh) * 2004-10-12 2012-04-04 日本电信电话株式会社 三维指示方法和三维指示装置
KR101528848B1 (ko) 2008-11-26 2015-06-15 엘지전자 주식회사 휴대단말기 및 그 제어방법
JP2011053974A (ja) * 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
KR101096392B1 (ko) 2010-01-29 2011-12-22 주식회사 팬택 증강 현실 제공 시스템 및 방법
CN102375972A (zh) 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
US20130117698A1 (en) * 2011-10-31 2013-05-09 Samsung Electronics Co., Ltd. Display apparatus and method thereof
KR101847917B1 (ko) 2011-12-05 2018-04-12 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20130147933A1 (en) * 2011-12-09 2013-06-13 Charles J. Kulas User image insertion into a text message
KR102222336B1 (ko) * 2013-08-19 2021-03-04 삼성전자주식회사 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법
KR102580327B1 (ko) 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR101756948B1 (ko) 2016-09-12 2017-07-12 대연화학(주) 전자칠판 장치
US10296091B2 (en) * 2016-10-13 2019-05-21 Immersion Corporation Contextual pressure sensing haptic responses
US10254941B2 (en) * 2017-06-29 2019-04-09 Best Apps, Llc Computer aided systems and methods for creating custom products
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US11017258B2 (en) * 2018-06-05 2021-05-25 Microsoft Technology Licensing, Llc Alignment of user input on a screen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207898A1 (en) * 2007-10-16 2010-08-19 Mobiders, Inc. mobile terminal and method for generating the embedded drawing data based on flash image
US20120134588A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Rectification of characters and text as transform invariant low-rank textures
KR20120067421A (ko) * 2010-12-16 2012-06-26 고스트리트(주) 증강현실 지능형 모바일 장치
CN105094311A (zh) * 2014-05-05 2015-11-25 意美森公司 用于基于视口的增强现实触觉效果的系统和方法
CN108028891A (zh) * 2015-09-22 2018-05-11 三星电子株式会社 电子设备和照相方法
US20180004406A1 (en) * 2016-07-04 2018-01-04 Samsung Electronics Co., Ltd. Method for controlling user interface according to handwriting input and electronic device for implementing the same

Also Published As

Publication number Publication date
KR20190140657A (ko) 2019-12-20
KR20240084532A (ko) 2024-06-13
EP3776158A4 (en) 2021-05-26
WO2019240467A1 (en) 2019-12-19
EP3776158A1 (en) 2021-02-17
US20190377482A1 (en) 2019-12-12
US11334230B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
US11209865B2 (en) Method for providing image using foldable display and electronic device for supporting the same
US11416080B2 (en) User intention-based gesture recognition method and apparatus
KR102665643B1 (ko) 아바타 표시를 제어하기 위한 방법 및 그 전자 장치
KR102716974B1 (ko) 증강 장치를 제어하는 방법 및 이를 수행하는 전자 장치
US11250287B2 (en) Electronic device and character recognition method thereof
EP3570144A1 (en) Electronic device for providing vr/ar content
US11463486B2 (en) Electronic device and method for providing information in virtual reality
US11334230B2 (en) Electronic device and system for generating 3D object based on 3D related information
US12056286B2 (en) Electronic device for providing augmented reality service and operating method thereof
US20220303379A1 (en) Electronic device including flexible display, and operating method thereof
US11294452B2 (en) Electronic device and method for providing content based on the motion of the user
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
US20210174766A1 (en) Electronic device for controlling divided screen
US11403848B2 (en) Electronic device and method for generating augmented reality object
US11164388B2 (en) Electronic device and method for providing augmented reality object therefor
KR20210101518A (ko) Ar 객체를 배치하는 방법 및 전자 장치
US11449219B2 (en) Electronic device including display device including touch sensor for controlling a cursor
US11889181B2 (en) Electronic device having plurality of lenses where the device changes a visual object corresponding to a recommended lens
KR102084161B1 (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
US12125155B2 (en) Method and electronic device for arranging AR object
US11622097B2 (en) Apparatus and method for providing point of interest (POI) information in 360 video
CN115428423B (zh) 导览图提供方法和支持其的电子设备
EP3687186B1 (en) Apparatus and method for providing point of interest (poi) information in 360 video
US20230005193A1 (en) Electronic device for providing augmented reality mode, and operating method therefor
CN118869857A (zh) 导览图提供方法和支持其的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination