KR20150030952A - Method for providing virtual screen for interaction between developer and user - Google Patents

Method for providing virtual screen for interaction between developer and user Download PDF

Info

Publication number
KR20150030952A
KR20150030952A KR20130110326A KR20130110326A KR20150030952A KR 20150030952 A KR20150030952 A KR 20150030952A KR 20130110326 A KR20130110326 A KR 20130110326A KR 20130110326 A KR20130110326 A KR 20130110326A KR 20150030952 A KR20150030952 A KR 20150030952A
Authority
KR
South Korea
Prior art keywords
smartphone
user
screen
interaction
interaction mode
Prior art date
Application number
KR20130110326A
Other languages
Korean (ko)
Inventor
이의진
오정민
이상정
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR20130110326A priority Critical patent/KR20150030952A/en
Publication of KR20150030952A publication Critical patent/KR20150030952A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

The purpose of the present invention is to provide a method for transmitting multimedia information to the current screen of a smartphone while maintaining the current screen, and enabling a developer to understand requirements or opinions of a user. The present invention relates to a method for providing interaction using a virtual screen in a smartphone. The method comprises the steps of: receiving a first input from a user while the user uses a smartphone; executing an interaction mode while maintaining the current screen of the smartphone when the first input is received from the user; recording contents displayed on a screen of the smartphone in the interaction mode to generate and store a video; and transmitting the stored video to a remote server when a transmission command is received from the user in the interaction mode.

Description

개발자와 사용자의 상호작용을 위한 가상 화면 제공 방법{METHOD FOR PROVIDING VIRTUAL SCREEN FOR INTERACTION BETWEEN DEVELOPER AND USER}[0001] METHOD FOR PROVIDING VIRTUAL SCREEN FOR INTERACTION BETWEEN DEVELOPER AND USER [0002]

본 발명은 가상 화면 제공 방법에 관한 것으로, 개발자와 사용자 사이에 데이터를 실시간으로 전송함으로써 상호 작용을 가능하게 하는 기술에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a virtual screen providing method, and more particularly, to a technique for enabling interaction between a developer and a user by transmitting data in real time.

스마트 기기의 보급과 편리성으로 인해, 사용자들은 시간 및 장소에 구애 받지 않고 다양한 멀티미디어 서비스를 이용하고 있다. 이에 따라 모바일 앱 시장에서 사용자의 피드백은 성공의 중요한 열쇠가 되고 있다. 그러나 사용자로부터 텍스트 위주의 피드백은 어떠한 생각을 가지고 있는지 파악을 하는데 시간이 오래 걸리며, 심지어 사용자가 어떤 생각을 표현했는지 알기 힘든 경우도 많다.Due to the spread of smart devices and convenience, users are using various multimedia services regardless of time and place. As a result, user feedback in the mobile app market is an important key to success. However, it takes a long time to understand what kind of thoughts the user has from text-based feedback, and it is often difficult to know what the user has expressed.

한국공개특허 제 2011-0075136호는 실시간 필기 공유방식의 통신 방법 및 그 시스템에 대한 것으로, 중앙 서버에서 통신망에 접속한 사용자 단말기간에 입력되는 필기 데이터를 1 대 1 통신 방식이 아닌 공유하는 방식으로 구현하여 다자간 이미지 및 필기 통신이 가능한 방법에 대하여 제안하고 있다.Korean Patent Publication No. 2011-0075136 discloses a communication method and system for a real-time handwriting sharing method, in which handwritten data input between user terminals connected to a communication network at a central server is shared rather than one-to-one communication And proposes a method capable of multi-image and handwriting communication.

종래의 기술은 사용자가 개발자에게 의견을 표현하는데 텍스트 외에는 피드백을 줄 수 없고, 현재 앱을 사용하는 상황을 벗어나서 개발자에게 피드백을 주어야 한다는 문제점이 있다. 이러한 문제들을 해결하여 사용자와 개발자의 상호작용을 원활히 할 수 있는 방법이 필요하다.
The conventional technique has a problem that the user can not give feedback to the developer other than the text in expressing opinions to the developer and must give feedback to the developer out of the situation of using the current application. There is a need for a way to solve these problems and to facilitate interaction between user and developer.

본 발명은 현재 사용하는 화면을 유지한 채로 그 위에 단순히 필기나 음성 등의 멀티미디어 정보를 전송하는 것뿐만 아니라 개발자가 사용자의 요구 사항이나 의견을 파악하는 방법을 제공한다.The present invention provides a method of not only transmitting multimedia information such as handwriting and voice on the screen while maintaining the current screen, but also allowing the developer to grasp the user's requirements and opinions.

본 발명은 평소처럼 사용하던 앱에 인터랙션 모드를 추가하여 유저와 개발자가 소통할 수 있는 창구를 제공한다.
The present invention provides a window where users and developers can communicate with each other by adding an interaction mode to an app that is used as usual.

본 발명의 일실시예에 따른 스마트 폰에서 가상 화면을 이용한 상호 작용 제공 방법에 있어서, 사용자가 스마트 폰을 사용하는 중 상기 사용자로부터 제1 입력을 수신하는 단계; 상기 사용자로부터 상기 제1 입력을 수신하는 경우, 상기 스마트 폰의 현재 화면을 유지한 채로 인터랙션 모드를 실행하는 단계; 상기 인터랙션 모드에서 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장하는 단계; 및 상기 인터랙션 모드에서 상기 사용자로부터 전송 명령을 수신하는 경우, 상기 저장된 동영상을 원격의 서버로 전송하는 단계를 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.A method of providing an interaction using a virtual screen in a smartphone according to an embodiment of the present invention includes: receiving a first input from a user while a user is using a smartphone; Executing an interaction mode while maintaining the current screen of the smartphone when receiving the first input from the user; Generating and storing a moving picture by recording contents displayed on a screen of the smartphone in the interaction mode; And transmitting the stored moving picture to a remote server when receiving a transmission command from the user in the interaction mode.

일측에 따르면, 상기 인터랙션 모드에서 상기 사용자로부터 터치 입력을 수신하는 경우, 상기 스마트 폰의 상기 화면에 표시되는 내용 위에 상기 터치 입력을 오버랩하여 표시하는 단계를 더 포함하고, 상기 인터랙션 모드에서 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장하는 단계는, 상기 오버랩되는 터치 입력을 포함하여 상기 동영상을 생성하고 저장하는 단계를 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.According to one aspect of the present invention, the method further includes overlapping and displaying the touch input on the content displayed on the screen of the smartphone when the touch input is received from the user in the interaction mode. In the interaction mode, Wherein the step of generating and storing the moving picture by recording the content displayed on the screen of the touch screen includes generating and storing the moving picture including the overlapped touch input.

또 다른 일측에 따르면, 상기 인터랙션 모드를 실행하는 단계는, 상기 스마트 폰의 상기 현재 화면 위에 가상 화면을 생성하는 단계를 포함하고, 상기 스마트 폰의 상기 화면에 표시되는 내용 위에 상기 터치 입력을 오버랩하여 표시하는 단계는, 상기 터치 입력을 상기 가상 화면에 표시하는 단계를 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.According to another aspect of the present invention, the step of executing the interaction mode includes a step of generating a virtual screen on the current screen of the smartphone, and the touch input is overlapped on the content displayed on the screen of the smartphone The displaying step may include displaying the touch input on the virtual screen.

또 다른 일측에 따르면, 상기 인터랙션 모드에서 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장하는 단계는, 상기 인터랙션 모드에서 상기 스마트 폰의 마이크를 온(on)시키고 상기 마이크로부터 수신되는 오디오를 포함하여 상기 동영상을 생성하고 저장하는 단계를 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.According to another aspect of the present invention, in the interaction mode, the step of recording the content displayed on the screen of the smartphone and generating and storing the moving image includes: turning on the microphone of the smartphone in the interaction mode, And generating and storing the moving picture including audio to be displayed on the display device.

또 다른 일측에 따르면, 상기 인터랙션 모드에서 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 상기 동영상을 저장하는 단계는, 상기 제1 입력 또는 상기 제1 입력과 구별되는 제2 입력을 수신하는 경우, 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 상기 동영상을 저장하는 단계를 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.According to another aspect of the present invention, in the interaction mode, the step of recording a content displayed on the screen of the smartphone to generate a moving image and storing the moving image may include receiving the first input or the second input differentiated from the first input Generating a moving picture by recording the content displayed on a screen of the smartphone and storing the moving picture when receiving the moving picture.

또 다른 일측에 따르면, 상기 인터랙션 모드에서 상기 사용자의 입력에 따라 상기 사용자가 선택한 파일을 식별하는 단계를 더 포함하고, 상기 인터랙션 모드에서 상기 사용자로부터 전송 명령을 수신하는 경우, 상기 저장된 동영상을 원격의 서버로 전송하는 단계는, 상기 식별된 파일을 상기 저장된 동영상과 함께 상기 원격의 서버로 전송하는 단계를 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.According to another aspect of the present invention, there is provided a method of controlling an interactive mode, the method further comprising: identifying a file selected by the user in accordance with an input of the user in the interaction mode, wherein when receiving a transmission command from the user in the interaction mode, The transmitting to the server may include transmitting the identified file to the remote server together with the stored moving image.

또 다른 일측에 따르면, 상기 원격의 서버에서 상기 동영상을 재생하는 단계를 더 포함하는 스마트 폰에서의 상호 작용 제공 방법을 제공한다.According to another aspect of the present invention, there is provided a method of providing an interaction in a smartphone, the method further comprising the step of reproducing the moving image from the remote server.

또 다른 일측에 따르면, 상기 제1 입력은 상기 스마트 폰의 화면의 상담 알람바에 위치하는 버튼을 상기 사용자가 선택하는 입력인 스마트 폰에서의 상호 작용 제공 방법을 제공한다.
According to another aspect of the present invention, the first input provides a method for providing an interaction with a smartphone, the input being selected by the user, the button located in a consultation alarm bar on the screen of the smartphone.

본 발명은 단순히 필기나 음성 등의 멀티미디어 정보를 전송하는 것이 아닌, 현재 사용하는 화면을 유지한 채로 그 위에 필기를 하고 음성과 같은 상황적인 정보를 추가하는 것이어서 개발자가 사용자의 요구사항이나 의견을 파악하는데 탁월한 개선 효과가 있다.The present invention not only transmits multimedia information such as handwriting or voice but also adds contextual information such as voice and handwriting on the screen while maintaining the current screen so that the developer can grasp the user's requirements and opinions There is an excellent improvement effect.

본 발명은 사용자가 현재 앱을 사용하는 상황을 벗어나서 개발자에게 피드백을 줄 수 있기 때문에 사용자와 개발자 사이의 소통할 수 있는 창구를 마련할 수 있고, 현재 사용하던 화면에 필기와 음성을 결합하여 동영상처럼 재생할 수 있다.
Since the present invention can give feedback to the developer out of the situation where the user currently uses the application, it is possible to provide a window for communicating between the user and the developer, and to combine handwriting and voice on the screen, Can be reproduced.

도 1은 본 발명의 일실시예에 따른 가상 화면을 이용한 상호 작용 제공 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 스마트 폰에서 가상 화면을 이용한 상호 작용 제공 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일실시예에 따른 스마트 폰에서 가상 화면을 이용하기 위한 인터랙션 모드를 실행하는 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 스마트 폰에서 사용자의 입력에 따라 화면에 표시되는 예를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 스마트 폰에서 저장된 동영상을 개발자가 내용을 확인하는 예를 나타낸 도면이다.1 is a block diagram illustrating a configuration of an apparatus for providing an interaction using a virtual screen according to an embodiment of the present invention.
2 is a flowchart illustrating a method of providing an interaction using a virtual screen in a smartphone according to an embodiment of the present invention.
3 is a diagram illustrating an example of executing an interaction mode for using a virtual screen in a smartphone according to an embodiment of the present invention.
4 is a diagram illustrating an example in which a smartphone according to an exemplary embodiment of the present invention is displayed on a screen according to a user's input.
5 is a diagram illustrating an example in which a developer confirms contents stored in a smartphone according to an exemplary embodiment of the present invention.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

앱(App)이란, 스마트 폰에서 용도에 따라 애플리케이션을 추가 설치해 활용할 수 있는 것으로, 컴퓨터에서 사용하는 각종 프로그램과 동일한 개념일 수 있다. 예를 들면, 컴퓨터에서 흔히 사용하는 문서 작성 프로그램이나 인터넷 브라우저, 동영상 재생 프로그램 등과 같은 프로그램을 스마트 폰에서 이용할 수 있다. 스마트 폰 운영체제 또는 가입한 이동 통신사가 다르더라도, 동일한 앱을 설치할 수 있다면 동일한 서비스를 이용할 수 있다. 스마트 폰 앱은 제품에 따라 수만에서 수십만 개가 제공되고 있으며, 하루에도 수백 개의 앱이 쏟아지고 있다. 이에 따라, 사용하는 앱에 대하여 개발자와 사용자 간의 상호 작용을 원활하게 한다면, 개발자는 사용자에게 더욱 편리한 앱을 제공할 수 있다.App (App) is an application that can be installed and used according to the purpose of a smart phone, and may be the same concept as various programs used in a computer. For example, a program such as a document creation program, an Internet browser, a video playback program, etc., which are commonly used in computers, can be used in a smart phone. Even if you have a different smartphone operating system or carrier, you can still use the same service if you can install the same app. Depending on the product, there are tens to hundreds of thousands of smartphone apps, and hundreds of apps are pouring in each day. Accordingly, if the interaction between the developer and the user is smoothly performed with respect to the application to be used, the developer can provide a more convenient application to the user.

도 1은 본 발명의 일실시예에 따른 가상 화면을 이용한 상호 작용 제공 장치의 구성을 나타낸 블록도이다. 1 is a block diagram illustrating a configuration of an apparatus for providing an interaction using a virtual screen according to an embodiment of the present invention.

스마트 폰에서 가상 화면을 이용한 상호 작용 제공 장치(100)는 수신부(110), 인터랙션 모드 실행부(120), 표시부(130), 통신부(140), 서버(150), 저장부(160)로 구성될 수 있다. The device 100 for providing an interaction using a virtual screen in a smartphone includes a receiving unit 110, an interaction mode executing unit 120, a display unit 130, a communication unit 140, a server 150, and a storage unit 160 .

스마트 폰에서 터치 스크린은 일반적으로 사용자의 입력을 디스플레이 화면에 표시하는 장치일 수 있으며, 사용자의 손 또는 물체를 이용하여 입력하는 입력 장치일 수 있다. In a smartphone, a touch screen is generally a device for displaying a user's input on a display screen, and may be an input device for inputting using a user's hand or an object.

수신부(110)는 사용자가 스마트 폰을 사용하는 중 사용자로부터 제1 입력을 수신할 수 있다. 사용자가 스마트 폰을 사용하는 중 사용자로부터 특정 버튼을 누르면 입력을 수신할 수 있는데, 예를 들면, 제1 입력은 스마트 폰의 화면의 상담 알림바에 위치하는 버튼을 사용자가 선택하는 입력일 수 있으며, 도 3에서 상세히 설명하기로 한다. The receiving unit 110 may receive a first input from the user while the user is using the smartphone. For example, the first input may be an input by the user to select a button located in the consultation notification bar of the screen of the smartphone, 3 will be described in detail.

인터랙션 모드 실행부(120)는 사용자로부터 제1 입력을 수신하는 경우, 스마트 폰의 현재 화면을 유지한 채로 인터랙션 모드를 실행할 수 있다. 더욱 상세하게는, 사용자가 스마트 폰에서 앱을 사용하는 중에 해당 앱에 대한 의견을 개발자에게 보내고 싶다면, 스마트 폰의 현재 화면을 유지한 채로 인터랙션 모드를 진입할 수 있다. 예를 들면, 도 3을 참고하면, 제1 입력이란 사용자는 스마트 폰의 화면의 상담 알림바에 위치한 Feedback to developer을 선택함으로써 스마트 폰의 현재 화면 위에 가상 화면을 생성할 수 있다. 인터랙션 모드 실행이 되면, 사용자는 해당 앱에 대하여 생성된 가상 화면에 터치 입력을 함으로써 의견을 제시할 수 있다.When receiving the first input from the user, the interaction mode execution unit 120 can execute the interaction mode while maintaining the current screen of the smart phone. More specifically, if a user is using an app on a smartphone and wants to send feedback to the developer about the app, the user can enter the interaction mode while maintaining the current screen of the smartphone. For example, referring to FIG. 3, a user can create a virtual screen on the current screen of the smartphone by selecting a feedback input from a consultation notification bar on the screen of the smartphone. When the interaction mode is executed, the user can present opinions by touching the generated virtual screen for the corresponding application.

표시부(130)는 인터랙션 모드에서 사용자로부터 터치 입력을 수신하는 경우, 스마트 폰의 화면에 표시되는 내용 위에 터치 입력을 오버랩하여 표시할 수 있다. 이때, 표시부(130)에서는 터치 입력을 인터랙션 모드 실행부(120)에서 생성된 가상 화면에 표시할 수 있다. 예를 들면, 사용자는 스마트 폰의 가상 화면에 의견을 제시할 수 있는데, 필기, 음성 및 첨부 파일을 입력할 수 있다. 더욱 상세하게는, 도 4를 참고하면, 현재 실행 중인 앱에서 표시된 두 위치를 바꾸고 싶다면, "두 개의 위치를 바꿔 주세요." 라는 음성과 함께 바꾸고 싶은 곳을 표시할 수 있다. When receiving the touch input from the user in the interaction mode, the display unit 130 may overlap the touch input on the content displayed on the screen of the smartphone. At this time, the display unit 130 can display the touch input on the virtual screen generated by the interaction mode execution unit 120. [ For example, a user can comment on a virtual screen of a smartphone, which can input handwriting, voice, and attachments. More specifically, referring to FIG. 4, if you want to change the two locations displayed in the currently running app, you can select "Change two locations." Can be displayed together with the voice of the user.

표시부(130)에서 사용하는 가상 화면이란, 화면에 표시되는 내용 위에 터치 입력을 오버랩하여 표시할 수 있는 화면을 의미할 수 있다. 예를 들면, 도 4를 참고하면, 사용자가 스마트 폰에 터치 입력을 하는 경우, 스마트 폰은 사용자로부터 터치 입력을 수신할 수 있고, 스마트 폰의 화면에 표시되는 내용 위에 가상 화면을 생성하여 터치 입력을 오버랩하여 표시할 수 있다. 더욱 상세하게는, 스마트 폰은 가상 화면에서 사용자의 터치 입력을 인식하기 위해서 각 점의 좌표 간의 방향을 계산하여 기록하는 방식을 사용할 수 있다. 이 방법은 어떤 모양의 도형이라도 모두 수치화하여 저장할 수 있어서 가상 화면에 사용자로부터의 입력을 표시할 수 있다. The virtual screen used in the display unit 130 may mean a screen capable of overlapping the touch input on the content displayed on the screen. For example, referring to FIG. 4, when a user inputs a touch input to a smartphone, the smartphone can receive a touch input from the user, creates a virtual screen on the content displayed on the screen of the smartphone, Can be overlapped and displayed. More specifically, a smartphone can calculate a direction between coordinates of each point in order to recognize a touch input of a user on a virtual screen and record the coordinates. In this method, any shape can be digitized and stored so that the input from the user can be displayed on the virtual screen.

일 실시예에 따른 가상 화면을 이용한 상호 작용 제공 장치는 연필 끝과 같이 사용자가 원하는 만큼의 세밀한 필기를 인식할 수 있고, 디스플레이의 해상도의 한계를 벗어난 정밀한 인식이 가능할 수 있다.The apparatus for providing an interaction using a virtual screen according to an exemplary embodiment can recognize a handwriting as much as the user wants, such as a pencil end, and can precisely recognize the resolution beyond the resolution of the display.

통신부(140)는 인터랙션 모드에서 사용자로부터 전송 명령을 수신하는 경우, 저장된 동영상을 원격의 서버로 전송할 수 있다. 예를 들면, 도 4를 참고하면, 인터랙션 모드에서 사용자가 입력한 내용으로 생성된 동영상을 사용자와 개발자 사이에 전파를 통하여 신호, 부호, 영상, 음성 등의 정보를 교신할 수 있다. 이때, 무선 통신을 이용하여 사용자와 개발자 사이의 두 지점간에서 통신을 할 수 있는데, 무선 통신의 종류로는 Wi-Fi, 3G, LTE, 와이브로, 지그비 블루투스 등이 있다. When the communication unit 140 receives the transmission command from the user in the interaction mode, the communication unit 140 can transmit the stored moving image to the remote server. For example, referring to FIG. 4, a user can communicate information such as a signal, a code, a video, and a voice through a radio wave between a user and a developer by using a content generated by a user in an interaction mode. At this time, it is possible to communicate between two points between the user and the developer by using wireless communication. Examples of the wireless communication include Wi-Fi, 3G, LTE, WiBro and ZigBee Bluetooth.

서버(150)에서는 저장부(160)에서 저장된 동영상이 통신부(140)를 통해 전송될 수 있다. 도 4를 참고하면, 사용자는 Send(410)을 입력함으로써 통신부(140)를 통해 동영상이 전송될 수 있다. In the server 150, the moving image stored in the storage unit 160 may be transmitted through the communication unit 140. [ Referring to FIG. 4, a user can transmit a moving picture through the communication unit 140 by inputting a Send (410).

또한, 서버(150)는 전송된 동영상을 재생할 수 있다. 예를 들면, 개발자는 사용자로부터 전송된 동영상을 재생할 수 있다. 도 5를 참고하면, 복수의 사용자로부터 전송된 동영상이 필드로 저장되고, 개발자는 저장된 필드 중에서 하나의 필드를 선택함으로써 동영상을 재생시킬 수 있다. In addition, the server 150 can reproduce the transmitted moving image. For example, a developer can play a moving image transmitted from a user. Referring to FIG. 5, a moving picture transmitted from a plurality of users is stored as a field, and a developer can reproduce the moving picture by selecting one field from the stored fields.

저장부(160)는 인터랙션 모드에서 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장할 수 있다. 이때, 표시부(130)에서 스마트 폰의 화면에 표시되는 내용 위에 터치 입력을 오버랩하여 표시한 터치 입력 및 인터랙션 모드에서 스마트 폰의 마이크를 온(on)시키고 마이크로부터 수신되는 오디오를 포함하여 동영상을 생성하고 저장할 수 있다. 이때, 동영상을 생성하는 방법으로는, 예를 들면, 1초에 18 프레임으로 지정하여 동영상을 생성할 수 있고, 사용자의 프레임 설정에 따라 동영상을 생성할 수 있다. 더욱 상세하게는, 사용자가 프레임을 1초에 20 프레임으로 지정하였다면, 1초에 20프레임으로 동영상이 생성이 되고, 생성된 동영상을 저장부(160)에 저장할 수 있다. 이때, 생성된 동영상은 사용자의 입력이 있을 때까지 재생될 수 있다. 예를 들면, 도 4를 참고하면, 사용자는 스마트 폰의 화면에 표시되는 내용을 Start Recording(420)을 입력함으로써 인터랙션 모드에서 스마트 폰의 화면에 표시되는 내용을 녹화할 수 있고, 동영상을 생성하고 저장할 수 있다. The storage unit 160 can record and display the contents displayed on the screen of the smartphone in the interaction mode to generate and store the moving picture. At this time, a touch input in which the touch input is overlapped on the contents displayed on the screen of the smartphone on the display unit 130, a microphone of the smartphone is turned on in the interaction mode, and a video including the audio received from the microphone is generated And store it. At this time, as a method of generating a moving image, for example, a moving image can be generated by specifying 18 frames per second, and a moving image can be generated according to a user's frame setting. More specifically, if the user designates a frame as 20 frames per second, a moving image is generated in 20 frames per second, and the generated moving image can be stored in the storage unit 160. At this time, the generated moving picture can be reproduced until the user inputs it. For example, referring to FIG. 4, the user can record contents displayed on the screen of the smartphone in the interaction mode by inputting the contents displayed on the screen of the smart phone by using the Start Recording 420, Can be stored.

일 실시예에 따른 가상 화면을 이용한 상호 제공 장치는 타 애플리케이션과의 연동 및 통합을 용이하게 하기 위하여 Open API 형태로 제공될 수 있다. 또한, 개발자와 사용자 사이의 의사소통을 원활하게 할 수 있으며, 본 발명을 통해 앱뿐만 아니라 애플 스토어, 구글플레이, 티스토어, 올레스토어, U+스토어 등 모바일 앱스토어의 고객센터에도 적용될 수 있다. The mutual providing apparatus using the virtual screen according to an embodiment may be provided in the form of an Open API to facilitate interworking and integration with other applications. In addition, it is possible to smoothly communicate with developers and users, and the present invention can be applied not only to apps but also to customer centers of mobile app stores such as Apple Store, Google Play, Tea Store, Ole Store, and U + Store.

도 2는 본 발명의 일실시예에 따른 스마트 폰에서 가상 화면을 이용한 상호 작용 제공 방법을 나타낸 흐름도이다.2 is a flowchart illustrating a method of providing an interaction using a virtual screen in a smartphone according to an embodiment of the present invention.

스마트 폰에서 가상 화면을 이용한 상호 작용 제공 방법은 스마트 폰에서 상호 작용 제공 장치에 의해서 수행될 수 있으며, 스마트 폰에서 가상 화면을 이용한 상호 작용 제공 장치에 대한 설명은 도 1을 참고하기로 한다. A method of providing an interaction using a virtual screen in a smartphone can be performed by an interactive providing device in a smartphone, and an apparatus for providing an interaction using a virtual screen in a smartphone will be described with reference to FIG.

단계(210)에서 스마트 폰에서의 상호 작용 제공 장치는 사용자가 스마트 폰을 사용하는 중 사용자로부터 제1 입력을 수신할 수 있다. 예를 들면, 제1 입력은 스마트 폰의 화면의 상담 알림바에 위치하는 버튼을 사용자가 선택하는 입력일 수 있다.In step 210, the interaction providing device in the smartphone may receive the first input from the user while the user is using the smartphone. For example, the first input may be an input by a user to select a button located in a consultation notification bar on the screen of the smartphone.

단계(220)에서 스마트 폰에서의 상호 작용 제공 장치는 사용자로부터 제1 입력을 수신하는 경우, 스마트 폰의 현재 화면을 유지한 채로 인터랙션 모드를 실행할 수 있다. 더욱 상세하게는, 도 4를 참고하면, 단계(210)에서 수신된 제1 입력을 통해 인터랙션 모드를 실행할 수 있으며, 스마트 폰의 현재 화면 위에 가상 화면을 생성함으로써 인터랙션 모드를 실행할 수 있다.In step 220, when the first input from the user is received, the interaction providing device in the smartphone may execute the interaction mode while maintaining the current screen of the smartphone. More specifically, referring to FIG. 4, an interaction mode may be executed through the first input received in step 210, and an interaction mode may be executed by creating a virtual screen on the current screen of the smartphone.

단계(230)에서 스마트 폰에서의 상호 작용 제공 장치는 인터랙션 모드에서 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장할 수 있다. 예를 들면, 인터랙션 모드에서 스마트 폰의 마이크를 온(on)시키고 마이크로부터 수신되는 오디오를 포함하여 동영상을 생성하고 저장할 수 있다. 또한, 스마트 폰의 화면에 표시되는 내용 위에 터치 입력을 오버랩하여 표시한 터치 입력에 대하여 동영상을 생성하고 저장할 수 있다. In step 230, the device for providing an interaction in the smartphone can record and display the contents displayed on the screen of the smartphone in the interaction mode, and generate and store the moving picture. For example, in Interaction mode, you can turn on your smartphone's microphone and create and save a movie, including audio from your microphone. In addition, a moving picture can be generated and stored for a touch input displayed by overlapping the touch input on the content displayed on the screen of the smartphone.

단계(240)에서 스마트 폰에서의 상호 작용 제공 장치는 인터랙션 모드에서 사용자로부터 전송 명령을 수신하는 경우, 저장된 동영상을 원격의 서버로 전송할 수 있다. 예를 들면, 개발자는 사용자로부터 전송된 동영상을 재생할 수 있으며, 목록에 나열된 복수개의 필드 중 하나를 선택하여 재생할 수 있다. In step 240, when the interaction providing device receives a transmission command from the user in the interaction mode, the device may transmit the stored moving image to a remote server. For example, a developer can reproduce a moving image transmitted from a user, and can select and reproduce one of a plurality of fields listed in the list.

일 실시예에 따른 스마트 폰에서 상호 작용 제공 장치는 사용자가 현재 사용하는 앱을 벗어나지 않고도 개발자에게 피드백을 줄 수 있어 사용자와 개발자의 상호 작용을 원활하게 할 수 있다. In the smartphone according to an exemplary embodiment, the interaction providing apparatus can provide feedback to the developer without leaving the application currently used by the user, thereby facilitating the interaction between the user and the developer.

도 3은 본 발명의 일실시예에 따른 스마트 폰에서 가상 화면을 이용하기위한 인터랙션 모드를 실행하는 예를 나타낸 도면이다.3 is a diagram illustrating an example of executing an interaction mode for using a virtual screen in a smartphone according to an embodiment of the present invention.

도 3은 스마트 폰의 화면의 상담 알람바에 위치하는 버튼을 사용자가 선택함으로써 인터랙션 모드로 진입할 수 있다. 예를 들면, 사용자는 스마트 폰의 상담 알람바에 위치하는 Feedback to developer를 선택함으로써 인터랙션 모드로 진입할 수 있다. 본 발명에서 인터랙션 모드로 진입한다는 것은 현재 사용중인 화면 위에 가상 화면을 생성함으로써, 스마트 폰의 화면에 표시되는 내용 위에 터치 입력을 오버랩하여 표시할 수 있는 것을 의미한다. 인터랙션 모드에서는 스마트 폰의 가상 화면에 사용자의 터치 입력을 인식하기 위해 각 점의 좌표 간의 방향을 계산하여 기록하는 방식을 사용할 수 있고, 어떤 모양의 도형이라도 모두 수치화하여 저장하기 때문에 가상 화면에 사용자로부터의 입력을 표시할 수 있다.3, the user can enter the interaction mode by selecting a button located in the consultation alarm bar on the screen of the smartphone. For example, the user can enter the interaction mode by selecting Feedback to developer located in the consultation alarm bar of the smartphone. In the present invention, entry into the interaction mode means that a virtual screen is created on a screen being used, and the touch input can be overlapped on the content displayed on the screen of the smartphone. In the interaction mode, in order to recognize the touch input of the user on the virtual screen of the smartphone, the direction between the coordinates of each point can be calculated and recorded, and since any figure shape is digitized and stored, Can be displayed.

인터랙션 모드에서 사용자의 터치 입력을 스마트 폰의 화면에 표시할 수 있고, 표시된 내용을 녹화하여 동영상을 생성하고 저장할 수 있다. 생성된 동영상을 서버에 전송, 실행 및 삭제할 수 있다. 이에 대한 상세한 설명은 도 4를 참고하기로 한다. In the interaction mode, the user's touch input can be displayed on the screen of the smartphone, and the recorded contents can be recorded and generated. The generated video can be transmitted to the server, executed and deleted. A detailed description thereof will be given with reference to FIG.

도 4는 본 발명의 일실시예에 따른 스마트 폰에서 사용자의 입력에 따라 화면에 표시되는 예를 나타낸 도면이다.4 is a diagram illustrating an example in which a smartphone according to an exemplary embodiment of the present invention is displayed on a screen according to a user's input.

진입된 인터랙션 모드에서 사용자는 스마트 폰의 화면에 필기, 녹음, 첨부 파일 등을 입력할 수 있다(Start Recording(420)). 이때, 인터랙션 모드에서 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장할 수 있다. 제1 입력 또는 제1 입력과 구별되는 제2 입력을 수신하는 경우, 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장할 수 있다. 더욱 상세하게는, 스마트 폰의 화면의 상담 알림바에 위치하는 버튼을 사용자가 선택하거나, Start Recording(420)을 선택한 경우 녹화가 시작될 수 있다. In the entered interaction mode, the user can input a handwriting, a recording, an attachment, etc. on the screen of the smartphone (Start Recording 420). At this time, in the interaction mode, the content displayed on the screen of the smartphone can be recorded to generate and store the moving image. When receiving the first input or the second input differentiated from the first input, it is possible to record and display the contents displayed on the screen of the smartphone to generate and store the moving picture. More specifically, when the user selects the button located in the consultation notification bar of the screen of the smartphone or selects the Start Recording 420, the recording may be started.

첨부 파일을 입력하는 경우, 인터랙션 모드에서 사용자의 입력에 따라 사용자가 선택한 파일을 식별할 수 있으며, 녹음을 입력하는 경우, 스마트 폰의 마이크를 온(on)시키고 마이크로부터 수신되는 오디오를 포함하여 동영상을 생성하고 저장할 수 있다. 또한, 필기를 하는 경우, 인터랙션 모드에서 스마트 폰의 앱화면에 불편한 점 또는 의견 사항을 도 4와 같이 필기하고 저장할 수 있다. 예를 들면, 도 4와 같이 현재 실행 중인 앱에서 표시된 두 위치를 바꾸고 싶다면, "두 개의 위치를 바꿔 주세요." 라는 음성과 함께 바꾸고 싶은 곳을 표시할 수 있고, 필기 및 음성이 함께 저장될 수 있다.If you enter an attachment, you can identify the file you have selected based on your input in Interaction mode. If you enter a recording, you can turn on the microphone on your smartphone, Can be generated and stored. In addition, when handwriting is performed, an inconvenience or an opinion on the screen of the smartphone can be handwritten and saved as shown in FIG. 4 in the interaction mode. For example, if you want to change the two locations shown in the currently running app, as shown in Figure 4, you can change the two locations. Can be displayed together with the voice, and written and voice can be stored together.

Start Recording(420)을 통해 저장된 동영상을 서버에 전송하기 전, Play(430)를 선택하여 재생시킬 수 있다. 사용자는 Start Recording(420)을 통해 입력한 내용에서 수정할 사항을 확인하기 위해 Play(430)를 통하여 동영상을 재생시킬 수 있다. 이와 같이 Play(430) 입력은 서버에 전송하기 전 사용자가 입력한 내용을 재생시킴으로써 확인할 수 있다.The Play 430 may be selected and played back before the stored moving picture is transmitted to the server through the Start Recording 420. [ The user can reproduce the moving picture through the Play 430 to confirm the items to be corrected in the contents input through the Start Recording 420. [ As described above, the Play 430 input can be confirmed by playing back the contents inputted by the user before transmitting it to the server.

이때, 재생한 동영상이 잘못 저장된 경우, Discard(440) 입력을 통해서 동영상을 삭제할 수 있다. 또한, Start Recording(420)을 통해서 사용자가 입력을 하고 있는 중에 잘못 입력하거나 재입력하고 싶다면, Discard(440)입력을 통해서 삭제할 수 있다. 또한, 이미 저장된 동영상을 Discard(440)를 통해서 삭제할 수 있다. At this time, if the played movie is stored incorrectly, you can delete the movie through Discard (440) input. In addition, if the user mistakenly inputs or re-inputs while the user is performing the input through the start recording 420, it can be deleted through the Discard (440) input. In addition, the already stored moving picture can be deleted through the Discard 440.

Start Recording(420)을 통해 저장된 동영상을 서버로 전송하기 위해 사용자로부터 전송 명령을 수신하는 경우, Send(410)를 선택하여 원격의 서버에 전송할 수 있다. 서버에서는 스마트 폰에서 전송된 동영상을 재생시킬 수 있으며, 전송된 유저 피드백은 필드 형태로 목록에 표시될 수 있다. 개발자는 전송된 유저 피드백 중 하나를 선택함으로써 동영상을 재생시킬 수 있다.When receiving the transmission command from the user to transmit the stored moving image to the server through the start recording 420, the user can select the send 410 and transmit the selected command to the remote server. The server can reproduce the moving picture transmitted from the smart phone, and the transmitted user feedback can be displayed in the list in the field form. The developer can play back the moving picture by selecting one of the transmitted user feedback.

일 실시예에 따른 스마트 폰에서 상호 작용 제공 장치는 텍스트 외에는 개발자에게 피드백을 줄 수 없었던 문제를 해결할 수 있다. 또한, 사용자는 개발자에게 필기, 녹음, 첨부 파일 등을 통해서 피드백을 줄 수 있어서 개발자가 사용자의 의견을 정확하게 수렴할 수 있고, 앱을 사용자 입장에서 수정할 수 있다.The device for providing an interaction in a smart phone according to an embodiment can solve the problem that it is impossible to give feedback to a developer other than text. In addition, the user can give feedback to the developer through handwriting, recording, attachment, etc., so that the developer can accurately collect the user's opinion and modify the app from the user's point of view.

도 5는 본 발명의 일실시예에 따른 스마트 폰에서 저장된 동영상을 개발자가 내용을 확인하는 예를 나타낸 도면이다.5 is a diagram illustrating an example in which a developer confirms contents stored in a smartphone according to an exemplary embodiment of the present invention.

도 5는 스마트 폰에서 저장된 동영상을 원격의 서버(500)에서 재생하는 예를 나타낸 것으로, 전송된 동영상은 복수 개의 필드로 저장될 수 있다. FIG. 5 shows an example of reproducing a moving image stored in a smart phone in a remote server 500, and the transmitted moving image may be stored in a plurality of fields.

예를 들면, 사용자가 서버(500)로 전송한 동영상이 4개라고 가정하자. Feedback1(510), Feedback2(511), Feedback3(512), Feedback4(513)와 같이 4개의 목록이 나열되어 있다면, 개발자는 저장된 유저 피드백 중 하나를 선택할 수 있다. 이때, 개발자는 Feedback1(510)을 선택하였다면, 선택된 필드가 동영상으로 재생될 수 있다. 더욱 상세하게는, 앱에 표시된 두 위치를 수정하고자 하는 동영상이라면, "두 개의 위치를 바꿔 주세요." 라는 음성과 함께 바꾸고 싶은 곳이 표시될 수 있고, 필기 및 음성이 함께 재생될 수 있다. 이와 같이, 재생된 동영상을 통해 개발자는 사용자의 의견을 보다 쉽게 이해할 수 있어 해당 앱의 문제점을 효과적으로 수정할 수 있다. For example, assume that there are four videos transmitted by the user to the server 500. If four lists are listed, such as Feedback1 510, Feedback2 511, Feedback3 512, and Feedback4 513, the developer can select one of the stored user feedbacks. At this time, if the developer selects Feedback 1 (510), the selected field may be reproduced as a moving image. More specifically, if you want to edit the two locations shown in your app, you can change the "two locations." The place to change can be displayed together with the voice, and the handwriting and the voice can be reproduced together. In this way, the reproduced moving image enables the developer to understand the user's opinion more easily, thereby effectively correcting the problem of the corresponding app.

일 실시예에 따른 스마트 폰에서 상호 작용 제공 장치는 사용자와 개발자의 상호작용을 원활하게 할 수 있어서 모바일 앱의 성공 확률을 높일 수 있다. 또한, 본 발명은 각각의 앱뿐만 아니라 애플 스토어, 구글 플레이, 티 스토어, 올레 스토어, U+ 스토어 등 모바일 앱 스토어에서 개발자와 사용자간의 의사 소통이 필요한 고객센터에도 적용될 수 있다. The device for providing an interaction in a smartphone according to an exemplary embodiment can smooth the interaction between the user and the developer, thereby increasing the probability of success of the mobile app. In addition, the present invention can be applied not only to each app but also to a customer center that requires communication between a developer and a user in a mobile app store such as Apple Store, Google Play, Tea Store, Ole Store, and U + Store.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 상호 작용 제공 장치
110: 수신부
120: 인터랙션 모드 실행부
130: 표시부
140: 통신부
150: 서버
160: 저장부100: Interaction providing device
110:
120: Interaction mode execution unit
130:
140:
150: Server
160:

Claims (3)

스마트 폰에서 가상 화면을 이용한 상호 작용 제공 방법에 있어서,
사용자가 스마트 폰을 사용하는 중 상기 사용자로부터 입력을 수신하는 단계;
상기 사용자로부터 상기 입력을 수신하는 경우, 상기 스마트 폰의 현재 화면을 유지한 채로 인터랙션 모드를 실행하는 단계;
상기 인터랙션 모드에서 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장하는 단계; 및
상기 인터랙션 모드에서 상기 사용자로부터 전송 명령을 수신하는 경우, 상기 저장된 동영상을 원격의 서버로 전송하는 단계
를 포함하는 스마트 폰에서의 상호 작용 제공 방법.A method for providing an interaction using a virtual screen in a smartphone,
Receiving an input from the user while the user is using the smartphone;
Executing an interaction mode while maintaining the current screen of the smartphone when receiving the input from the user;
Generating and storing a moving picture by recording contents displayed on a screen of the smartphone in the interaction mode; And
When receiving a transmission command from the user in the interaction mode, transmitting the stored moving image to a remote server
To provide an interaction in a smartphone. 제1항에 있어서,
상기 인터랙션 모드에서 상기 사용자로부터 터치 입력을 수신하는 경우, 상기 스마트 폰의 상기 화면에 표시되는 내용 위에 상기 터치 입력을 오버랩하여 표시하는 단계
를 더 포함하고,
상기 인터랙션 모드에서 상기 스마트 폰의 화면에 표시되는 내용을 녹화하여 동영상을 생성하고 저장하는 단계는,
상기 오버랩되는 터치 입력을 포함하여 상기 동영상을 생성하고 저장하는 단계
를 포함하는 스마트 폰에서의 상호 작용 제공 방법. The method according to claim 1,
When the touch input is received from the user in the interaction mode, overlapping and displaying the touch input on the content displayed on the screen of the smartphone
Further comprising:
Wherein the generating and storing the moving picture by recording the content displayed on the screen of the smartphone in the interaction mode comprises:
Generating and storing the moving image including the overlapped touch input
To provide an interaction in a smartphone. 제2항에 있어서,
상기 인터랙션 모드를 실행하는 단계는,
상기 스마트 폰의 상기 현재 화면 위에 가상 화면을 생성하는 단계
를 포함하고,
상기 스마트 폰의 상기 화면에 표시되는 내용 위에 상기 터치 입력을 오버랩하여 표시하는 단계는,
상기 터치 입력을 상기 가상 화면에 표시하는 단계
를 포함하는 스마트 폰에서의 상호 작용 제공 방법.
3. The method of claim 2,
The step of executing the interaction mode includes:
Generating a virtual screen on the current screen of the smartphone
Lt; / RTI >
Wherein the step of overlapping and displaying the touch input on the content displayed on the screen of the smartphone comprises:
Displaying the touch input on the virtual screen
To provide an interaction in a smartphone.
KR20130110326A 2013-09-13 2013-09-13 Method for providing virtual screen for interaction between developer and user KR20150030952A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130110326A KR20150030952A (en) 2013-09-13 2013-09-13 Method for providing virtual screen for interaction between developer and user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130110326A KR20150030952A (en) 2013-09-13 2013-09-13 Method for providing virtual screen for interaction between developer and user

Publications (1)

Publication Number Publication Date
KR20150030952A true KR20150030952A (en) 2015-03-23

Family

ID=53024765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130110326A KR20150030952A (en) 2013-09-13 2013-09-13 Method for providing virtual screen for interaction between developer and user

Country Status (1)

Country Link
KR (1) KR20150030952A (en)

Similar Documents

Publication Publication Date Title
JP7080999B2 (en) Search page Interaction methods, devices, terminals and storage media
CN109844717B (en) System and method for real-time remote control of mobile applications
CN109640188B (en) Video preview method and device, electronic equipment and computer readable storage medium
CN108989691B (en) Video shooting method and device, electronic equipment and computer readable storage medium
US9851862B2 (en) Display apparatus and displaying method for changing a cursor based on a user change of manipulation mode
JP2019054510A (en) Method and system for processing comment included in moving image
US20160266747A1 (en) Providing content via multiple display devices
EP3726376B1 (en) Program orchestration method and electronic device
JP4687691B2 (en) Inter-device operation interface, device control terminal, and program
WO2023072296A1 (en) Multimedia information processing method and apparatus, and electronic device and storage medium
US11997356B2 (en) Video page display method and apparatus, electronic device and computer-readable medium
KR101832394B1 (en) Terminal apparatus, server and contol method thereof
US20150143210A1 (en) Content Stitching Templates
US11140534B2 (en) Non-intrusive proximity based advertising and message delivery
US20150046294A1 (en) Display apparatus, the method thereof and item providing method
EP3438852B1 (en) Electronic device and control method thereof
KR20180111981A (en) Edit real-time content with limited interaction
US20230239546A1 (en) Theme video generation method and apparatus, electronic device, and readable storage medium
US20160359932A1 (en) Display device and method of controlling the same
CN110619099A (en) Comment content display method, device, equipment and storage medium
CN106998493B (en) Video previewing method and device
CN114363686B (en) Method, device, equipment and medium for publishing multimedia content
CN114339363B (en) Picture switching processing method and device, computer equipment and storage medium
JP7058795B2 (en) Video processing methods, devices, terminals and storage media
WO2024037557A1 (en) Special effect prop processing method and apparatus, electronic device, and storage medium

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination