KR20180080980A - Auto connection method for backward control of a smart device - Google Patents
Auto connection method for backward control of a smart device Download PDFInfo
- Publication number
- KR20180080980A KR20180080980A KR1020170144111A KR20170144111A KR20180080980A KR 20180080980 A KR20180080980 A KR 20180080980A KR 1020170144111 A KR1020170144111 A KR 1020170144111A KR 20170144111 A KR20170144111 A KR 20170144111A KR 20180080980 A KR20180080980 A KR 20180080980A
- Authority
- KR
- South Korea
- Prior art keywords
- smart device
- connection
- information
- control
- smart
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/14—Direct-mode setup
Abstract
Description
본 발명은 스마트 기기와 보조 기기간 연결 제어 기술에 관련한 것으로, 특히 스마트 기기의 역방향 제어를 위한 자동 연결 방법에 관한 것이다.The present invention relates to a connection control technique between a smart device and an ancillary device, and more particularly, to an automatic connection method for reverse control of a smart device.
시중에 판매되고 TV, 모니터(Monitor), 차량용 네비게이션(Navigation) 등의 보조 기기에 장착된 터치 패널을 통해 입력되는 터치 데이터를 스마트폰 등의 스마트 기기로 미러링(Mirroring) 할 때 스마트 기기를 역방향으로 제어할 수 있는 제어방식이 필요하다.When the touch data input through the touch panel mounted on an auxiliary device such as a TV, a monitor, and a navigation device on the market is mirrored to a smart device such as a smart phone, A controllable control method is required.
스마트폰 등의 스마트 기기에서 일반적으로 지원하고 있는 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 이용하여 TV, 모니터 등의 주변 기기에서 제어정보를 전송하여 스마트 기기를 역방향으로 제어하는 기술을 구현할 수 있다.It transmits control information from a peripheral device such as a TV or a monitor using a user input back channel (UIBC) of Miracast which is generally supported in a smart device such as a smart phone, Can be implemented.
대한민국 공개특허 제10-2014-0111010호(2014.09.17)에서 컴퓨팅 디바이스로의 양방향 사용자 입력 백 채널(UIBC)을 설정하고, 주변장치 데이터를 수신하고, 주변장치 데이터를 캡슐화하고, 그리고 캡슐화된 주변장치 데이터를 사용자 입력 백 채널(UIBC)을 사용하여 컴퓨팅 디바이스로 전송하는 사용자 입력 백 채널을 통한 양방향 터널링 기술을 제안하고 있다.Korean Patent Publication No. 10-2014-0111010 (2014.09.17) discloses a method for setting a bi-directional user input back channel (UIBC) from a computing device, receiving peripheral data, encapsulating peripheral data, Way tunneling technique over a user input back channel that transmits device data to a computing device using a user input back channel (UIBC).
그런데, 사용자가 역방향 채널인 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC) 연결을 사용하려고 하면, 스마트폰 등의 스마트 기기에서 사용자 입력 백 채널(UIBC)을 자동으로 연결하지 못하고, 사용자가 스마트 기기의 설정메뉴로 들어가 디바이스에 따라 몇 단계를 거쳐 설정해야 한다.However, when a user tries to use a user input back channel (UIBC) connection of a mirror channel Miracast, a smart device such as a smart phone can not automatically connect a user input back channel (UIBC) You have to go through the setup menu of the device and set it in several steps according to the device.
이러한 사용자 입력 백 채널(UIBC) 연결 설정 과정은 그 절차가 복잡하며, 설정 절차를 무사히 마쳤다 하더라도 통신 오류 발생 등으로 일반 사용자에게 심각한 불편함을 야기할 수 있다. 따라서, 본 발명자는 스마트 기기에 일반적으로 탑재되어 있는 블루투스(Bluetooth) 무선통신 기능을 이용하여 간단한 앱으로 사용자 입력 백 채널(UIBC)을 자동으로 연결할 수 있는 기술에 대한 연구를 하였다.Such a process of setting up a user input back channel (UIBC) connection is complicated, and even if the setting procedure is completed safely, it may cause serious inconvenience to a general user due to a communication error or the like. Accordingly, the present inventor has studied a technology for automatically connecting a user input back channel (UIBC) with a simple application using a Bluetooth wireless communication function generally installed in a smart device.
본 발명은 상기한 취지하에 발명된 것으로, TV, 모니터 등의 보조 기기에서 조작정보를 무선 인터페이스인 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 통해 스마트폰 등의 스마트 기기로 전송할 때, 스마트 기기 역방향 제어를 위한 사용자 입력 백 채널(UIBC) 연결을 블루투스 통신방식을 이용하여 자동으로 구현할 수 있는 스마트 기기의 역방향 제어를 위한 자동 연결 방법을 제공함을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned circumstances, and it is an object of the present invention to provide an apparatus and a method for operating information in an auxiliary device such as a TV, a monitor, and the like via a user input back channel (UIBC) of a Miracast, It is an object of the present invention to provide an automatic connection method for a backward control of a smart device which can automatically implement a user input back channel (UIBC) connection for smart device backward control using a Bluetooth communication method.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 스마트 기기의 역방향 제어를 위한 자동 연결 방법이 스마트 기기에서 제어앱이 실행되는 제어앱 실행 단계와; 상기 제어앱 실행 단계에 의해 스마트 기기에서 제어앱이 실행되면, 스마트 기기와 보조 기기간 페어링(Pairing)을 수행하는 페어링 단계와; 상기 페어링 단계에 의해 스마트 기기와 보조 기기간 페어링이 완료되면, 보조 기기가 연결 관련 정보를 페어링된 스마트 기기로 전송하는 연결 관련 정보 전송 단계와; 상기 연결 관련 정보 전송 단계에 의해 전송된 연결 관련 정보를 수신한 스마트 기기가 연결 관련 정보를 이용해 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 연결하는 백 채널 연결 단계와; 상기 백 채널 연결 단계에 의해 사용자 입력 백 채널(UIBC)이 연결되면, 보조 기기가 사용자 입력 백 채널(UIBC)을 통해 조작정보를 스마트 기기로 전송하는 조작정보 전송 단계를; 포함하는 것을 특징으로 한다.According to one aspect of the present invention, there is provided an automatic connection method for controlling the backward direction of a smart device, comprising: a control application execution step in which a control application is executed in a smart device; A pairing step of performing a pairing between the smart device and the auxiliary device when the control application is executed in the smart device by the control application execution step; A connection-related information transmission step of, when the pairing between the smart device and the auxiliary device is completed by the pairing step, the auxiliary device transmitting the connection-related information to the paired smart device; A back channel connection step of connecting the user input back channel (UIBC) of the mirror cast using the connection related information to the smart device that has received the connection related information transmitted in the connection related information transmission step ; And transmitting operation information to the smart device through the user input back channel (UIBC) when the user input back channel (UIBC) is connected by the back channel connection step; .
본 발명의 부가적인 양상에 따르면, 상기 페어링 단계에서 스마트 기기와 보조 기기간에 블루투스 페어링(Bluetooth Pairing)을 수행하는 것을 특징으로 한다.According to a further aspect of the present invention, in the pairing step, Bluetooth pairing is performed between the smart device and the assistant device.
본 발명의 부가적인 양상에 따르면, 상기 연결 관련 정보 전송 단계에서 보조 기기가 블루투스 SPP(Serial Port Profile)를 통해 스마트 기기로 연결 관련 정보를 전송하는 것을 특징으로 한다.According to a further aspect of the present invention, in the connection-related information transmission step, the auxiliary device transmits the connection-related information to the smart device through the Bluetooth SPP (Serial Port Profile).
본 발명의 부가적인 양상에 따르면, 상기 연결 관련 정보가 보조 기기 기본정보와, 연결에 대한 제어정보를 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the connection-related information includes auxiliary device basic information and control information for connection.
본 발명의 부가적인 양상에 따르면, 상기 보조 기기 기본정보가 보조 기기의 맥 주소(MAC Address) 정보, 식별(Identification) 정보, 해상도 정보, 화면 모드 정보, 터치 인식 해상도 정보를 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the auxiliary device basic information includes MAC address information, identification information, resolution information, screen mode information, and touch recognition resolution information of the auxiliary device .
본 발명의 부가적인 양상에 따르면, 상기 연결에 대한 제어정보가 화면 미러링(Screen Mirroring) 지시인 것을 특징으로 한다.According to a further aspect of the present invention, the control information for the connection is a screen mirroring instruction.
본 발명의 부가적인 양상에 따르면, 상기 조작정보가 터치 정보 및 터치에 대응하는 화면 제어 정보를 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the operation information includes touch information and screen control information corresponding to the touch.
본 발명의 부가적인 양상에 따르면, 상기 제어앱이 화면 미러링 앱인 것을 특징으로 한다.According to a further aspect of the present invention, the control app is a screen mirroring app.
본 발명은 TV, 모니터 등의 보조 기기에서 조작정보를 무선 인터페이스인 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 통해 스마트폰 등의 스마트 기기로 전송할 때, 스마트 기기 역방향 제어를 위한 사용자 입력 백 채널(UIBC) 연결을 블루투스 통신방식을 이용하여 자동으로 구현함으로써 사용자가 복잡한 설정 조작을 할 필요가 없으므로, 사용자 편의성을 향상시킬 수 있는 효과가 있다. When transmitting operation information from an auxiliary device such as a TV or a monitor to a smart device such as a smart phone through a user input back channel (UIBC) of a Miracast which is a wireless interface, The user input back channel (UIBC) connection for control is automatically implemented by using the Bluetooth communication method, so that there is no need for the user to perform a complicated setting operation, thereby improving user convenience.
도 1 은 미라캐스트(Miracast) 프로토콜 구조를 도시한 도면이다.
도 2 는 스마트 기기의 역방향 제어를 위한 앱(App) 구조를 도시한 도면이다.
도 3 은 본 발명에 따른 스마트 기기의 역방향 제어를 위한 자동 연결 방법의 일 실시예의 구성을 도시한 흐름도이다.
도 4 는 스마트 기기에서 실행되는 화면 미러링 앱의 시작 화면을 예시한 도면이다.
도 5 는 스마트 기기에서 실행되는 화면 미러링 앱의 블루투스 승인 요청 화면을 예시한 도면이다.
도 6 은 보조 기기에서 실행되는 싱크앱의 블루투스 자동 검색 화면을 예시한 도면이다.
도 7 은 보조 기기에서 실행되는 싱크앱의 블루투스 페어링 시도 화면을 예시한 도면이다.
도 8 은 스마트 기기에서 실행되는 화면 미러링 앱의 접근성 설정 화면을 예시한 도면이다.
도 9 는 스마트 기기에서 실행되는 화면 미러링 앱의 사용자 입력 백 채널(UIBC) 연결 시도 화면을 예시한 도면이다.
도 10 은 스마트 기기에서 실행되는 화면 미러링 앱에 의해 보조 기기 화면에 스마트 기기 화면이 미러링된 것을 예시한 도면이다. 1 is a diagram showing a Miracast protocol structure.
2 is a diagram showing an application structure for controlling the backward direction of a smart device.
3 is a flowchart illustrating a configuration of an embodiment of an automatic connection method for a reverse control of a smart device according to the present invention.
FIG. 4 is a diagram illustrating a start screen of a screen mirroring application executed in a smart device. FIG.
5 is a diagram illustrating a Bluetooth approval request screen of a screen mirroring app executed in a smart device.
6 is a diagram illustrating an example of a Bluetooth automatic search screen of a sync app executed in an auxiliary device.
7 is a diagram illustrating a Bluetooth pairing attempt screen of a sync app executed in an auxiliary device.
8 is a diagram illustrating an accessibility setting screen of a screen mirroring app executed in a smart device.
9 is a diagram illustrating a user input back channel (UIBC) connection attempt screen of a screen mirroring app executed in a smart device.
10 is a diagram illustrating that a smart device screen is mirrored on an auxiliary device screen by a screen mirroring app executed in the smart device.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the specification of the present invention have been defined in consideration of the functions of the embodiments of the present invention and can be sufficiently modified according to the intentions and customs of the user or operator. It should be based on the contents of.
스마트폰 등의 스마트 기기에 대한 역방향 제어 동작은 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 통해 이루어질 수 있다. The backward control operation for the smart device such as the smart phone can be performed through the user input back channel (UIBC) of the Miracast.
스마트 기기에 대한 역방향 제어 미러링 기술은 두 종류의 경로(Path)로 이루어진다. 하나는 스마트 기기의 HD급 화면 데이터와 오디오를 전달하는 미디어 경로(Media Path)이고, 다른 하나는 두 기기간의 시그널링을 교환하는 제어 경로(Control Path)이다.The reverse control mirroring technology for smart devices consists of two kinds of paths. One is a media path for transmitting HD data and audio data of a smart device, and the other is a control path for exchanging signaling between two devices.
제어 경로(Control Path)는 데이터 스트리밍(Data Streaming)을 제어하는 부분과, 싱크 디바이스(Sink Device)인 보조 기기의 입력을 변환하여 전달하는 사용자 입력 백 채널(UIBC : User Input Back Channel) 부분으로 나누어진다. The control path is divided into a portion for controlling data streaming and a user input back channel (UIBC) portion for converting an input of an auxiliary device, which is a sink device, Loses.
사용자 입력 백 채널(UIBC : User Input Back Channel)을 통해 소스 디바이스(Source Device)인 스마트 기기로 전달되는 정보는 HID(Human Interface Device) 정보나, 제너릭(Generic) 정보로 구성된다. Information transmitted to a smart device as a source device through a user input back channel (UIBC) is composed of HID (Human Interface Device) information and generic information.
HID상에서 구현하는 Application Adaptation Layer를 통하여 디바이스 협상(Device Negotiation), 전원 관리(Power Management), 세션 제어(Session Control), Key/Touch 전송 프로토콜, Open/Close 제어, 메시지 형태(Message Format) 정의, 에러 제어(Error Control) 등을 수행한다.Device negotiation, power management, session control, key / touch transmission protocol, open / close control, message format definition, error And performs control (Error Control).
터치, 키, 상태 정보 데이터는 보조 기기에서 스마트 기기로 전송되는 중요한 데이터 중의 일부이다. 이 데이터들은 실시간으로 보내야 하며 보조 기기의 내부의 문제로 전송지연이 생기면 동작에 심각한 문제를 일으키게 된다. The touch, key, and status information data are a part of important data transmitted from the auxiliary device to the smart device. These data must be sent in real time, and transmission delays due to internal problems of the ancillary equipment will cause serious problems in operation.
따라서, 프로토콜(Protocol)을 정의할 때 최소의 지연(Delay)이 발생하도록 고려하여야 하며 프로토콜 데이터 단위(Protocol Data Unit)도 간결하게 구성되어야 한다. 또한, 시간에 매우 민감한 부분이므로 이점에 유의해야 한다.Therefore, when defining a protocol, it is necessary to consider a minimum delay and a protocol data unit should be concisely configured. It is also a very sensitive part of the time, so keep this in mind.
또한, 보조 기기와 스마트 기기의 해상도의 차이는 전송 지연에도 영향을 크게 미치게 된다. 보조 기기의 터치(Touch)의 위치는 스마트폰의 터치 위치와 상이하므로, 스마트 기기의 종류에 따라 자동적으로 다시 그 위치를 번역해 주어여 한다. In addition, the difference in resolution between the ancillary device and the smart device greatly affects the transmission delay. Since the position of the touch of the auxiliary device differs from the touch position of the smartphone, the location of the auxiliary device is automatically translated again according to the type of the smart device.
특히, 가로 모드와 세로 모드의 차이에서 오는 위치 차이는 많은 문제를 일으킬 수 있으므로, 위치 번역기(Location Translator)를 설계할 때 세심한 주의를 기울여야 한다.In particular, careful attention must be paid to the design of the location translator, since the positional difference from the difference between the landscape mode and the portrait mode can cause many problems.
도 1 은 미라캐스트(Miracast) 프로토콜 구조를 도시한 도면이다. 도 1 의 맨 하단은 물리 계층 및 MAC 계층으로, 통신들에 사용되는 물리적 시그널링, 어드레싱 및 채널 액세스 제어를 정의한다. 1 is a diagram showing a Miracast protocol structure. The bottom of FIG. 1 defines the physical signaling, addressing, and channel access control used for communications with the physical layer and the MAC layer.
예컨대, 물리 계층 및 MAC 계층은 미라캐스트(Miracast)에 의해 제공되는 Wi-Fi 표준(IEEE 802.11-2007 및 802.11n-2009x)에 의해 정의될 수 있다. 이 외에도 물리 계층 및 MAC 계층은 Wireless HD, 무선 홈 디지털 인터페이스(WHDI), WiGig 및 무선 USB 중 임의의 것에 의해 정의될 수도 있다.For example, the physical and MAC layers may be defined by the Wi-Fi standards (IEEE 802.11-2007 and 802.11n-2009x) provided by Miracast. In addition, the physical layer and MAC layer may be defined by any of Wireless HD, Wireless Home Digital Interface (WHDI), WiGig, and Wireless USB.
IP 계층, UDP 계층, RTP 계층, TCP 계층 및 RTSP 계층은 미라캐스트(Miracast)에 사용되는 패킷 구조들 및 캡슐화들을 정의하며, 인터넷 엔지니어링 태스크 포스(IETF: Internet Engineering Task Force)에 의해 유지되는 표준들에 따라 정의될 수 있다.The IP layer, the UDP layer, the RTP layer, the TCP layer, and the RTSP layer define packet structures and encapsulations used for mirroring, and are used in the standards maintained by the Internet Engineering Task Force (IETF) . ≪ / RTI >
RTSP는 소스 디바이스인 스마트 기기와 싱크 디바이스인 보조 기기에 의해 성능들의 협상, 세션 설정 그리고 세션 유지 및 관리를 위해 사용될 수 있다. 소스 디바이스인 스마트 기기와 싱크 디바이스인 보조 기기는 사용자 입력 백 채널(UIBC)을 통해 연결될 수 있다.RTSP can be used for performance negotiation, session establishment, session maintenance and management by the source device, the smart device and the sink device, ancillary devices. The smart device as the source device and the auxiliary device as the sink device can be connected through the user input back channel (UIBC).
비디오 코덱(Video Codec)은 미라캐스트(Miracast)에 의해 사용될 수 있는 비디오 데이터 코딩 기술들을 정의할 수 있다. 오디오 코덱(Audio Codec)은 미라캐스트(Miracast)에 의해 사용될 수 있는 오디오 데이터 코딩 기술들을 정의할 수 있다. Video codecs may define video data coding techniques that may be used by Miracast. Audio codecs may define audio data coding techniques that can be used by Miracast.
PES(Packetized Elementary Stream) 및 MPEG2 전송 스트림(MPEG2-TS)은 코딩된 오디오 및 비디오 데이터가 어떻게 패킷화되어 전송되는지를 정의할 수 있다. HDCP(High-bandwidth Digital Content Protection)는 오디오 또는 비디오 데이터의 무단 복제에 대비한 보호를 제공할 수 있다.PES (Packetized Elementary Stream) and MPEG2 transport stream (MPEG2-TS) can define how coded audio and video data are packetized and transmitted. High-bandwidth Digital Content Protection (HDCP) can provide protection against unauthorized copying of audio or video data.
도 2 는 스마트 기기의 역방향 제어를 위한 앱(App) 구조를 도시한 도면이다. 좌측은 보조 기기(200)에 설치되어 실행되는 싱크앱(Sink App)이고, 우측은 스마트 기기(100)에 설치되어 실행되는 스마트 기기의 역방향 제어를 위한 제어앱(Control App)이다.2 is a diagram showing an application structure for controlling the backward direction of a smart device. The left side is a sink app installed and executed in the
보조 기기의 싱크앱은 WiFi-direct 기술을 통하여 P2P로 연결되어, 스마트 기기의 화면과 소리를 보조 기기에 전달할 수 있다. 영상의 해상도는 최대 H.264 HD(1080p)까지 지원하며 오디오는 기본으로 스테레오 16bit 48kHz(CD 음질) 최대 5.1채널(LPCM, AAC, AC3)까지 지원할 수 있다. Sync apps of ancillary devices can be connected to P2P through WiFi-direct technology, so that the screen and sound of the smart device can be transmitted to ancillary devices. The resolution of the image is up to H.264 HD (1080p), and audio can support up to 5.1 channels (LPCM, AAC, AC3) with stereo 16bit 48kHz (CD sound quality)
스마트 기기의 제어앱은 미라캐스트 컨텐츠(Miracast Contents) 수신 및 역방향 제어를 수행하기 위한 소프트웨어 인터페이스로, 세션(Session) 연결상태, 기타 제어 기능을 수행하고, 에러 검출 및 제어(Error Detection/Control) 작업을 수행한다. The control application of the smart device is a software interface for receiving and controlling mirror contents (Miracast Contents) and performs session connection state and other control functions and performs error detection and control (Error Detection / Control) .
도 3 은 본 발명에 따른 스마트 기기의 역방향 제어를 위한 자동 연결 방법의 일 실시예의 구성을 도시한 흐름도이다. 도 3 에 도시한 바와 같이, 이 실시예에 따른 스마트 기기의 역방향 제어를 위한 자동 연결 방법은 제어앱 실행 단계(310)와, 페어링 단계(320)와, 연결 관련 정보 전송 단계(330)와, 백 채널 연결 단계(340)와, 조작정보 전송 단계(350)를 포함하여 이루어진다.3 is a flowchart illustrating a configuration of an embodiment of an automatic connection method for a reverse control of a smart device according to the present invention. 3, the automatic connection method for the reverse control of the smart device according to this embodiment includes a control
먼저, 제어앱 실행 단계(310)에서 스마트 기기에서 제어앱이 실행된다. 예컨대, 상기 제어앱이 스마트 기기의 화면을 보조 기기의 화면에 미러링하는 화면 미러링(Screen Mirroring) 앱일 수 있다.First, in the control
도 4 는 스마트 기기에서 실행되는 화면 미러링 앱의 시작 화면을 예시한 도면이다. 스마트 기기에 설치되는 화면 미러링 앱을 실행하면, 연결 버튼을 포함하는 시작 화면에 스마트 기기의 화면에 표시된다. FIG. 4 is a diagram illustrating a start screen of a screen mirroring application executed in a smart device. FIG. When the screen mirroring app installed on the smart device is launched, it is displayed on the screen of the smart device on the start screen including the connection button.
화면 미러링 앱 하단의 홈으로 버튼은 홈 앱으로 이동하는 버튼, 연결상태 버튼은 페어링된 보조 기기의 타입, 주소 등과 같은 연결 상태 정보를 표시하기 위한 버튼, 매뉴얼 버튼은 앱 사용 설명서 보기 버튼, 앱종료 버튼은 앱을 종료하기 위한 버튼이다.The home button at the bottom of the screen mirroring app is a button to go to the home app, the connection status button is a button for displaying connection status information such as the type and address of the paired auxiliary device, Button is a button to exit the app.
연결 버튼은 스마트 기기가 보조 기기와 페어링 되면, 연결 끊기 버튼으로 전환된다. 연결 버튼을 클릭하면, 도 5 도시한 바와 같은 스마트 기기를 다른 보조 기기의 블루투스에서 검색될 수 있도록 허용하는 블루투스 승인 요청 화면이 표시된다. 도 5 는 스마트 기기에서 실행되는 화면 미러링 앱의 블루투스 승인 요청 화면을 예시한 도면이다.The connection button switches to the Disconnect button when the smart device is paired with the auxiliary device. When the connection button is clicked, a Bluetooth approval request screen is displayed allowing the smart device as shown in FIG. 5 to be searched in the Bluetooth of the other auxiliary devices. 5 is a diagram illustrating a Bluetooth approval request screen of a screen mirroring app executed in a smart device.
상기 제어앱 실행 단계(310)에 의해 스마트 기기에서 제어앱이 실행되면, 페어링 단계(320)에서 스마트 기기와 보조 기기간 페어링(Pairing)을 수행한다. 예컨대, 상기 페어링 단계(320)에서 스마트 기기와 보조 기기간에 블루투스 페어링(Bluetooth Pairing)을 수행하도록 구현될 수 있다.When the control application is executed in the smart device by the control
보조 기기의 전원을 켜면, 보조 기기에 설치되는 싱크앱이 자동 실행되어 도 6 에 도시한 바와 같이 블루투스 기기 자동 검색을 시작한다. 도 6 은 보조 기기에서 실행되는 싱크앱의 블루투스 자동 검색 화면을 예시한 도면이다.When the auxiliary device is turned on, the sync app installed in the auxiliary device is automatically executed to start automatic searching of the Bluetooth device as shown in FIG. 6 is a diagram illustrating an example of a Bluetooth automatic search screen of a sync app executed in an auxiliary device.
보조 기기에서 실행되는 싱크앱의 블루투스 자동 검색 화면상에서 검색된 스마트 기기를 선택한 후 연결 버튼을 클릭하면, 도 7 에 도시한 바와 같이 스마트 기기 등록과 함께 페어링을 시도한다. 도 7 은 보조 기기에서 실행되는 싱크앱의 블루투스 페어링 시도 화면을 예시한 도면이다.When the smart device searched on the Bluetooth automatic search screen of the sync app executed in the auxiliary device is selected and the connection button is clicked, pairing with the smart device registration is attempted as shown in Fig. 7 is a diagram illustrating a Bluetooth pairing attempt screen of a sync app executed in an auxiliary device.
상기 페어링 단계(320)에 의해 스마트 기기와 보조 기기간 페어링이 완료되면, 연결 관련 정보 전송 단계(330)에서 보조 기기가 연결 관련 정보를 페어링된 스마트 기기로 전송한다.When the pairing between the smart device and the auxiliary device is completed by the
이 때, 상기 연결 관련 정보 전송 단계(330)에서 보조 기기가 블루투스 SPP(Serial Port Profile)를 통해 스마트 기기로 연결 관련 정보를 전송하도록 구현될 수 있다. 블루투스 SPP(Serial Port Profile)는 블루투스를 시리얼 포트처럼 사용할 수 있도록 한다. At this time, in the connection related
한편, 상기 연결 관련 정보는 보조 기기 기본정보와, 연결에 대한 제어정보를 포함할 수 있다. 상기 보조 기기 기본정보는 보조 기기의 맥 주소(MAC Address) 정보, 보조기기의 식별(Identification) 정보, 보조 기기의 해상도 정보, 가로 모드 또는 세로 모드중 하나를 나타내는 화면 모드 정보, 터치 인식 해상도(터치 정밀도) 정보를 포함할 수 있고, 연결에 대한 제어정보는 화면 미러링(Screen Mirroring) 지시일 수 있다.The connection-related information may include auxiliary device basic information and control information for connection. The auxiliary device basic information includes MAC address information of the auxiliary device, identification information of the auxiliary device, resolution information of the auxiliary device, screen mode information indicating one of the landscape mode and the portrait mode, Precision) information, and the control information for the connection may be a screen mirroring instruction.
상기 연결 관련 정보 전송 단계(330)에 의해 전송된 연결 관련 정보를 수신한 스마트 기기가 백 채널 연결 단계(340)에서 연결 관련 정보를 이용해 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 연결한다.The smart device having received the connection related information transmitted in the connection related
보조 기기로부터 연결 관련 정보가 수신되면, 도 8 에 도시한 바와 같이 스마트 기기에서 실행되는 화면 미러링 앱이 접근성 설정 화면을 표시한다. 도 8 은 스마트 기기에서 실행되는 화면 미러링 앱의 접근성 설정 화면을 예시한 도면이다. When the connection-related information is received from the auxiliary device, the screen mirroring app executed in the smart device displays the accessibility setting screen as shown in Fig. 8 is a diagram illustrating an accessibility setting screen of a screen mirroring app executed in a smart device.
스마트 기기에서 실행되는 화면 미러링 앱의 접근성 설정 화면상에서 오토 미러링 기능을 활성화하면, 화면 미러링 앱이 연결 관련 정보를 이용해 도 9 에 도시한 바와 같은 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel) 연결을 시도한다. 도 9 는 스마트 기기에서 실행되는 화면 미러링 앱의 사용자 입력 백 채널(UIBC) 연결 시도 화면을 예시한 도면이다. Mirroring of the screen running on the smart device When the auto-mirroring function is activated on the accessibility setting screen of the app, the screen mirroring application can use the connection-related information to create a Miracast user input back channel (UIBC: User Input Back Channel). 9 is a diagram illustrating a user input back channel (UIBC) connection attempt screen of a screen mirroring app executed in a smart device.
미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel) 연결이 성공하면, 스마트 기기에서 실행되는 화면 미러링 앱에 의해 보조 기기 화면에 스마트 기기 화면이 미러링된다. 도 10 은 스마트 기기에서 실행되는 화면 미러링 앱에 의해 보조 기기 화면에 스마트 기기 화면이 미러링된 것을 예시한 도면이다. If the Miracast user input back channel (UIBC) connection is successful, the smart device screen is mirrored on the secondary device screen by the screen mirroring app running on the smart device. 10 is a diagram illustrating that a smart device screen is mirrored on an auxiliary device screen by a screen mirroring app executed in the smart device.
상기 백 채널 연결 단계(340)에 의해 사용자 입력 백 채널(UIBC)이 연결되면, 조작정보 전송 단계(350)에서 보조 기기가 사용자 입력 백 채널(UIBC)을 통해 조작정보를 스마트 기기로 전송한다. When the user input back channel (UIBC) is connected by the back
예컨대, 상기 조작정보가 터치 정보 및 터치에 대응하는 화면 제어 정보를 포함할 수 있다. 상기 터치 정보는 원 클릭, 더블 클릭, 드래그&드롭 등의 터치 행태를 나타내는 정보이다. 상기 터치에 대응하는 화면 제어 정보는 터치 행태에 따라 실행되어야 할 제어 명령 타입을 나타내는 정보이다.For example, the operation information may include touch information and screen control information corresponding to the touch. The touch information is information indicating a touch behavior such as one-click, double-click, drag and drop, and the like. The screen control information corresponding to the touch is information indicating a control command type to be executed in accordance with the touch behavior.
스마트 기기와 보조 기기간에 사용자 입력 백 채널(UIBC)이 연결되어 보조 기기 화면에 스마트 기기 화면이 미러링 되면, 이후 보조 기기를 통해 스마트 기기 조작을 수행할 수 있다.When the user input back channel (UIBC) is connected between the smart device and the auxiliary device and the screen of the smart device is mirrored on the auxiliary device screen, the smart device operation can be performed through the auxiliary device.
사용자가 보조 기기의 터치 패널상에서 원 클릭, 더블 클릭, 드래그&드롭 등의 터치 행위를 하면, 터치 정보 및 터치에 대응하는 화면 제어 정보를 포함하는 조작정보가 사용자 입력 백 채널(UIBC)을 통해 스마트 기기로 전송되고, 이를 수신한 스마트 기기는 조작정보를 번역(Translation)하여 스마트 기기에 맞는 해상도에 대응하는 조작정보로 변환한 후, 이 변환된 조작정보에 따라 스마트 기기 화면을 제어한다. When the user performs a touch action such as one-click, double-click, drag and drop on the touch panel of the auxiliary device, the operation information including the touch information and the screen control information corresponding to the touch is transmitted through the user input back channel The smart device transmits the operation information to the smart device, converts the operation information into operation information corresponding to the resolution suitable for the smart device, and controls the smart device screen according to the converted operation information.
이와 같이 구현함에 의해 본 발명은 TV, 모니터 등의 보조 기기에서 조작정보를 무선 인터페이스인 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 통해 스마트폰 등의 스마트 기기로 전송할 때, 스마트 기기 역방향 제어를 위한 사용자 입력 백 채널(UIBC) 연결을 블루투스 통신방식을 이용하여 자동으로 구현함으로써 사용자가 복잡한 설정 조작을 할 필요가 없으므로, 사용자 편의성을 향상시킬 수 있다.According to the present invention, the operation information is transmitted from an auxiliary device such as a TV or a monitor to a smart device such as a smart phone through a user input back channel (UIBC) of a Miracast which is a wireless interface , A user input back channel (UIBC) connection for smart device backward control is automatically implemented using a Bluetooth communication method, thereby making it unnecessary for the user to perform a complicated setting operation, thereby improving user convenience.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. .
본 발명은 스마트 기기와 보조 기기간 연결 제어 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.INDUSTRIAL APPLICABILITY The present invention is industrially applicable in the fields of connection control technology between a smart device and an ancillary device and its application technology field.
100 : 스마트 기기
200 : 보조 기기100: Smart devices
200: Ancillary equipment
Claims (8)
상기 제어앱 실행 단계에 의해 스마트 기기에서 제어앱이 실행되면, 스마트 기기와 보조 기기간 페어링(Pairing)을 수행하는 페어링 단계와;
상기 페어링 단계에 의해 스마트 기기와 보조 기기간 페어링이 완료되면, 보조 기기가 연결 관련 정보를 페어링된 스마트 기기로 전송하는 연결 관련 정보 전송 단계와;
상기 연결 관련 정보 전송 단계에 의해 전송된 연결 관련 정보를 수신한 스마트 기기가 연결 관련 정보를 이용해 미라캐스트(Miracast)의 사용자 입력 백 채널(UIBC : User Input Back Channel)을 연결하는 백 채널 연결 단계와;
상기 백 채널 연결 단계에 의해 사용자 입력 백 채널(UIBC)이 연결되면, 보조 기기가 사용자 입력 백 채널(UIBC)을 통해 조작정보를 스마트 기기로 전송하는 조작정보 전송 단계를;
포함하는 스마트 기기의 역방향 제어를 위한 자동 연결 방법.Executing a control application in which the control application is executed in the smart device;
A pairing step of performing a pairing between the smart device and the auxiliary device when the control application is executed in the smart device by the control application execution step;
A connection-related information transmission step of, when the pairing between the smart device and the auxiliary device is completed by the pairing step, the auxiliary device transmitting the connection-related information to the paired smart device;
A back channel connection step of connecting the user input back channel (UIBC) of the mirror cast using the connection related information to the smart device that has received the connection related information transmitted in the connection related information transmission step ;
And transmitting operation information to the smart device through the user input back channel (UIBC) when the user input back channel (UIBC) is connected by the back channel connection step;
Automatic connection method for reverse control of containing smart devices.
상기 페어링 단계에서:
스마트 기기와 보조 기기간에 블루투스 페어링(Bluetooth Pairing)을 수행하는 스마트 기기의 역방향 제어를 위한 자동 연결 방법.The method according to claim 1,
In the pairing step:
An automatic connection method for the reverse control of a smart device performing Bluetooth pairing between a smart device and an assistant device.
상기 연결 관련 정보 전송 단계에서:
보조 기기가 블루투스 SPP(Serial Port Profile)를 통해 스마트 기기로 연결 관련 정보를 전송하는 스마트 기기의 역방향 제어를 위한 자동 연결 방법.The method according to claim 1,
In the connection-related information transmission step:
An automatic connection method for the reverse control of a smart device that transmits information related to the connection to the smart device via the Bluetooth SPP (Serial Port Profile).
상기 연결 관련 정보가:
보조 기기 기본정보와, 연결에 대한 제어정보를 포함하는 스마트 기기의 역방향 제어를 위한 자동 연결 방법.The method according to claim 1,
The connection-related information is:
An automatic connection method for reverse control of smart devices including auxiliary device basic information and control information for connection.
상기 보조 기기 기본정보가:
보조 기기의 맥 주소(MAC Address) 정보, 식별(Identification) 정보, 해상도 정보, 화면 모드 정보, 터치 인식 해상도 정보를 포함하는 스마트 기기의 역방향 제어를 위한 자동 연결 방법.5. The method of claim 4,
The auxiliary device basic information is:
An automatic connection method for a backward control of a smart device including MAC address information, identification information, resolution information, screen mode information, and touch recognition resolution information of an auxiliary device.
상기 연결에 대한 제어정보가:
화면 미러링(Screen Mirroring) 지시인 스마트 기기의 역방향 제어를 위한 자동 연결 방법.5. The method of claim 4,
Wherein the control information for the connection is:
Screen Mirroring Instructions Automatic connection method for reverse control of smart device.
상기 조작정보가:
터치 정보 및 터치에 대응하는 화면 제어 정보를 포함하는 스마트 기기의 역방향 제어를 위한 자동 연결 방법.The method according to claim 1,
Wherein the operation information is:
And an automatic connection method for the backward control of the smart device including the touch information and the screen control information corresponding to the touch.
상기 제어앱이:
화면 미러링 앱인 스마트 기기의 역방향 제어를 위한 자동 연결 방법.The method according to claim 1,
The control application:
An automatic connection method for reverse control of smart devices, a screen mirroring app.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170002045 | 2017-01-05 | ||
| KR20170002045 | 2017-01-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180080980A true KR20180080980A (en) | 2018-07-13 |
Family
ID=62913810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170144111A KR20180080980A (en) | 2017-01-05 | 2017-10-31 | Auto connection method for backward control of a smart device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180080980A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399112A (en) * | 2019-08-28 | 2019-11-01 | 北京小米移动软件有限公司 | A kind of throwing screen method and device |
| WO2023090493A1 (en) * | 2021-11-19 | 2023-05-25 | 엘지전자 주식회사 | Display device and operation method thereof |
| WO2024019190A1 (en) * | 2022-07-20 | 2024-01-25 | 엘지전자 주식회사 | Display device and operation method thereof |
-
2017
- 2017-10-31 KR KR1020170144111A patent/KR20180080980A/en unknown
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399112A (en) * | 2019-08-28 | 2019-11-01 | 北京小米移动软件有限公司 | A kind of throwing screen method and device |
| EP3787325A1 (en) * | 2019-08-28 | 2021-03-03 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus for screen mirroring |
| US11023197B2 (en) | 2019-08-28 | 2021-06-01 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus for mirroring screen |
| WO2023090493A1 (en) * | 2021-11-19 | 2023-05-25 | 엘지전자 주식회사 | Display device and operation method thereof |
| WO2024019190A1 (en) * | 2022-07-20 | 2024-01-25 | 엘지전자 주식회사 | Display device and operation method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI536855B (en) | Content sharing method and device | |
| US9652192B2 (en) | Connectionless transport for user input control for wireless display devices | |
| KR101801127B1 (en) | Streaming control for real-time transport protocol | |
| JP6271568B2 (en) | Establishing a wireless display session between a computing device and a vehicle head unit | |
| EP3029650B1 (en) | Electronic device, audio device, and methods of controlling electronic device and audio device power supply | |
| US10021180B2 (en) | Universal environment extender | |
| US10469893B2 (en) | Integrated cast and sling system and method of its operation in an interoperable multiple display device environment | |
| KR102284721B1 (en) | Method and apparatus for displaying application data in wireless communication system | |
| US10932210B2 (en) | Content output device and control method thereof | |
| US11435973B2 (en) | Communication apparatus, communication method, and storage medium | |
| EP3253066B1 (en) | Information processing device | |
| KR20150028383A (en) | Method for controlling a display apparatus, sink apparatus thereof, mirroring system thereof | |
| US9826572B2 (en) | Wireless enhanced projector | |
| US10104153B2 (en) | Method and device for processing information | |
| KR20180080980A (en) | Auto connection method for backward control of a smart device | |
| JP2013141181A (en) | Communication system using mobile terminal and television apparatus, mobile terminal, television apparatus, method for communication of mobile terminal, and operation program of mobile terminal | |
| JP2013141179A (en) | Communication system using mobile terminal and television apparatus, mobile terminal, television apparatus, method for transmitting address of mobile terminal, and information processing program | |
| KR20150093442A (en) | User terminal and control method thereof | |
| JP5296229B2 (en) | Communication system by portable terminal and television apparatus, portable terminal, television apparatus, communication method of portable terminal, operation program of portable terminal | |
| JP5739015B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
| TW201427463A (en) | Broadcasting system and method for multimedia bitstream | |
| WO2015169005A1 (en) | Method, system and main sharing end for sharing screen and operation control | |
| JP5624643B2 (en) | Electronic device, electronic device control method, electronic device control program, electronic device communication system | |
| JP2016143954A (en) | Radio communication device and radio communication method | |
| TW202040977A (en) | Wireless camera and method of video streaming |