WO2020166736A1 - 모바일 디바이스 및 그 제어 방법 - Google Patents

모바일 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2020166736A1
WO2020166736A1 PCT/KR2019/001766 KR2019001766W WO2020166736A1 WO 2020166736 A1 WO2020166736 A1 WO 2020166736A1 KR 2019001766 W KR2019001766 W KR 2019001766W WO 2020166736 A1 WO2020166736 A1 WO 2020166736A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
user
active mode
depth camera
vehicle
Prior art date
Application number
PCT/KR2019/001766
Other languages
English (en)
French (fr)
Inventor
김호영
안예한
진동철
윤동한
이숙영
천지영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/001766 priority Critical patent/WO2020166736A1/ko
Publication of WO2020166736A1 publication Critical patent/WO2020166736A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a mobile device and a control method thereof, and more particularly, in a mobile device used while driving a vehicle, changing at least one of a depth camera or a touch screen to an active mode according to the state of the mobile device or the state of the vehicle
  • the present invention relates to a mobile device capable of improving user convenience and a control method thereof.
  • the conventional speech recognition interface has a disadvantage in that the speech recognition rate is lowered when the degree of ambient noise is large, such as when a window is opened while driving or when music is played on another device.
  • An object of the present invention is to provide a mobile device for controlling to change a depth camera or a voice recognition unit to an active mode according to a state of a mobile device or a vehicle, and a control method thereof.
  • Another embodiment of the present invention is to provide a mobile device that controls to change a voice recognition unit to an active mode when a specific hand gesture is detected while driving a vehicle, and a control method thereof.
  • Another embodiment of the present invention is to provide a mobile device for controlling to change a depth camera to an active mode when a voice recognition rate is low due to a high external noise level, and a control method thereof.
  • Another embodiment of the present invention is to provide a mobile device that controls to change a depth camera to an active mode when detailed control of the mobile device is required, and a control method thereof.
  • a mobile device includes: a wireless communication unit that communicates with an external device or a server; A depth camera that acquires at least one of an image of at least one object or a depth image; A microphone for receiving an external audio signal; A voice recognition unit for recognizing an external audio signal received through the microphone; A speaker outputting an audio signal; A touch screen displaying at least one content; A memory for storing data defining an interface mode to be activated according to a state of the mobile device or vehicle; And a control unit for controlling at least one of the wireless communication unit, the depth camera, the microphone, the voice recognition unit, the speaker, and the touch screen, wherein the control unit is based on data stored in the memory, and the detected According to the state of the mobile device or vehicle, at least one of the depth camera, the touch screen, and the voice recognition unit is changed to an active mode.
  • a method of controlling a mobile device includes: obtaining at least one of an image of at least one object or a depth image of at least one object by a depth camera; Detecting a state of the mobile device or vehicle; According to the driving state of the mobile device or the vehicle, at least one of the depth camera, the touch screen, and the voice recognition unit is changed to an active mode.
  • the present invention provides an interface for safe and convenient control of the mobile device by changing the depth camera or voice recognition unit to the active mode according to the state of the mobile device or vehicle. Can be improved.
  • the voice recognition unit when a specific hand gesture is detected while the vehicle is driving, the voice recognition unit is changed to the active mode, so that it is not necessary to call a keyword every time to execute a voice command. Can be improved.
  • a voice recognition rate when a voice recognition rate is low due to a high external noise level, user convenience may be improved by changing the depth camera to an active mode.
  • FIG. 1A is a block diagram illustrating a mobile device related to the present invention.
  • FIGS. 1B and 1C are conceptual diagrams as viewed from different directions of an example of a mobile device related to the present invention.
  • FIG. 2 is a schematic diagram illustrating a mobile device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a method of controlling a mobile device according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating modes of a voice recognition unit and a depth camera according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a table for describing a user interface provided according to a state of a mobile device or a vehicle according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of controlling a mobile device for changing a voice recognition unit to an active mode when a user's specific hand gesture is detected, according to an embodiment of the present invention.
  • FIG. 7 shows changes in graphic data implemented according to the flow chart of FIG. 6.
  • FIG. 8 is a flowchart illustrating a method of controlling a mobile device for changing a depth camera to an active mode when it is detected that a user is staring at the mobile device while a vehicle is stopped according to an embodiment of the present invention.
  • FIG. 9 illustrates changes in graphic data implemented according to the flow chart of FIG. 8.
  • FIG. 10 is a flowchart illustrating a method of controlling a mobile device for changing a voice recognition unit to an active mode when a sound pressure higher than a specific level is detected for a predetermined time or longer, according to an embodiment of the present invention.
  • FIG. 11 shows changes in graphic data implemented according to the flow chart of FIG. 10.
  • FIG. 12 is a flowchart illustrating a method of controlling a mobile device for changing a depth camera to an active mode when a specific keyword or a specific hand gesture is detected according to an embodiment of the present invention.
  • Mobile devices described herein include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, and a slate PC.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • slate PC slate PC
  • Tablet PC tablet PC
  • ultrabook ultrabook
  • wearable device wearable device, for example, smartwatch, glass-type terminal (smart glass), HMD (head mounted display)
  • HMD head mounted display
  • FIG. 1A is a block diagram illustrating a mobile device related to the present invention
  • FIGS. 1B and 1C are conceptual diagrams of an example of a mobile device related to the present invention viewed from different directions.
  • the mobile device 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190. ), etc.
  • the components shown in FIG. 1A are not essential in implementing the mobile device, and thus the mobile device described herein may have more or fewer components than the components listed above.
  • the wireless communication unit 110 may be configured between the mobile device 100 and the wireless communication system, between the mobile device 100 and another mobile device 100, or between the mobile device 100 and an external server. It may include one or more modules that enable wireless communication between. In addition, the wireless communication unit 110 may include one or more modules that connect the mobile device 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115. .
  • the input unit 120 includes a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, or an audio input unit, and a user input unit 123 for receiving information from a user, for example, , A touch key, a mechanical key, etc.).
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile device, information on surrounding environments surrounding the mobile device, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • G-sensor for example, camera (see 121)), microphone (microphone, see 122), battery gauge, environmental sensor (for example, barometer, hygrometer, thermometer, radiation detection sensor, It may include at least one of a heat sensor, a gas sensor, etc.), and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the mobile device disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to visual, auditory or tactile sense, and includes at least one of the display unit 151, the sound output unit 152, the hap tip module 153, and the light output unit 154 can do.
  • the display unit 151 may implement a touch screen by forming a layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 that provides an input interface between the mobile device 100 and a user, and may provide an output interface between the mobile device 100 and a user.
  • the interface unit 160 serves as a passage between various types of external devices connected to the mobile device 100.
  • the interface unit 160 connects a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a device equipped with an identification module. It may include at least one of a port, an audio input/output (I/O) port, an input/output (video I/O) port, and an earphone port.
  • the mobile device 100 may perform appropriate control related to the connected external device in response to the connection of the external device to the interface unit 160.
  • the memory 170 stores data supporting various functions of the mobile device 100.
  • the memory 170 may store a plurality of application programs (application programs or applications) driven by the mobile device 100, data for operation of the mobile device 100, and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the mobile device 100 from the time of shipment for basic functions of the mobile device 100 (eg, incoming calls, outgoing functions, message receiving and outgoing functions). Meanwhile, the application program may be stored in the memory 170, installed on the mobile device 100, and driven by the controller 180 to perform an operation (or function) of the mobile device.
  • the controller 180 In addition to the operation related to the application program, the controller 180 generally controls the overall operation of the mobile device 100.
  • the controller 180 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • the controller 180 may control at least some of the components examined together with FIG. 1A. Furthermore, in order to drive the application program, the controller 180 may operate by combining at least two or more of the components included in the mobile device 100 with each other.
  • the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each of the components included in the mobile device 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of a mobile device according to various embodiments described below.
  • the operation, control, or control method of the mobile device may be implemented on the mobile device by driving at least one application program stored in the memory 170.
  • the disclosed mobile device 100 includes a bar-shaped terminal body.
  • the present invention is not limited thereto, and can be applied to various structures such as a watch type, a clip type, a glass type, or a folder type in which two or more bodies are relatively movably coupled, a flip type, a slide type, a swing type, and a swivel type. .
  • a specific type of mobile device the description of a specific type of mobile device may apply generally to other types of mobile devices.
  • the terminal body may be understood as a concept referring to the mobile device 100 as at least one aggregate.
  • the mobile device 100 includes a case (eg, a frame, a housing, a cover, etc.) forming an exterior. As shown, the mobile device 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in an inner space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • a case eg, a frame, a housing, a cover, etc.
  • the mobile device 100 may include a front case 101 and a rear case 102.
  • Various electronic components are disposed in an inner space formed by the combination of the front case 101 and the rear case 102.
  • At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • a display unit 151 is disposed on the front of the terminal body to output information. As illustrated, the window 151a of the display unit 151 may be mounted on the front case 101 to form the front surface of the terminal body together with the front case 101.
  • electronic components may be mounted on the rear case 102 as well.
  • Electronic components that can be mounted on the rear case 102 include a removable battery, an identification module, and a memory card.
  • a rear cover 103 for covering the mounted electronic component may be detachably coupled to the rear case 102. Accordingly, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
  • the rear cover 103 when the rear cover 103 is coupled to the rear case 102, a part of the side surface of the rear case 102 may be exposed. In some cases, when the rear case 102 is combined, the rear case 102 may be completely covered by the rear cover 103. Meanwhile, the rear cover 103 may be provided with an opening for exposing the camera 121b or the sound output unit 152b to the outside.
  • These cases 101, 102, 103 may be formed by injection of synthetic resin or may be formed of a metal such as stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
  • STS stainless steel
  • Al aluminum
  • Ti titanium
  • the mobile device 100 may be configured such that one case provides the internal space.
  • a unibody mobile device 100 in which synthetic resin or metal is connected from the side to the rear may be implemented.
  • the mobile device 100 may include a waterproof unit (not shown) that prevents water from penetrating into the terminal body.
  • the waterproof unit is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102, or between the rear case 102 and the rear cover 103, and the combination thereof It may include a waterproof member for sealing the inner space.
  • the mobile device 100 includes a display unit 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illuminance sensor 142, a light output unit 154, and first and second sound output units.
  • Cameras 121a and 121b, first and side buttons 123a and 123b, microphone 122, interface unit 160, and the like may be provided.
  • the mobile device 100 in which the sound output unit 152b and the second camera 121b are disposed will be described as an example.
  • these configurations are not limited to this arrangement. These configurations may be excluded or replaced as necessary, or may be disposed on different sides.
  • the home button 123a may not be provided on the front surface of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body rather than the rear surface of the terminal body.
  • the display unit 151 displays (outputs) information processed by the mobile device 100.
  • the display unit 151 may display execution screen information of an application program driven by the mobile device 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information. .
  • the display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. display), a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • two or more display units 151 may exist depending on the implementation type of the mobile device 100.
  • the mobile device 100 may have a plurality of display units spaced apart or integrally disposed on one surface, or may be disposed on different surfaces.
  • the display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method. Using this, when a touch is made to the display unit 151, the touch sensor detects the touch, and the controller 180 may be configured to generate a control command corresponding to the touch based on this.
  • Content input by the touch method may be letters or numbers, or menu items that can be indicated or designated in various modes.
  • the touch sensor is configured in the form of a film having a touch pattern and is disposed between the window 151a and a display (not shown) on the rear surface of the window 151a, or a metal wire patterned directly on the rear surface of the window 151a. May be.
  • the touch sensor may be integrally formed with the display.
  • the touch sensor may be disposed on a substrate of the display or may be provided inside the display.
  • the display unit 151 may form a touch screen together with a touch sensor, and in this case, the touch screen may function as a user input unit 123 (see FIG. 1A). In some cases, the touch screen may replace at least some functions of the first manipulation unit 123a.
  • the first sound output unit 152a may be implemented as a receiver that transmits a call sound to the user's ear, and the second sound output unit 152b is a loud speaker that outputs various alarm sounds or multimedia playback sounds. ) Can be implemented.
  • a sound hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151.
  • the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between structures (eg, a gap between the window 151a and the front case 101).
  • the externally formed hole for sound output is not visible or hidden, so that the appearance of the mobile device 100 may be more simple.
  • the light output unit 154 is configured to output light for notifying when an event occurs. Examples of the event include message reception, call signal reception, missed call, alarm, schedule notification, e-mail reception, and information reception through an application.
  • the controller 180 may control the light output unit 154 to terminate the light output.
  • the first camera 121a processes an image frame of a still image or moving image obtained by an image sensor in a photographing mode or a video call mode.
  • the processed image frame may be displayed on the display unit 151 and may be stored in the memory 170.
  • the first and side buttons 123a and 123b are an example of the user input unit 123 operated to receive a command for controlling the operation of the mobile device 100 and may be collectively referred to as a manipulating portion.
  • the first and side buttons 123a and 123b may be any method in a tactile manner, such as a touch, a push, or a scroll, in which the user operates while receiving a tactile feeling.
  • the first and side buttons 123a and 123b may be operated in such a manner as to be operated without a user's tactile feeling through proximity touch, hovering touch, or the like.
  • the home button 123a is illustrated as a touch key, but the present invention is not limited thereto.
  • the home button 123a may be a push key or may be configured as a combination of a touch key and a push key.
  • Contents input by the first and side buttons 123a and 123b may be variously set.
  • the home button 123a receives commands such as menu, home key, cancel, and search
  • the side button 123b adjusts the volume of sound output from the first or second sound output units 152a and 152b.
  • a command such as switching to the touch recognition mode of the display unit 151 may be input.
  • a rear input unit (not shown) may be provided on the rear surface of the terminal body.
  • This rear input unit is manipulated to receive a command for controlling the operation of the mobile device 100, and input contents may be variously set. For example, commands such as power on/off, start, end, scroll, etc., control the volume of sound output from the first and second sound output units 152a and 152b, and the touch recognition mode of the display unit 151 You can receive commands such as conversion of.
  • the rear input unit may be implemented in a form capable of inputting by a touch input, a push input, or a combination thereof.
  • the rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body.
  • the rear input unit may be disposed on the rear upper end of the terminal body so that the user can easily manipulate it using the index finger.
  • the present invention is not necessarily limited thereto, and the position of the rear input unit may be changed.
  • the display unit 151 can be configured as a larger screen.
  • the mobile device 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use fingerprint information detected through the fingerprint recognition sensor as an authentication means.
  • the fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
  • the microphone 122 is configured to receive a user's voice and other sounds.
  • the microphone 122 may be provided in a plurality of locations and configured to receive stereo sound.
  • the interface unit 160 becomes a path through which the mobile device 100 can be connected to an external device.
  • the interface unit 160 is a connection terminal for connection with other devices (eg, earphones, external speakers), a port for short-range communication (eg, an infrared port (IrDA Port), a Bluetooth port (Bluetooth Port), a wireless LAN port, etc.], or at least one of a power supply terminal for supplying power to the mobile device 100.
  • the interface unit 160 may be implemented in the form of a socket for accommodating an external card such as a subscriber identification module (SIM) or a user identity module (UIM), or a memory card for storing information.
  • SIM subscriber identification module
  • UIM user identity module
  • a second camera 121b may be disposed on the rear surface of the terminal body.
  • the second camera 121b has a photographing direction substantially opposite to that of the first camera 121a.
  • the second camera 121b may include a plurality of lenses arranged along at least one line.
  • the plurality of lenses may be arranged in a matrix format.
  • Such a camera may be referred to as an'array camera'.
  • an image may be photographed in various ways using a plurality of lenses, and an image of better quality may be obtained.
  • the flash 124 may be disposed adjacent to the second camera 121b.
  • the flash 124 illuminates light toward the subject when photographing the subject with the second camera 121b.
  • a second sound output unit 152b may be additionally disposed on the terminal body.
  • the second sound output unit 152b may implement a stereo function together with the first sound output unit 152a, and may be used to implement a speakerphone mode during a call.
  • At least one antenna for wireless communication may be provided in the terminal body.
  • the antenna may be embedded in the terminal body or may be formed in a case.
  • an antenna forming a part of the broadcast receiving module 111 (refer to FIG. 1A) may be configured to be retractable from the terminal body.
  • the antenna may be formed in a film type and attached to the inner surface of the rear cover 103, or a case including a conductive material may be configured to function as an antenna.
  • the terminal body is provided with a power supply unit 190 (refer to FIG. 1A) for supplying power to the mobile device 100.
  • the power supply unit 190 may include a battery 191 built in the terminal body or configured to be detachable from the outside of the terminal body.
  • the battery 191 may be configured to receive power through a power cable connected to the interface unit 160.
  • the battery 191 may be configured to enable wireless charging through a wireless charger.
  • the wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
  • the rear cover 103 is coupled to the rear case 102 so as to cover the battery 191 to limit the separation of the battery 191, and to protect the battery 191 from external shock and foreign substances. It is illustrated.
  • the rear cover 103 may be detachably coupled to the rear case 102.
  • An accessory that protects the exterior of the mobile device 100 or supplements or expands the function of the mobile device 100 may be added to the mobile device 100.
  • An example of such an accessory may be a cover or a pouch that covers or accommodates at least one surface of the mobile device 100.
  • the cover or pouch may be configured to interlock with the display unit 151 to expand functions of the mobile device 100.
  • Another example of an accessory may be a touch pen for assisting or extending a touch input to a touch screen.
  • the front button 123a is changing from a physical button to a virtual button output on the display unit, but the side button 123b located on the side of the mobile device 100 is still used for volume control or power on/off. need.
  • a waterproof part 1238 is required to block water from flowing into the button hole 104a.
  • the waterproofing part 1238 is also important in waterproofing performance, but it is necessary to minimize the increase in volume or complexity of the process by adding the waterproofing part.
  • cameras (cameras 121, 121a, 121b shown in FIGS. 1A to 1C) applied to the present invention are located around the touch screen of the mobile device. Accordingly, it is possible to detect depth information on an object (eg, a user's finger) within a certain distance from the touch screen of the mobile device. Such a camera can be referred to as a depth camera.
  • the first method is a method using a multi-camera (or lens), which captures visible light by using two or more cameras, and generates a 3D image using depth information.
  • the second method is to mount a separate sensor for depth sensing in the camera module, and more specifically, SL (Structured Light) and ToF (Time of Flight) methods are applied.
  • a laser having a specific pattern such as a straight line or a grid pattern
  • the information in which the pattern is deformed according to the shape of the object surface is analyzed.
  • the 3D-based photographing result is derived by combining it with the photograph taken by the image sensor.
  • a laser infrared (IR) projector that transmits a specific pattern, an infrared depth sensor, an image sensor, and a 3D processor may be used.
  • depth information is calculated by measuring the time the laser travels to the object to be photographed and returns after it is reflected, and then synthesizes it with a photograph taken by an image sensor to derive a 3D-based photographing result.
  • a laser infrared (IR) projector, a reception sensor, an image sensor, and a 3D processor may be used.
  • the mobile device 100 and a control method thereof will be described in detail with reference to FIGS. 2 to 11.
  • the person skilled in the art may supplementary analyzes of FIGS. 2 to 11 or modify the embodiments with reference to FIGS. 1A to 1C described previously.
  • the mobile device 100 is a smart device equipped with an artificial intelligence assistant using a voice recognition technology and a gesture recognition technology based on a three-dimensional depth camera. Can be
  • the mobile device 100 may interwork with an audio player, a video player, and an AVN system having a navigation function or an electronic control unit (ECU) of a vehicle separated from the mobile device 100.
  • the AVN system is a vehicle multimedia system in which an audio system (Audio), a video system (Video), and a navigation system (Navigation) are integrated in a unit form.
  • This AVN system provides convenience to users in manipulating various multimedia devices and enables efficient use of the vehicle interior space.
  • the AVN system may be a system built into the vehicle, and may be connected to a mobile device using a separate cable or wireless communication.
  • the mobile device may recognize the state of the vehicle based on the information received from the AVN system. For example, the mobile device may recognize the driving state of the vehicle based on information received from the navigation of the AVN system.
  • the mobile device 100 includes a wireless communication unit 110, a depth camera 121, a microphone 122, a voice recognition unit 145, a touch screen 151, a speaker 152, and a memory 170. ), and the controller 180.
  • the mobile device may further include a sensing unit 140.
  • the wireless communication unit 110 communicates with an external device or server.
  • the external device may be an AVN system of a vehicle or an electronic control unit (ECU).
  • ECU electronice control unit
  • the depth camera 121 acquires at least one of an image of at least one object or a depth image.
  • the depth camera 121 may be an image recording device capable of extracting a 2D image and a depth image of an object based on infrared rays.
  • the depth camera 121 may detect an absolute or relative distance of at least one object.
  • the depth camera 121 may detect a 3D motion of at least one object.
  • the at least one object may be a user's hand or an index finger.
  • the depth camera 121 may have at least one mode for optimizing power consumption.
  • the microphone 122 receives an external audio signal.
  • the microphone 122 may receive a voice input to implement a voice recognition technique that is mainly used in an AI assistant.
  • the sensing unit 140 includes at least one sensor for sensing the state of the vehicle.
  • the sensing unit 140 includes a Global Positioning System (GPS) module, a motion sensor, an accelerometer, a magnetic sensor, and a G-sensor of the mobile device 100. ), a gyroscope sensor, a camera, etc., the driving state of the vehicle can be sensed.
  • GPS Global Positioning System
  • the voice recognition unit 145 recognizes the voice uttered by the user and performs a corresponding function according to the recognized voice signal.
  • the voice recognition unit 145 may recognize the user's spoken voice received by the mobile device 100 through the microphone 122, convert it into text, and process it.
  • the voice recognition unit 145 may have at least one mode for optimizing power consumption.
  • the touch screen 151 displays at least one content on the screen.
  • the content is received from an external server or stored in the internal memory 170.
  • the touch screen 151 touches a user's hand or a pen, the location may be input.
  • the speaker 152 may output audio data received by the wireless communication unit 110 or stored in the memory 170 as an audio signal.
  • the memory 170 stores data defining an interface mode to be activated according to the state of the mobile device or vehicle.
  • the controller 180 includes the wireless communication unit 110, the depth camera 121, the microphone 122, the sensing unit 140, the voice recognition unit 145, the touch screen 151, the speaker ( 152), and at least one of the memory 170 is controlled.
  • the controller 180 may control at least one of the voice recognition unit 145, the touch screen 151, and the depth camera 121.
  • the controller 180 sets at least one of the depth camera 121, the touch screen 151, or the voice recognition unit 145 in an active mode according to the detected state of the mobile device 100 or the vehicle. mode).
  • FIG 3 is a diagram illustrating a method of controlling the mobile device 100 according to an embodiment of the present invention.
  • the present invention is implemented by the controller 180.
  • a state of the mobile device 100 or a vehicle is detected (S310).
  • At least one of an image of at least one object or a depth image is acquired by the depth camera 121 (S320).
  • At least one of the depth camera 121, the touch screen 151, and the voice recognition unit 145 is changed to the active mode (S330).
  • FIG. 4 is a diagram illustrating modes of the voice recognition unit 145 and the depth camera 121 according to an embodiment of the present invention.
  • the controller 180 may change the mode of the voice recognition unit 145.
  • the mode includes at least one mode for optimizing power consumption.
  • the controller 180 may detect the activity of the microphone by the voice recognition unit 145 (501a). When a voice signal is detected from the microphone, the controller 180 receives the voice recognition unit 145 in the deactivation mode 501a to detect a specific keyword from the received voice signal, a ready mode 505a. Change to Here, the controller 180 may cancel the echo or noise of the detected voice signal (cancellation) 503a. When a specific keyword is detected, the controller 180 may switch the voice recognition unit 145 from the ready mode 505a to the active mode 600a executing a voice command service.
  • the voice command service refers to an application that provides a service that recognizes a user's utterance and executes a command corresponding to the user's utterance.
  • the voice command service connects the voice recognition unit 145 to at least one external cloud server 800 to accurately recognize the user's utterance based on a deep neural network and respond to the corresponding utterance. It may be a voice recognition service that executes a corresponding command.
  • the microphone 122 has a problem in that it is difficult to accurately detect a voice signal because distortion occurs when a sound pressure higher than a certain level is input.
  • the ready mode 505a has an effect of reducing power consumption, it is not connected to the cloud server 800 and thus has a low voice recognition rate.
  • the controller 180 reduces power consumption and maximizes user convenience by appropriately changing the mode of the voice control unit 145 according to the state of the mobile device or vehicle, surrounding conditions, and user input. The detailed mode change of the controller 180 will be described in detail below with reference to FIGS. 5 to 12.
  • the controller 180 may change the mode of the depth camera 121.
  • the mode includes at least one mode for optimizing power consumption.
  • the controller 180 may change the depth camera 121 to a low power mode 501b.
  • the low power mode 501b may be a mode capable of reducing power consumption by detecting only the presence of at least one object near the depth camera 121.
  • the controller 180 may change the depth camera 121 to the ready mode 505a.
  • the ready mode 505a may be a mode capable of detecting at least one of a shape of a specific hand and a gesture of a specific hand.
  • the ready mode 505a may detect an activation gesture for activation of the active mode 600b.
  • the controller 180 may change the depth camera 121 to the active mode 600b.
  • the active mode 600b may be a mode for tracking a user's finger.
  • the controller 180 may change the mode of the depth camera 121 according to circumstances in order to optimize power consumption.
  • the controller 180 may change the mode of the depth camera 121.
  • the user's input may be at least one of a specific keyword or a specific gesture.
  • the controller 180 may change the depth camera 121 to the active mode 600b.
  • the controller 180 can minimize power consumption of the depth camera 121.
  • the controller 180 may change the mode of the depth camera 121. For example, when the voice recognition interface cannot operate properly due to external noise or the like, the controller 180 may change the mode of the depth camera 121 to the ready mode 505a. For another example, when a message is received while the vehicle is driving and the vehicle stops waiting for a signal thereafter, the controller 180 may change the mode of the depth camera 121 to the ready mode 505a. When the depth camera 121 is operated only when a certain condition is satisfied, the controller 180 can reduce power consumption of the depth camera 121.
  • the controller 180 may always set the depth camera 121 to the low power mode 501b.
  • the controller 180 may change the depth camera 121 to the active mode 600b.
  • the depth camera 121 is always set to the low power mode 501b, power consumption increases, but the user can always use a 3D interface based on the depth image of the depth camera 121.
  • the movement of the user's hand close to the mobile device 100 that can be detected by the depth camera 121 is referred to as a hand gesture
  • a mobile device that can be detected by the depth camera 121 The movement of a user's finger close to the device 100 is referred to as a finger gesture.
  • the gesture includes various movements or shapes of a user's hand or finger in a three-dimensional space.
  • the hand gesture or the finger gesture may be at least one gesture of swiping or pushing a space adjacent to the mobile device 100.
  • the controller 180 may detect a hand shape of a user through a depth image captured by the depth camera 121. When a specific hand shape is detected, the controller may perform an operation corresponding to the specific hand shape. For example, when detecting the shape of a hand in the shape of a pistol, the control unit may execute a voice command service.
  • the voice command service refers to an application that provides a service that recognizes a user's utterance and executes a command corresponding to the user's utterance.
  • the controller 180 may detect the movement of the user's hand through the depth image captured by the depth camera 121.
  • the hand movement may be a simple gesture.
  • the control unit may perform an operation corresponding to the specific gesture. For example, when detecting an operation of swiping a space adjacent to the mobile device 100 during music playback, the controller 180 plays the previous or next song in the playlist, or controls the volume. , You can pause.
  • the controller 180 may track the user's finger through the depth image captured by the depth camera 121.
  • the control unit may generate three-dimensional coordinates by precisely tracking the user's fingertip.
  • an operation corresponding to the detected movement of the fingertip may be performed.
  • the movement of the fingertip is a gesture of touching, clicking, scrolling, or flicking a virtual button or user interface in a predetermined space spaced apart from the touch screen 151 It may include.
  • the controller 180 may select an icon displayed on the touch screen 151.
  • the controller 180 may enable the user to control the mobile device 100 with a fingertip only when the user gazes at the mobile device 100.
  • FIG. 5 is a diagram illustrating a table for describing a user interface provided according to a state of the mobile device 100 or a vehicle according to an embodiment of the present invention.
  • the table may be data stored in the memory 170 that defines an interface mode that is activated according to the state of the mobile device 100 or vehicle.
  • control unit 180 includes the depth camera 121, the touch screen 151, or the voice recognition unit 145 according to the detected state of the mobile device 100 or the vehicle. At least one can be changed to the active mode.
  • the controller 180 may differently set an activation interface for activating a user input for controlling the mobile device 100 according to a driving state of the vehicle.
  • the user input and the activation interface for activating the user input may be a user's voice, a simple hand gesture, or a finger gesture.
  • the simple hand gesture may be a gesture of swiping or pushing a hand in a specific direction.
  • the controller 180 may set at least one of a user's voice and a simple hand gesture as an activation interface.
  • the controller 180 may activate a user input.
  • the activated user input may be at least one of a user's voice input, a simple hand gesture, or a finger gesture.
  • the controller 180 may change at least one of the depth camera 121 and the voice recognition unit 145 to activate a user input. For example, when it is determined that the vehicle is driving and at least one of a specific keyword or a specific hand gesture is detected, the controller 180 may change the depth camera 121 to an active mode.
  • the active mode of the depth camera 121 is a mode for tracking a user's finger.
  • the controller 180 may change the voice recognition unit 145 to an active mode.
  • the active mode of the voice recognition unit 145 is a mode in which a voice command is detected during a user's speech and executes a command corresponding to the voice command.
  • the controller 180 may track the user's gaze through the depth camera 121. When the user's gaze is detected, the controller 180 may change a reaction to the user input according to the detected gaze of the user. When a user inputs a voice or a hand gesture, the controller 180 may not track or ignore the user's gaze. When the user inputs a user input without staring at the mobile device 100, the controller 180 may not perform an operation according to the user input. Here, the controller 180 may ignore the user input. When the user gazes at the mobile device 100 and inputs a user input, the controller 180 may output a danger warning.
  • the controller 180 determines that the vehicle is running, the user's finger is detected, and when it is detected that the user is staring at the mobile device 100, the touch screen 151 is alerted. Messages can be displayed.
  • the controller 180 may change whether to output a danger warning according to the speed of the vehicle.
  • the controller 180 may set at least one of a user's voice, a simple hand gesture, or a finger gesture as an activation interface.
  • the controller 180 may activate a user input.
  • the activated user input may be at least one of a user's voice input, a simple hand gesture, or a finger gesture.
  • the controller 180 may change at least one of the depth camera 121 and the voice recognition unit 145 to activate a user input. For example, when it is determined that the vehicle is stopped, the controller 180 may change the depth camera 121 to an active mode.
  • the active mode is a mode for tracking a user's finger.
  • the controller 180 may track the user's gaze through the depth camera 121.
  • the controller 180 may change at least one of the depth camera 121 or the voice recognition unit 145 to the active mode. While the vehicle is stopped, the controller 180 may perform an operation according to a user input regardless of the user's gaze.
  • FIG. 6 is a flowchart illustrating a method of controlling a mobile device for changing a voice recognition unit to an active mode when a user's specific hand gesture is detected, according to an embodiment of the present invention.
  • FIG. 7 shows changes in graphic data implemented according to the flow chart of FIG. 6.
  • control method of FIG. 6 is performed by the controller 180.
  • the depth camera 121 is activated and changes to a low power mode (S321a).
  • the data of the depth camera 121 is read (S323a).
  • the presence of at least one object and a hand gesture for activating the active mode are sensed (S324a).
  • the voice recognition unit 145 is changed to the active mode (S330a).
  • FIG. 7 the mobile device 100 of FIG. 6 and a control method thereof will be described in detail.
  • the controller 180 activates the depth camera 121 in an inactive state and changes to a low power mode.
  • the low power mode refers to a mode capable of detecting the presence of at least one object.
  • the controller 180 may switch the depth camera 121 to the low power mode.
  • the controller 180 may switch the voice recognition unit 145 to a low power mode or an active mode. Thereafter, the controller 180 notifies that the user can activate the active mode through a simple hand gesture 60.
  • the controller 180 may display a standby screen indicating that an input of the hand gesture 60 is waiting on the touch screen 151.
  • the controller 180 reads data from the depth camera 121.
  • the controller 180 activates a ready mode capable of detecting a specific hand gesture 60.
  • the controller 180 changes the voice recognition unit 145 to an active mode.
  • the active mode of the voice recognition unit 145 is a mode in which a voice command is detected during a user's speech and executes a command corresponding to the voice command. Users can avoid the hassle of having to call keywords every time when using the voice recognition interface.
  • the mode change of the voice recognition unit 145 through a gesture does not pass through the ready mode 505a having a relatively low voice recognition rate, and thus malfunctions of the voice recognition unit 145 against the intention of the user may be reduced.
  • the controller 180 may display a voice command service screen on the touch screen 151.
  • the controller 180 may display on the touch screen 151 a guide message indicating that the voice command service is being executed and an example speech.
  • the controller 180 may recognize the utterance 30 of the user 10 and execute a command corresponding to the utterance 30 of the user 10. For example, when the user 10 utters "Play a song", the controller 180 may output music through the speaker 152.
  • FIG. 8 is a flowchart illustrating a method of controlling a mobile device for changing a depth camera to an active mode when it is detected that a user is staring at the mobile device while a vehicle is stopped according to an embodiment of the present invention. 9 illustrates changes in graphic data implemented according to the flow chart of FIG. 8.
  • control method of FIG. 8 is performed by the controller 180.
  • the depth camera 121 is activated and gaze tracking is performed (S321b).
  • the gaze tracking may be a function or mode for tracking the gaze 11 of the user 10.
  • the depth camera 121 is changed to an active mode (S330b).
  • the controller 180 may detect whether the vehicle is stopped. When a vehicle stop is detected, the controller 180 may activate the depth camera 121 and perform gaze tracking.
  • the gaze tracking is a function or mode for tracking the gaze 11 of the user 10.
  • the low power mode 501b or the ready mode 505b of the depth camera 121 of FIG. 4 may include a gaze tracking mode for tracking the gaze 11 of the user 10.
  • the controller 180 may notify that gaze tracking is being executed. For example, the controller 180 may display a screen indicating that gaze tracking is being executed on the touch screen 151.
  • the controller 180 may detect whether the user 10 is staring at the mobile device 100.
  • the controller 180 may change the depth camera 121 to the active mode.
  • the active mode is a mode for tracking the finger of the user 10.
  • the controller 180 displays the touch screen 151 corresponding to the position of the finger 21 of the user 10 based on the detected position information of the finger 21 of the user 10.
  • the indicator 21a may be displayed in the area.
  • the controller 180 may execute a command corresponding to a gesture of the user's finger 21.
  • the controller 180 may execute a command corresponding to the specific direction 71. For example, when the user 10 moves the user's 10 finger upward or downward of the touch screen 151, the controller 180 may enlarge or reduce the content screen displayed on the touch screen 151. I can.
  • FIG. 10 is a flowchart illustrating a method of controlling a mobile device for changing a voice recognition unit to an active mode when a sound pressure higher than a specific level is detected for a predetermined time or longer, according to an embodiment of the present invention.
  • FIG. 11 shows changes in graphic data implemented according to the flow chart of FIG. 10.
  • FIG. 11(a) is a diagram illustrating changing a mode of the depth camera 121 when a sound pressure higher than a certain level is sensed.
  • 11(b) is a diagram illustrating changing a mode of the voice recognition unit 145 when an activation gesture is detected.
  • FIG. 11C is a diagram illustrating changing a mode of the depth camera 121 when an activation gesture is detected.
  • control method of FIG. 10 is performed by the controller 180.
  • the level of the sound pressure level is sensed (S311c).
  • the depth camera 121 is activated and enters the low power mode (S321c).
  • the data of the depth camera 121 is read (S323c).
  • a presence and an activation gesture are sensed (S324c).
  • the volume is controlled and the voice command service is executed (S333c).
  • the volume may be the volume of the mobile device 100 or the volume of the AVN system of the vehicle.
  • the depth camera 121 is changed to the active mode (S334c).
  • FIG. 11 the mobile device 100 of FIG. 10 and a control method thereof will be described in detail.
  • the controller 180 may detect the level of sound pressure. When a sound pressure higher than a certain level is sensed, the controller 180 may activate the depth camera 121. When the depth camera 121 is activated, the controller 180 may change the mode of the depth camera 121. For example, the controller 180 may change the depth camera 121 to a low power mode when a sound pressure higher than a certain level is sensed for a predetermined time or longer. When changing to the low power mode, the controller 180 may notify that the depth camera 121 can be changed to the active mode by an activation gesture. For example, in the low power mode, the controller 180 may display an image of the activation gesture on the touch screen 151. The controller 180 reads data from the depth camera 121.
  • the controller 180 may detect the presence of at least one object close to the mobile device 100. When the existence of at least one object is detected, the controller 180 may detect an activation gesture based on the depth image of the object. When the activation gesture is detected, the controller 180 may check a noise source.
  • the noise source may be a speaker of the mobile device 100, a speaker of an AVN system, a speaker of a system inside/outside a vehicle, or a noise outside the vehicle.
  • the controller 180 determines whether the noise source can be controlled. For example, the controller 180 determines whether the output level of the speaker of the AVN system can be controlled through a short-range communication means.
  • the short-range communication means includes all short-range wired/wireless communication means such as Bluetooth, infrared, WiFi, wireless LAN, and cable.
  • the controller 180 may control the corresponding noise source and change the voice recognition unit 145 to an active mode.
  • the active mode is a mode in which a voice command is detected during a user's utterance and a command corresponding to the voice command is executed.
  • the controller 180 lowers the volume of the speaker 152 of the mobile device 100 and touches the screen of the voice command service to the touch screen 151. Can be displayed on.
  • the voice command service refers to an application that provides a service that recognizes a user's utterance and executes a command corresponding to the user's utterance.
  • the controller 180 may control the opening and closing of the window of the vehicle in connection with an electric control unit (ECU) of the vehicle.
  • ECU electric control unit
  • the controller 180 may change the depth camera 121 to an active mode.
  • the active mode is a mode for tracking a user's finger.
  • the controller 180 may change the depth camera 121 to an active mode even when the noise source can be controlled according to a user setting.
  • the controller 180 may change at least one of the voice recognition unit 145 and the depth camera 121 to an active mode.
  • the controller 180 displays an indicator on the area of the touch screen 151 corresponding to the position of the user's finger 21 based on the detected position information of the user's finger. (21a) can be displayed.
  • the controller 180 may execute a command corresponding to the specific direction 72. For example, when the user moves the user's finger 21 upward or downward of the touch screen 151, the controller 180 can scroll the content list displayed on the touch screen 151 upward or downward. have.
  • FIG. 12 is a flowchart illustrating a method of controlling a mobile device for changing a depth camera to an active mode when a specific keyword or a specific hand gesture is detected according to an embodiment of the present invention.
  • FIG. 12(a) is a diagram illustrating detecting a specific keyword.
  • FIG. 12(b) is a diagram illustrating detecting a specific gesture.
  • 12(c) is a diagram illustrating changing the depth camera 121 to an active mode.
  • the controller 180 may change the depth camera 121 to an active mode.
  • the active mode is a mode for tracking a user's finger.
  • the controller 180 may change the depth camera 121 to an active mode.
  • the control may be manipulation of a timeline or scrolling of a content list while viewing multimedia content.
  • the controller 180 may change the depth camera 121 to an active mode. For example, when the user utters at least one of "High, LG” or “Timeline", the controller 180 may change the depth camera 121 to the active mode.
  • the controller 180 may change the depth camera 121 to an active mode. For example, when detecting the activation gesture 20 for swiping the space on the touch screen 151, the controller 180 may change the depth camera 121 to the active mode.
  • the controller 180 displays an indicator 21a on the area of the touch screen 151 corresponding to the position of the user's index finger 21. Can be displayed.
  • the controller 180 may detect a user's finger gesture in specific directions 73 and 74 and execute a command corresponding to the specific directions 73 and 74. For example, when it is detected that the user's index finger moves in the left or right direction 73 while playing multimedia content, the controller 180 may perform rewind or fast forward. For another example, when it is detected that the user's index finger moves in the upward or downward direction 74, the user may scroll the content search result list upward or downward.
  • the present invention provides an interface for safe and convenient control of the mobile device by changing the depth camera or voice recognition unit to the active mode according to the state of the mobile device or vehicle. Can be improved.
  • the voice recognition unit when a specific hand gesture is detected while the vehicle is driving, the voice recognition unit is changed to the active mode, so that it is not necessary to call a keyword every time to execute a voice command. Can be improved.
  • a voice recognition rate when a voice recognition rate is low due to a high external noise level, user convenience may be improved by changing the depth camera to an active mode.
  • the mobile device control method of the present invention can be implemented as a code that can be read by a processor on a recording medium that can be read by a processor provided in an image display device.
  • the processor-readable recording medium includes all types of recording devices that store data that can be read by the processor. Examples of recording media that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also include those implemented in the form of carrier waves such as transmission through the Internet. . Further, the processor-readable recording medium is distributed over a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 모바일 디바이스 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 차량의 운전 중에 사용되는 모바일 디바이스에서, 모바일 디바이스의 상태나 차량의 상태에 따라 뎁스 카메라 또는 터치 스크린 중 적어도 하나를 액티브 모드로 변경하여, 사용자 편의성을 향상시킬 수 있는 모바일 디바이스 및 그 제어 방법에 관한 발명이다.

Description

모바일 디바이스 및 그 제어 방법
본 발명은 모바일 디바이스 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 차량의 운전 중에 사용되는 모바일 디바이스에서, 모바일 디바이스의 상태나 차량의 상태에 따라 뎁스 카메라 또는 터치 스크린 중 적어도 하나를 액티브 모드로 변경하여, 사용자 편의성을 향상시킬 수 있는 모바일 디바이스 및 그 제어 방법에 관한 발명이다.
최근 스마트 폰, 스마트 TV 등 다양한 스마트 기기가 인공지능에 기초한 음성 인식 인터페이스를 탑재함에 따라, 기존에 주로 사용하던 터치 인터페이스와는 달리 모바일 디바이스를 보지 않고도 기기를 제어할 수 있게 되었다.
그러나, 종래의 음성 인식 인터페이스는 운전 중 창문을 여는 경우, 다른 기기에서 음악을 재생하는 경우와 같이 주변의 소음(noise)의 정도가 큰 경우에는 음성 인식률이 저하되는 단점이 있었다.
또한, 재생되는 컨텐츠의 타임라인을 조작하거나 인터넷 검색 목록을 스크롤 하는 경우와 같이 사용자의 세밀한 조작을 요구하는 경우에는 음성 인식 인터페이스만으로는 스마트 기기의 세밀한 제어가 어려웠다.
그리고, 음성 인식 인터페이스만으로 조작이 어려운 경우 또는 세밀한 조작을 요구하는 경우와 같이 음성 인식 인터페이스와 터치 인터페이스를 동시에 사용하는 경우에는 차량의 운전자의 시선이 분산되거나 몸을 움직이게 되어 주행중 안전성이 떨어지는 문제가 있었다.
본 발명의 일 실시 예는 모바일 디바이스 또는 차량의 상태에 따라 뎁스 카메라 또는 음성인식부를 액티브 모드로 변경하도록 제어하는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 실시 예는 차량 주행 중에 특정 손 제스쳐가 디텍트된 경우, 음성인식부를 액티브 모드로 변경하도록 제어하는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 실시 예는 외부 소음 레벨이 높아 음성 인식률이 낮은 경우, 뎁스 카메라를 액티브 모드로 변경하도록 제어하는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 실시 예는 모바일 디바이스의 세밀한 제어가 요구되는 경우, 뎁스 카메라를 액티브 모드로 변경하도록 제어하는 모바일 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른, 모바일 디바이스는, 외부 장치 또는 서버와 통신하는 무선 통신부; 적어도 하나의 오브젝트의 이미지 또는 깊이 이미지(depth image) 중 적어도 하나를 획득하는 뎁스 카메라(depth camera); 외부 오디오 신호를 수신하는 마이크; 상기 마이크를 통해 수신된 외부 오디오 신호를 인식하는 음성인식부; 오디오 신호를 출력하는 스피커; 적어도 하나의 컨텐츠를 디스플레이하는 터치 스크린; 상기 모바일 디바이스 또는 차량(vehicle)의 상태에 따라 활성화 시키는 인터페이스 모드를 정의하고 있는 데이터를 저장하고 있는 메모리; 상기 무선 통신부, 상기 뎁스 카메라, 상기 마이크, 상기 음성인식부, 상기 스피커 또는 상기 터치 스크린 중 적어도 하나를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 메모리에 저장된 데이터에 기초하여, 디텍트된 상기 모바일 디바이스 또는 차량의 상태에 따라, 상기 뎁스 카메라, 상기 터치 스크린, 또는 상기 음성인식부 중 적어도 하나를 액티브 모드로 변경한다.
본 발명의 다른 실시 예에 따른, 모바일 디바이스의 제어 방법은, 뎁스 카메라(depth camera)에 의해 적어도 하나의 오브젝트의 이미지 또는 깊이 이미지 중 적어도 하나를 획득하는 단계; 상기 모바일 디바이스 또는 차량의 상태를 디텍트하는 단계; 상기 모바일 디바이스 또는 차량의 주행 상태에 따라, 상기 뎁스 카메라, 상기 터치 스크린, 또는 상기 음성 인식 부 중 적어도 하나를 액티브 모드로 변경한다.
본 발명의 일 실시 예에 따르면, 본 발명은 모바일 디바이스 또는 차량의 상태에 따라 뎁스 카메라 또는 음성인식부를 액티브 모드로 변경하여, 모바일 디바이스를 안전하고 편리하게 제어할 수 있는 인터페이스를 제공하므로 사용자 편의성을 향상시킬 수 있다.
본 발명의 다른 실시 예에 따르면, 본 발명은 차량이 주행 중에 특정 손 제스쳐가 디텍트된 경우, 음성인식부를 액티브 모드로 변경하여, 음성 명령 실행을 위해 매번 키워드 호출을 할 필요가 없으므로 사용자 편의성을 향상시킬 수 있다.
본 발명의 또 다른 실시 예에 따르면, 외부 소음 레벨이 높아 음성 인식률이 낮은 경우, 뎁스 카메라를 액티브 모드로 변경하여, 사용자 편의성을 향상시킬 수 있다.
본 발명의 또 다른 실시 예에 따르면, 모바일 디바이스의 세밀한 제어가 요구되는 경우, 뎁스 카메라를 액티브 모드로 변경하여, 사용자 편의성을 향상시킬 수 있다.
도 1a는 본 발명과 관련된 모바일 디바이스를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 모바일 디바이스의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 본 발명의 일 실시 예에 따른, 모바일 디바이스를 간략히 도시한 구성도이다.
도 3은 본 발명의 일 실시 예에 따른, 모바일 디바이스의 제어 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른, 음성인식부 및 뎁스 카메라의 모드를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 모바일 디바이스 또는 차량의 상태에 따라 제공되는 사용자 인터페이스를 설명하는 테이블을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 사용자의 특정 손 제스쳐를 디텍스한 경우, 음성인식부를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
도 7은 도 6의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
도 8은 본 발명의 일 실시 예에 따른, 차량 정차 중 사용자가 모바일 디바이스를 응시하는 것으로 디텍트된 경우, 뎁스 카메라를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
도 9는 도 8의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
도 10은 본 발명의 일 실시 예에 따른, 기 설정된 시간 이상 특정 레벨 이상의 음압을 디텍트할 경우, 음성인식부를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
도 11은 도 10의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
도 12는 본 발명의 일 실시 예에 따른, 특정 키워드 또는 특정 손 제스쳐가 디텍트된 경우, 뎁스 카메라를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 모바일 디바이스에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 모바일 디바이스에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 모바일 디바이스를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 모바일 디바이스의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 모바일 디바이스(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 모바일 디바이스를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 모바일 디바이스는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 모바일 디바이스(100)와 무선 통신 시스템 사이, 모바일 디바이스(100)와 다른 모바일 디바이스(100) 사이, 또는 모바일 디바이스(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 모바일 디바이스(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 모바일 디바이스 내 정보, 모바일 디바이스를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 모바일 디바이스는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 모바일 디바이스(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 모바일 디바이스(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 모바일 디바이스(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 모바일 디바이스(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 모바일 디바이스(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 모바일 디바이스(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 모바일 디바이스(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 모바일 디바이스(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 모바일 디바이스(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 모바일 디바이스(100) 상에 설치되어, 제어부(180)에 의하여 상기 모바일 디바이스의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 모바일 디바이스(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 모바일 디바이스(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 모바일 디바이스(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 모바일 디바이스의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 모바일 디바이스의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 모바일 디바이스 상에서 구현될 수 있다.
도 1 b 및 1c를 참조하면, 개시된 모바일 디바이스(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 모바일 디바이스의 특정 유형에 관련될 것이나, 모바일 디바이스의 특정유형에 관한 설명은 다른 타입의 모바일 디바이스에 일반적으로 적용될 수 있다.
여기에서, 단말기 바디는 모바일 디바이스(100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.
모바일 디바이스(100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 모바일 디바이스(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.
모바일 디바이스(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 모바일 디바이스(100)가 구현될 수 있다.
한편, 모바일 디바이스(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.
모바일 디바이스(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 사이드 버튼(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 홈버튼(123a)이 배치되고, 단말기 바디의 측면에 사이드 버튼(123b), 마이크로폰(122) 및 인터페이스부(160)가 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 모바일 디바이스(100)를 일 예로 들어 설명한다.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 홈버튼(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.
디스플레이부(151)는 모바일 디바이스(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 모바일 디바이스(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이부(151)는 모바일 디바이스(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 모바일 디바이스(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 모바일 디바이스(100)의 외관이 보다 심플해질 수 있다.
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.
제1 및 사이드 버튼(123a, 123b)은 모바일 디바이스(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 사이드 버튼(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 사이드 버튼(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.
본 도면에서는 홈버튼(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 홈버튼(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
제1 및 사이드 버튼(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 홈버튼(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 사이드 버튼(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 모바일 디바이스(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 홈버튼(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 홈버튼(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면으로 구성될 수 있다.
한편, 모바일 디바이스(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.
인터페이스부(160)는 모바일 디바이스(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 모바일 디바이스(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.
단말기 바디에는 모바일 디바이스(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.
모바일 디바이스(100)에는 외관을 보호하거나, 모바일 디바이스(100)의 기능을 보조 또는 확장시키는 액세서리가 추가될 수 있다. 이러한 액세서리의 일 예로, 모바일 디바이스(100)의 적어도 일면을 덮거나 수용하는 커버 또는 파우치를 들 수 있다. 커버 또는 파우치는 디스플레이부(151)와 연동되어 모바일 디바이스(100)의 기능을 확장시키도록 구성될 수 있다. 액세서리의 다른 일 예로, 터치 스크린에 대한 터치입력을 보조 또는 확장하기 위한 터치펜을 들 수 있다.
최근 모바일 디바이스(100)는 사용 범위가 확대됨에 따라 수영장이나 목욕탕 등에서도 이용하는 빈도가 많아짐에 따라 방수구조가 도입되고 있다. 전면버튼(123a)은 물리적 버튼에서 디스플레이부에 출력되는 가상 버튼 형태로 전환되는 추세이나, 모바일 디바이스(100)의 측면에 위치하는 사이드 버튼(123b)은 음량조절이나 전원의 On/OFF를 위해 여전히 필요하다.
물리적 버튼을 구비하는 경우 사이드 버튼(123b)은 사이드 케이스(104)에 형성된 버튼홀(104a)에 삽입되기 때문에 상기 버튼홀(104a)로 물이 유입되는 것을 차단하는 방수부(1238)가 필요하다. 이러한 방수부(1238)는 방수의 성능도 중요하지만, 방수부를 추가함으로써 부피가 커지거나 공정이 복잡해지는 것을 최소화 할 필요가 있다.
나아가, 본 발명에 적용되는 카메라(도 1a 내지 도 1c에 도시된 카메라(121, 121a, 121b))는 모바일 디바이스의 터치 스크린 주변에 위치하고 있다. 따라서, 상기 모바일 디바이스의 터치 스크린으로부터 일정 거리이내의 오브젝트(예를 들어, 사용자의 손가락)에 대한 깊이 정보(depth information)를 디텍트 하는 것이 가능하다. 이와 같은 카메라를 깊이 카메라로 명명할 수 있다.
상기 깊이 카메라를 구현하는 방법으로 2가지 방안을 제시한다. 첫번째 방안은, 멀티 카메라(또는 렌즈)를 사용하는 방법으로서 2개 이상의 카메라를 이용하여 가시광선을 포착하고, 깊이 정보(depth information)를 이용하여 3D 이미지를 생성한다. 두번째 방안은, 카메라 모듈에 심도 센싱(Depth sensing)을 위한 별도의 센서를 탑재하는 방식으로서, 보다 구체적으로는 SL(Structured Light) 및 ToF(Time of Flight) 방식이 적용된다.
전술한 SL 방식은, 직선이나 격자 무늬 등 특정 패턴의 레이저를 촬영 대상에 방사한 후 대상 표면의 모양에 따라 패턴이 변형된 정보를 분석한다. 나아가, 깊이 정보를 계산한 후, 이미지 센서가 촬영한 사진과 합성하여 3D 기반의 촬영 결과를 도출한다. 이를 구현하기 위하여, 특정 패턴을 송출하는 레이저 적외선(IR) 프로젝터, 적외선 심도 센서, 이미지 센서 및 3D 프로세서 등이 사용될 수 있다.
반면, 전술한 ToF 방식은, 레이저가 촬영 대상에 갔다가 반사되어 돌아오는 시간을 측정하여 깊이 정보를 계산한 후, 이미지 센서가 촬영한 사진과 합성하여 3D 기반의 촬영 결과를 도출한다. 이를 구현하기 위하여, 레이저 적외선(IR) 프로젝터, 수신 센서, 이미지 센서 및 3D 프로세서 등이 사용될 수 있다.
이하에서는，모바일 디바이스(100)로서 도 2에 도시된 모바일 디바이스(100)를 예로 들어 본 발명의 실시 예들을 설명하기로 한다. 그러나, 본 발명의 일 실시 예에 의한 모바일 디바이스(100)가 도 1a 내지 도 1c에 도시된 모바일 디바이스(100)로 구현될 수도 있음은 물론이다.
또한，이하에서는，도 2 내지 도 11을 참조하여，모바일 디바이스(100) 및 그 제어 방법에 대하여 상세히 설명하기로 한다. 다만，당업자는 이전에 설명한 도 1a 내지 도 1c를 참조하여，이하 도 2 내지 도 11을 보충 해석하거나 실시 예를 변형하는 것도 가능하다.
도 2는 본 발명의 일 실시 예에 따른, 모바일 디바이스를 간략히 도시한 구성도이다. 모바일 디바이스(100)은 음성 인식(voice recognition) 기술과 3차원 뎁스 카메라(deprth camera) 기반의 동작 인식(gesture recognition) 기술을 사용하는 인공 지능 어시스턴트(AI assistant)가 탑재된 스마트 디바이스(smart device)일 수 있다.
모바일 디바이스(100)는 모바일 디바이스(100)와 분리된 오디오 플레이어, 비디오 플레이어 및 네비게이션 기능을 가지는 AVN 시스템 또는 차량의 전자 제어 유닛(ECU)와 연동될 수 있다. 여기서, AVN 시스템은 오디오 시스템(Audio), 비디오 시스템(Video), 내비게이션 시스템(Navigation)을 유닛 형태로 통합한 차량용 멀티미디어 시스템이다. 이러한 AVN 시스템은 다양한 멀티미디어 장치들을 조작하는데 있어서 사용자에게 편의성을 제공하고, 차량 내부 공간을 효율적으로 활용할 수 있게 하였다. AVN 시스템은 차안에 내장된 시스템일 수 있으며, 별도의 케이블이나 무선 통신을 이용해 모바일 디바이스와 연결되어 있을 수 있다. 모바일 디바이스는 상기 AVN 시스템으로부터 수신된 정보에 기초하여 차량의 상태를 인식할 수 있다. 예를 들면, 모바일 디바이스는 AVN 시스템의 네비게이션으로부터 수신된 정보에 기초하여 차량의 주행 상태를 인식할 수 있다.
도 2를 참조하면, 모바일 디바이스(100)는 무선 통신부(110), 뎁스 카메라(121), 마이크(122), 음성인식부(145), 터치 스크린(151), 스피커(152), 메모리(170), 제어부(180)를 포함한다. 상기 모바일 디바이스는 센싱부(140)를 더 포함할 수 있다.
무선 통신부(110)는 외부 장치 또는 서버와 통신한다. 여기서, 외부 장치는 차량의 AVN 시스템 또는 전자 제어 유닛(ECU)일 수 있다.
뎁스 카메라(121)는 적어도 하나의 오브젝트의 이미지 또는 깊이 이미지(depth image) 중 적어도 하나를 획득한다. 예를 들면, 상기 뎁스 카메라(121)는 적외선을 기반으로 물체의 2D 이미지와 깊이 이미지(depth image)를 추출할 수 있는 영상 기록 장치일 수 있다. 뎁스 카메라(121)는 적어도 하나의 오브젝트의 절대적 또는 상대적 거리를 감지할 수 있다. 또한, 뎁스 카메라(121)는 적어도 하나의 오브젝트의 3차원 움직임을 감지할 수 있다. 여기서, 적어도 하나의 오브젝트는 사용자의 손 또는 검지 손가락일 수 있다. 뎁스 카메라(121)는 전력 소비를 최적화 하기 위한 적어도 하나의 모드를 가질 수 있다.
마이크(122)는 외부 오디오 신호를 수신한다. 마이크(122)는 인공 지능 어시스턴트(AI assistant)에 주로 사용되는 음성 인식 기술을 구현하기 위해 음성 입력을 수신할 수 있다.
센싱부(140)는 차량의 상태를 센싱하기 위한 적어도 하나의 센서를 포함한다. 예를 들어, 센싱부(140)는 모바일 디바이스(100)의 GPS(Global Positioning System) 모듈, 모션 센서(motion sensor), 가속도 센서(accelerometer), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 카메라 등을 통해 차량의 주행 상태를 센싱할 수 있다.
음성인식부(145)는 사용자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다. 음성인식부(145)는 마이크(122)를 통해 모바일 디바이스(100)로 수신된 사용자의 발화 음성을 인식하여 텍스트로 변환하여 처리할 수 있다. 음성인식부(145)는 전력 소비를 최적화하기 위한 적어도 하나의 모드를 가질 수 있다.
터치 스크린(151)은 적어도 하나의 콘텐츠를 화면에 디스플레이한다. 여기서, 콘텐츠는 외부 서버로부터 수신하거나 또는 내부 메모리(170)에 저장되어 있다. 터치 스크린(151)은 사용자의 손 또는 펜 등을 접촉하면 그 위치를 입력받을 수 있다.
스피커(152)는 상기 무선통신부(110)로 수신되거나 메모리(170)에 저장된 오디오 데이터를 오디오 신호로 출력할 수 있다.
메모리(170)는 상기 모바일 디바이스 또는 차량(vehicle)의 상태에 따라 활성화 시키는 인터페이스 모드를 정의하고 있는 데이터를 저장한다.
제어부(180)는 상기 무선통신부(110), 상기 뎁스 카메라(121), 상기 마이크(122), 상기 센싱부(140), 상기 음성인식부(145), 상기 터치 스크린(151), 상기 스피커(152), 상기 메모리(170) 중 적어도 하나를 제어한다.
제어부(180)는 상기 음성인식부(145), 터치 스크린(151) 및 뎁스 카메라(121) 중 적어도 하나의 모드를 제어할 수 있다. 제어부(180)는 디텍트된 모바일 디바이스(100) 또는 차량의 상태에 따라, 상기 뎁스 카메라(121), 상기 터치 스크린(151), 또는 상기 음성인식부(145) 중 적어도 하나를 액티브 모드(active mode)로 변경할 수 있다.
제어부(180)의 자세한 동작에 대한 상세한 설명은 도 3 내지 도 12에서 후술한다.
도 3은 본 발명의 일 실시 예에 따른, 모바일 디바이스(100)의 제어 방법을 도시한 도면이다. 본 발명은 제어부(180)에 의하여 수행된다.
도 3을 참조하면, 먼저 모바일 디바이스(100) 또는 차량의 상태를 디텍트한다(S310).
뎁스 카메라(121)에 의해 적어도 하나의 오브젝트의 이미지 또는 깊이 이미지(depth image) 중 적어도 하나를 획득한다(S320).
모바일 디바이스(100) 또는 차량의 주행 상태에 따라, 뎁스 카메라(121), 터치 스크린(151), 또는 음성인식부(145) 중 적어도 하나를 액티브 모드로 변경한다(S330).
제어부(180)의 자세한 동작에 대한 상세한 설명은 도 4 내지 도 12에서 후술한다.
도 4는 본 발명의 일 실시 예에 따른, 음성인식부(145) 및 뎁스 카메라(121)의 모드를 도시한 도면이다.
도 4의 상단을 참조하면, 제어부(180)는 음성인식부(145)의 모드를 변경할 수 있다. 여기서, 상기 모드는 전력 소비를 최적화하기 위한 적어도 하나의 모드를 포함한다.
도 4의 좌측을 참조하면, 제어부(180)는 음성인식부(145)를 마이크의 활동(activity)을 디텍트할 수 있다(501a). 마이크로부터 음성신호가 디텍트된 경우, 제어부(180)는 비활성화 모드(501a)의 음성인식부(145)를 수신된 음성 신호로부터 특정 키워드를 디텍트할 수 있는 레디 모드(ready mode)(505a)로 변경한다. 여기서, 제어부(180)는 디텍트된 음성 신호의 에코 또는 노이즈를 제거(cancellation)(503a)할 수 있다. 특정 키워드가 디텍트된 경우, 제어부(180)는 음성인식부(145)를 레디 모드(505a)에서 보이스 커맨드 서비스(voice command service)을 실행하는 액티브 모드(600a)로 전환할 수 있다. 여기서, 보이스 커맨드 서비스는 사용자의 발화를 인식하여 사용자의 발화에 대응하는 명령을 실행하는 서비스를 제공하는 어플리케이션을 말한다. 예를 들면, 상기 보이스 커맨드 서비스는 상기 음성인식부(145)를 적어도 하나의 외부 클라우드 서버(800)에 연결하여 딥 뉴럴 네트워크(deep neural network)를 기반으로 사용자의 발화를 정확히 인식하고 해당 발화에 따른 명령을 실행하는 음성 인식 서비스일 수 있다. 다만, 상기 마이크(122)는 특정 레벨 이상 높은 음압이 입력되는 경우 디스토션(distortion)이 발생하여 음성신호를 정확하게 디텍트하기 어려운 문제가 있다. 또한, 상기 레디 모드(505a)는 소비 전력을 감소시키는 효과가 있으나 상기 클라우드 서버(800)에 연결되지 않아 음성 인식률이 낮은 문제가 있다. 그리고, 레디 모드(505a)에서 액티브 모드(600a)로 변경하기 위하여 사용자가 매번 특정 키워드를 발화하여야 하는 문제가 있다. 상기 액티브 모드(600a)는 음성인식률은 높으나, 소비전력이 크다는 단점이 있다. 따라서, 제어부(180)는 상기 음성제어부(145)의 모드를 모바일 디바이스 또는 차량의 상태, 주변 상황, 사용자의 입력 등에 따라 적절히 변경하여 전력 소비를 줄이는 동시에 사용자의 편의성을 극대화한다. 자세한 제어부(180)의 모드 변경에 대하여는 이하 도 5 내지 도 12에서 자세히 설명한다.
도 4의 하단을 참조하면, 제어부(180)는 뎁스 카메라(121)의 모드를 변경할 수 있다. 여기서, 상기 모드는 전력 소비를 최적화하기 위한 적어도 하나의 모드를 포함한다.
도 4의 좌측을 참조하면, 제어부(180)는 뎁스 카메라(121)를 저전력 모드(low power mode)(501b)로 변경할 수 있다. 여기서, 저전력 모드(501b)는 뎁스 카메라(121) 근처의 적어도 하나의 오브젝트의 존재(presence)만을 디텍트하여 전력 소모량을 줄일 수 있는 모드가 될 수 있다. 적어도 하나의 오브젝트가 디텍트된 경우, 제어부(180)는 뎁스 카메라(121)를 레디 모드(505a)로 변경할 수 있다. 여기서, 레디 모드(505a)는 특정한 손의 모양 및 특정 손의 제스쳐 중 적어도 하나를 디텍트할 수 있는 모드가 될 수 있다. 예를 들면, 레디 모드(505a)는 액티브 모드(600b)의 활성화를 위한 활성화 제스쳐(activation gesture)를 디텍트할 수 있다. 특정 제스쳐가 디텍트된 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드(600b)로 변경할 수 있다. 여기서, 액티브 모드(600b)는 사용자의 손가락을 추적하는 모드가 될 수 있다.
제어부(180)는 전력 소비의 최적화를 위해 상황에 따라 뎁스 카메라(121)의 모드를 변경할 수 있다. 사용자의 입력을 수신한 경우, 제어부(180)는 뎁스 카메라(121)의 모드를 변경할 수 있다. 여기서, 사용자의 입력은 특정 키워드 또는 특정 제스쳐 중 적어도 하나가 될 수 있다. 예를 들면, 동영상 재생 시 타임라인(timeline)을 제어하는 경우 또는 검색결과로 제공되는 컨텐츠 리스트를 스크롤하는 경우와 같이 사용자가 모바일 디바이스(100)를 손 제스쳐 또는 손가락 제스쳐와 같은 3차원 인터페이스를 통해 세밀하게 제어하여야 할 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드(600b)로 변경할 수 있다. 사용자의 입력을 수신한 경우에만 뎁스 카메라(121)를 동작하는 경우, 제어부(180)는 뎁스 카메라(121)의 전력 소비를 최소화할 수 있다.
일정 조건을 만족하는 경우, 제어부(180)는 뎁스 카메라(121)의 모드를 변경할 수 있다. 예를 들면, 음성 인식 인터페이스가 외부의 소음 등으로 인하여 제대로 작동할 수 없는 경우, 제어부(180)는 뎁스 카메라(121)의 모드를 레디 모드(505a)로 변경할 수 있다. 다른 예를 들면, 차량의 주행 중에 메시지를 수신하고 이후 신호 대기로 정차한 경우, 제어부(180)는 뎁스 카메라(121)의 모드를 레디 모드(505a)로 변경할 수 있다. 일정 조건을 만족하는 경우에만 뎁스 카메라(121)를 동작하는 경우, 제어부(180)는 뎁스 카메라(121)의 전력 소비를 줄일 수 있다.
제어부(180)는 뎁스 카메라(121)를 항상 저전력 모드(501b)로 설정할 수 있다. 저전력 모드(501b)에서, 특정 제스쳐가 디텍트되거나 사용자의 시선이 디텍트된 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드(600b)로 변경할 수 있다. 뎁스 카메라(121)를 항상 저전력 모드(501b)로 설정한 경우, 전력 소비량은 증가하나 사용자는 항상 뎁스 카메라(121)의 깊이 이미지에 기초한 3차원 인터페이스를 사용할 수 있다.
이하에서 설명의 편의를 위해, 뎁스 카메라(121)로 디텍트 가능한 모바일 디바이스(100)에 근접한 사용자의 손의 움직임을 손 제스쳐(hand gesture)라고 지칭하고, 뎁스 카메라(121)로 디텍트 가능한 모바일 디바이스(100)에 근접한 사용자의 손가락 움직임을 손가락 제스쳐(finger gesture)라고 지칭한다. 여기서, 상기 제스쳐는 3차원 공간에서 사용자의 손 또는 손가락의 다양한 움직임(movement) 또는 형상(shape)을 포함한다. 예를 들면, 상기 손 제스쳐 또는 손가락 제스쳐는 모바일 디바이스(100)에 근접한 공간을 스와이프(swipe) 또는 푸쉬(push)하는 적어도 하나의 제스쳐가 될 수 있다.
제어부(180)는 뎁스 카메라(121)로 촬영한 깊이 이미지(depth image)를 통해 사용자의 손 모양(hand shape)을 디텍트할 수 있다. 특정 손 모양을 디텍트한 경우, 제어부는 상기 특정 손 모양에 대응하는 동작을 수행할 수 있다. 예를 들면, 권총 형상의 손 모양을 감지한 경우, 제어부는 보이스 커맨드 서비스를 실행할 수 있다. 여기서, 보이스 커맨드 서비스는 사용자의 발화를 인식하여 사용자의 발화에 대응하는 명령을 실행하는 서비스를 제공하는 어플리케이션을 말한다.
제어부(180)는 뎁스 카메라(121)로 촬영한 깊이 이미지를 통해 사용자의 손의 움직임을 디텍트 할 수 있다. 여기서, 손의 움직임은 간단한 제스쳐(simple gesture)가 될 수 있다. 특정 제스쳐를 디텍트한 경우, 제어부는 특정 제스쳐에 대응하는 동작을 수행할 수 있다. 예를 들면, 음악 재생 중 모바일 디바이스(100)에 근접한 공간을 스와이프(swipe)하는 동작을 디텍트한 경우, 제어부(180)는 재생 리스트의 이전 곡 또는 다음 곡을 재생하거나, 볼륨을 제어하거나, 일시 정지(pause)할 수 있다.
제어부(180)는 뎁스 카메라(121)로 촬영한 깊이 이미지를 통해 사용자의 손가락을 트래킹(tracking)할 수 있다. 사용자의 손이 디텍트된 경우, 제어부는 사용자의 손가락 끝(fingertip)을 정교하게 추적하여 3차원의 좌표를 생성할 수 있다. 손가락 끝의 움직임을 디텍트한 경우, 디텍트된 손가락 끝의 움직임에 대응하는 동작을 수행할 수 있다. 여기서, 상기 손가락 끝의 움직임은 터치 스크린(151)으로부터 이격한 일정 공간 내의 가상의 버튼 또는 사용자 인터페이스를 터치(touch), 클릭(click), 스크롤(scroll) 또는 플릭(flick)하는 제스쳐(gesture)를 포함할 수 있다. 예를 들면, 사용자가 상기 가상의 버튼을 클릭하는 경우, 제어부(180)는 터치 스크린(151)에 디스플레이된 아이콘을 선택할 수 있다. 제어부(180)는 사용자가 모바일 디바이스(100)을 응시하는 경우에만 손가락 끝으로 모바일 디바이스(100)를 제어할 수 있도록 할 수 있다.
도 5는 본 발명의 일 실시 예에 따른, 모바일 디바이스(100) 또는 차량의 상태에 따라 제공되는 사용자 인터페이스를 설명하는 테이블을 도시한 도면이다. 여기서, 상기 테이블은 모바일 디바이스(100) 또는 차량(vehicle)의 상태에 따라 활성화 시키는 인터페이스 모드를 정의하고 있는 메모리(170)에 저장된 데이터일 수 있다.
도 5를 참조하면, 제어부(180)는 디텍트된 상기 모바일 디바이스(100) 또는 차량의 상태에 따라, 상기 뎁스 카메라(121), 상기 터치 스크린(151), 또는 상기 음성인식부(145) 중 적어도 하나를 액티브 모드로 변경할 수 있다.
도 5의 좌측을 참조하면, 제어부(180)는 차량의 주행 상태에 따라 모바일 디바이스(100)의 제어를 위한 사용자 입력을 활성화하는 활성화 인터페이스를 다르게 설정할 수 있다. 여기서, 사용자 입력 및 사용자 입력을 활성화하는 활성화 인터페이스는 사용자의 음성, 간단한 손 제스쳐 또는 손가락 제스쳐가 될 수 있다. 예를 들면, 상기 간단한 손 제스쳐는 특정 방향으로 손을 스와이프(swipe)하거나 푸쉬(push)하는 제스쳐가 될 수 있다.
차량이 주행 중인 경우, 제어부(180)는 사용자의 음성 및 간단한 손 제스쳐 중 적어도 하나를 활성화 인터페이스(activation interface)로 설정할 수 있다. 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나를 디텍트한 경우, 제어부(180)는 사용자 입력을 활성화할 수 있다. 여기서, 활성화된 사용자 입력은 사용자의 음성 입력, 간단한 손 제스쳐 또는 손가락 제스쳐 중 적어도 하나일 수 있다.
차량이 주행 중인 경우, 제어부(180)는 사용자 입력을 활성화하기 위해 뎁스 카메라(121) 또는 음성인식부(145) 중 적어도 하나의 모드를 변경할 수 있다. 예를 들면, 제어부(180)는 상기 차량(vehicle)이 주행 중인 것으로 판단하고, 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나가 디텍트된 경우, 상기 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 여기서, 상기 뎁스 카메라(121)의 액티브 모드는 사용자의 손가락을 트래킹하는 모드이다. 다른 예를 들면, 제어부(180)는 상기 차량이 주행 중인 것으로 판단하고, 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나가 디텍트된 경우, 상기 음성인식부(145)를 액티브 모드로 변경할 수 있다. 여기서, 상기 음성인식부(145)의 액티브 모드는 사용자의 발화 중 음성 명령(voice command)을 디텍트하여 해당 음성 명령에 대응하는 명령을 실행하는 모드이다.
도 5의 우측을 참조하면, 차량 주행 중 사용자가 모바일 디바이스(100)를 응시하는 경우, 제어부(180)는 뎁스 카메라(121)를 통해 사용자의 시선(gaze)을 추적할 수 있다. 사용자의 시선이 디텍트된 경우, 제어부(180)는 디텍트된 사용자의 시선에 따라 사용자 입력에 대한 반응을 달리할 수 있다. 사용자가 음성 또는 손 제스쳐를 입력하는 경우, 제어부(180)는 사용자의 시선을 추적하지 않거나 무시할 수 있다. 사용자가 모바일 디바이스(100)를 응시하지 않고 사용자 입력을 입력하는 경우, 제어부(180)는 사용자 입력에 따른 동작을 수행하지 않을 수 있다. 여기서, 제어부(180)는 사용자 입력을 무시할 수 있다. 사용자가 모바일 디바이스(100)를 응시하면서 사용자 입력을 입력하는 경우, 제어부(180)는 위험 경고를 출력할 수 있다. 예를 들면, 제어부(180)는 상기 차량이 주행 중인 것으로 판단하고, 사용자의 손가락이 디텍트되고, 사용자가 상기 모바일 디바이스(100)를 응시하는 것으로 디텍트된 경우, 터치 스크린(151)에 경고 메시지를 디스플레이할 수 있다. 여기서, 제어부(180)는 차량의 속도에 따라 위험 경고 출력 여부를 달리할 수 있다.
도 5의 좌측을 참조하면, 차량이 정차 중인 경우, 제어부(180)는 사용자의 음성, 간단한 손 제스쳐 또는 손가락 제스쳐 중 적어도 하나를 활성화 인터페이스로 설정할 수 있다. 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나를 디텍트한 경우, 제어부(180)는 사용자 입력을 활성화할 수 있다. 여기서, 활성화된 사용자 입력은 사용자의 음성 입력, 간단한 손 제스쳐 또는 손가락 제스쳐 중 적어도 하나일 수 있다.
차량이 정차 중인 경우, 제어부(180)는 사용자 입력을 활성화하기 위해 뎁스 카메라(121) 또는 음성인식부(145) 중 적어도 하나의 모드를 변경할 수 있다. 예를 들면, 상기 차량이 정차 중인 것으로 판단한 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 여기서, 상기 액티브 모드는 사용자의 손가락을 트래킹하는 모드이다.
도 5의 우측을 참조하면, 차량 정차 중 사용자가 모바일 디바이스(100)를 응시하는 경우, 제어부(180)는 뎁스 카메라(121)를 통해 사용자의 시선을 추적할 수 있다. 차량이 정차 중 사용자가 모바일 디바이스(100)를 응시하는 것으로 디텍트된 경우, 제어부(180)는 뎁스 카메라(121) 또는 음성인식부(145) 중 적어도 하나를 액티브 모드로 변경할 수 있다. 차량 정차 중, 제어부(180)는 사용자의 시선과는 무관하게 사용자 입력에 따른 동작을 수행할 수 있다.
도 6은 본 발명의 일 실시 예에 따른, 사용자의 특정 손 제스쳐를 디텍스한 경우, 음성인식부를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 7은 도 6의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
도 6을 참조하면, 도 6의 제어 방법은 제어부(180)에 의하여 수행된다.
뎁스 카메라(121)를 활성화하고 저전력 모드로 변경한다(S321a).
손 제스쳐를 통해 액티브 모드의 활성화가 가능함을 알린다(S322a).
뎁스 카메라(121)의 데이터를 읽는다(S323a).
적어도 하나의 오브젝트의 존재(presence) 및 액티브 모드의 활성화를 위한 손 제스쳐를 감지한다(S324a).
음성인식부(145)를 액티브 모드로 변경한다(S330a).
이하 도 7에서 도 6의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
도 7의 좌측을 참조하면, 제어부(180)는 비활성화 상태의 뎁스 카메라(121)를 활성화 하고 저전력 모드로 변경한다. 여기서, 저전력 모드는 적어도 하나의 오브젝트의 존재를 디텍트할 수 있는 모드를 말한다. 예를 들면, 외부의 소음 레벨이 높아 키워드 인식을 통한 음성인식부(145)의 모드 변경이 어렵다고 판단된 경우, 제어부(180)는 뎁스 카메라(121)를 저전력 모드로 전환할 수 있다. 마이크(122)를 통해 기 설정 된 시간 이상 특정 레벨 이상의 음압을 디텍트한 경우, 제어부(180)는 음성인식부(145)를 저전력 모드 또는 액티브 모드로 전환할 수 있다. 이후, 제어부(180)는 사용자가 간단한 손 제스쳐(60)를 통해 액티브 모드를 활성화할 수 있음을 알린다. 예를 들면, 제어부(180)는 터치 스크린(151)에 손 제스쳐(60)의 입력을 대기 중임을 알리는 대기화면을 디스플레이할 수 있다. 제어부(180)는 뎁스 카메라(121)의 데이터를 읽는다. 저전력 모드에서 오브젝트의 존재가 디텍트된 경우, 제어부(180)는 특정 손 제스쳐(60)를 디텍트할 수 있는 레디 모드를 활성화한다. 특정 손 제스쳐(60)가 디텍트된 경우, 제어부(180)는 음성인식부(145)를 액티브 모드로 변경한다. 여기서, 상기 음성인식부(145)의 액티브 모드는 사용자의 발화 중 음성 명령을 디텍트하여 해당 음성 명령에 대응하는 명령을 실행하는 모드이다. 사용자는 음성 인식 인터페이스를 사용할 때 매번 키워드 호출을 해야 하는 번거로움을 피할 수 있다. 또한, 사용자는 음성인식부(145)의 모드를 항상 액티브 모드로 설정할 필요가 없어 모바일 디바이스(100)의 전력 소비를 줄일 수 있다. 나아가, 제스쳐를 통한 음성인식부(145)의 모드 변경은 음성 인식률이 상대적으로 낮은 레디 모드(505a)를 거치치 않아 사용자의 의사에 반하는 음성인식부(145)의 오동작을 줄일 수 있다.
도 7의 우측을 참조하면, 음성인식부(145)가 액티브 모드로 변경된 경우, 제어부(180)는 보이스 커맨드 서비스의 화면을 터치 스크린(151)에 디스플레이 할 수 있다. 여기서, 제어부(180)는 보이스 커맨드 서비스가 실행되고 있음을 알리는 안내문구 및 예시 발화를 터치 스크린(151)에 디스플레이할 수 있다. 제어부(180)는 사용자(10)의 발화(30)를 인식하여 사용자(10)의 발화(30)에 대응되는 명령을 실행할 수 있다. 예를 들면, 사용자(10)가 "노래 틀어줘"라고 발화한 경우, 제어부(180)는 스피커(152)를 통해 음악을 출력할 수 있다.
도 8은 본 발명의 일 실시 예에 따른, 차량 정차 중 사용자가 모바일 디바이스를 응시하는 것으로 디텍트된 경우, 뎁스 카메라를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 9는 도 8의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
도 8을 참조하면, 도 8의 제어 방법은 제어부(180)에 의하여 수행된다.
차량의 정차를 확인한다(S310b).
뎁스 카메라(121)를 활성화하고 게이즈 트래킹(gaze tracking)을 실행한다(S321b). 여기서, 게이즈 트래킹은 사용자(10)의 시선(11)을 트래킹하는 기능 또는 모드일 수 있다.
사용자(10)의 시선(11)을 추적 중임을 알린다(S322b).
사용자(10)가 디바이스를 응시하는지 여부를 디텍트한다(S323b).
뎁스 카메라(121)를 액티브 모드로 변경한다(S330b).
이하 도 9에서 도 8의 모바일 디바이스(100) 및 그 제어 방법을 상세히 설명한다.
도 9의 좌측을 참조하면, 제어부(180)는 차량의 정차 여부를 디텍트할 수 있다. 차량의 정차가 디텍트된 경우, 제어부(180)는 뎁스 카메라(121)를 활성화하고 게이즈 트래킹(gaze tracking)을 실행할 수 있다. 여기서, 게이즈 트래킹이란 사용자(10)의 시선(11)을 트래킹 하는 기능 또는 모드이다. 예를 들면, 도 4의 뎁스 카메라(121)의 저전력 모드(501b) 또는 레디 모드(505b)는 사용자(10)의 시선(11)을 트래킹 하는 게이즈 트래킹 모드를 포함할 수 있다. 게이즈 트래킹을 실행한 경우, 제어부(180)는 게이즈 트래킹이 실행 중임을 알릴 수 있다. 예를 들면, 제어부(180)는 게이즈 트래킹이 실행 중임을 알리는 화면을 터치 스크린(151)에 디스플레이할 수 있다. 게이즈 트래킹을 실행한 경우, 제어부(180)는 사용자(10)가 모바일 디바이스(100)를 응시하는지 여부를 디텍트할 수 있다.
도 9의 우측을 참조하면, 사용자(10)가 모바일 디바이스(100)를 응시하면, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 여기서, 액티브 모드는 사용자(10)의 손가락을 트래킹하는 모드이다. 액티브 모드로 변경한 경우, 제어부(180)는 디텍트된 사용자(10)의 손가락(21)의 위치 정보에 기초하여 사용자(10)의 손가락(21)의 위치에 대응되는 터치 스크린(151)의 영역에 인디케이터(21a)를 디스플레이할 수 있다. 제어부(180)는 사용자의 손가락(21) 제스쳐에 대응하는 명령을 실행할 수 있다. 인디케이터(21a)가 특정 방향(71)으로 이동하는 것을 디텍트한 경우, 제어부(180)는 상기 특정 방향(71)에 대응하는 명령을 실행할 수 있다. 예를 들면, 사용자(10)가 사용자(10)의 손가락을 터치 스크린(151)의 위쪽 또는 아래쪽을 향해 움직이는 경우, 제어부(180)는 터치 스크린(151)에 디스플레이되는 컨텐츠 화면을 확대 또는 축소할 수 있다.
도 10은 본 발명의 일 실시 예에 따른, 기 설정된 시간 이상 특정 레벨 이상의 음압을 디텍트할 경우, 음성인식부를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다. 도 11은 도 10의 플로우 차트에 따라 구현되는 그래픽 데이터의 변화를 도시하고 있다.
도 11(a)는 특정 레벨 이상의 음압을 감지한 경우, 뎁스 카메라(121)의 모드를 변경하는 것을 도시한 도면이다. 도 11(b)는 활성화 제스쳐를 디텍트한 경우, 음성인식부(145)의 모드를 변경하는 것을 도시한 도면이다. 도 11(c)는 활성화 제스쳐를 디텍트한 경우, 뎁스 카메라(121)의 모드를 변경하는 것을 도시한 도면이다.
도 10을 참조하면, 도 10의 제어 방법은 제어부(180)에 의하여 수행된다.
음압(sound pressure level)의 수준을 감지한다(S311c).
일정 시간 이상동안 특정 레벨 이상의 음압이 감지되는지 판단한다(S312c).
뎁스 카메라(121)를 활성화하고 저전력 모드로 진입한다(S321c).
액티브 모드가 가능함을 알린다(S322c).
뎁스 카메라(121)의 데이터를 읽는다(S323c).
대상(presence) 및 활성화 제스쳐(activation gesture)를 감지한다(S324c).
노이즈 소스(noise source)를 확인한다(S331c).
노이즈 소스가 제어 가능한지 판단한다(S332c).
볼륨을 제어하고 음성 명령 서비스를 실행한다(S333c). 여기서, 볼륨은 모바일 디바이스(100)의 볼륨 또는 차량의 AVN 시스템의 볼륨일수 있다.
뎁스 카메라(121)를 액티브 모드로 변경한다(S334c).
이하 도 11에서 도 10의 모바일 디바이스(100) 및 그 제어 방법을 자세히 설명한다.
도 11(a)를 참조하면, 제어부(180)는 음압의 수준을 감지할 수 있다. 특정 레벨 이상의 음압이 감지된 경우, 제어부(180)는 뎁스 카메라(121)를 활성화할 수 있다. 뎁스 카메라(121)를 활성화 하는경우, 제어부(180)는 뎁스 카메라(121)의 모드를 변경할 수 있다. 예를 들면, 제어부(180)는 일정 시간 이상 특정 레벨 이상의 음압이 감지된 경우, 뎁스 카메라(121)를 저전력 모드로 변경할 수 있다. 저전력 모드로 변경하는 경우, 제어부(180)는 활성화 제스쳐로 뎁스 카메라(121)를 액티브 모드로 변경 가능함을 알릴 수 있다. 예를 들면, 저전력 모드의 경우, 제어부(180)는 활성화 제스쳐의 이미지를 터치 스크린(151)에 디스플레이할 수 있다. 제어부(180)는 뎁스 카메라(121)의 데이터를 읽는다. 뎁스 카메라(121)의 데이터를 읽는 경우, 제어부(180)는 모바일 디바이스(100)에 근접한 적어도 하나의 오브젝트의 존재(presence)를 감지할 수 있다. 적어도 하나의 오브젝트의 존재가 디텍트된 경우, 제어부(180)는 상기 오브젝트의 깊이 이미지에 기초하여 활성화 제스쳐를 감지할 수 있다. 활성화 제스쳐가 디텍트된 경우, 제어부(180)는 노이즈 소스(noise source)를 확인할 수 있다. 여기서, 상기 노이즈 소스는 모바일 디바이스(100)의 스피커, AVN 시스템의 스피커, 차량 내/외부의 시스템의 스피커 또는 차량 외부의 소음일 수 있다. 노이즈 소스가 확인된 경우, 제어부(180)는 상기 노이즈 소스를 제어할 수 있는지 판단한다. 예를 들면, 제어부(180)는 근거리 통신 수단을 통해 AVN 시스템의 스피커의 출력 레벨을 제어할 수 있는지 판단한다. 여기서, 상기 근거리 통신 수단은 블루투스(BLUETOOTH), 적외선(infrared), 와이 파이(wifi), 무선 랜(wireless LAN), 케이블 등 일체의 근거리 유/무선 통신 수단을 포함한다.
도 11(b)를 참조하면, 노이즈 소스를 제어 가능한 경우, 제어부(180)는 해당 노이스 소스를 제어하고 음성인식부(145)를 액티브 모드로 변경할 수 있다. 여기서, 상기 액티브 모드는 사용자의 발화 중 음성 명령을 디텍트하여 해당 음성 명령에 대응하는 명령을 실행하는 모드이다. 예를 들면, 노이스 소스가 모바일 디바이스(100)의 스피커(152)인 경우, 제어부(180)는 모바일 디바이스(100)의 스피커(152) 볼륨을 낮추고, 보이스 커맨드 서비스의 화면을 터치 스크린(151)에 디스플레이할 수 있다. 여기서, 보이스 커맨드 서비스는 사용자의 발화를 인식하여 사용자의 발화에 대응하는 명령을 실행하는 서비스를 제공하는 어플리케이션을 말한다. 다른 예를 들면, 노이즈 소스가 차량 외부의 소음인 경우, 제어부(180)는 차량의 전자 제어 유닛(Electric Control Unit, ECU)과 연동하여 차량의 창문 개폐를 조절할 수 있다.
도 11(c)를 참조하면, 노이즈 소스를 제어할 수 없는 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 여기서, 상기 액티브 모드는 사용자의 손가락을 트래킹하는 모드이다. 제어부(180)는 사용자 설정에 따라, 노이즈 소스를 제어할 수 있는 경우에도, 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 예를 들면, 노이즈 소스를 제어할 수 있는 경우, 제어부(180)는 음성인식부(145) 및 뎁스 카메라(121) 중 적어도 하나의 모드를 액티브 모드로 변경할 수 있다. 뎁스 카메라(121)를 액티브 모드로 변경한 경우, 제어부(180)는 디텍트된 사용자의 손가락의 위치 정보에 기초하여 사용자의 손가락(21)의 위치에 대응되는 터치 스크린(151)의 영역에 인디케이터(21a)를 디스플레이할 수 있다. 사용자의 특정 방향(72)에 대한 손가락 제스쳐를 디텍트한 경우, 제어부(180)는 상기 특정 방향(72)에 대응하는 명령을 실행할 수 있다. 예를 들면, 사용자가 사용자의 손가락(21)을 터치 스크린(151)의 위쪽 또는 아래쪽을 향해 움직이는 경우, 제어부(180)는 터치 스크린(151)에 디스플레이되는 컨텐츠 리스트를 위쪽 또는 아래쪽으로 스크롤할 수 있다.
도 12는 본 발명의 일 실시 예에 따른, 특정 키워드 또는 특정 손 제스쳐가 디텍트된 경우, 뎁스 카메라를 액티브 모드로 변경하는 모바일 디바이스의 제어 방법을 도시한 플로우 차트이다.
도 12(a)는 특정 키워드를 디텍트하는 것을 도시한 도면이다. 도 12(b)는 특정 제스쳐를 디텍트하는 것을 도시한 도면이다. 도 12(c)는 뎁스 카메라(121)를 액티브 모드로 변경하는 것을 도시한 도면이다.
도 12를 참조하면, 특정 키워드 또는 특정 제스쳐 중 적어도 하나를 디텍트한 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 여기서, 상기 액티브 모드는 사용자의 손가락을 트래킹하는 모드이다.
도 12(a)를 참조하면, 음성 인식 인터페이스만으로 모바일 디바이스(100)의 세밀한 제어가 어려운 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 여기서, 상기 제어는 멀티미디어 컨텐츠 시청 중 타임라인의 조작 또는 컨텐츠 목록의 스크롤이 될 수 있다. 특정 키워드를 디텍트 하는 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 예를 들면, 사용자가 "하이, 엘지" 또는 "타임라인" 중 적어도 하나를 발화하는 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다.
도 12(b)를 참조하면, 특정 제스쳐를 디텍트하는 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다. 예를 들면, 터치 스크린(151) 위의 공간을 스와이프(swipe) 하는 활성화 제스쳐(20)를 디텍트한 경우, 제어부(180)는 뎁스 카메라(121)를 액티브 모드로 변경할 수 있다.
도 12(c)를 참조하면, 뎁스 카메라(121)를 액티브 모드로 변경한 경우, 제어부(180)는 사용자의 검지(21)의 위치에 대응되는 터치 스크린(151)의 영역에 인디케이터(21a)를 디스플레이할 수 있다. 제어부(180)는 특정 방향(73, 74)에 대한 사용자의 손가락 제스쳐를 디텍트하여 특정 방향(73, 74)에 대응하는 명령을 실행할 수 있다. 예를 들면, 멀티미디어 컨텐츠 재생 중 사용자의 검지가 왼쪽 또는 오른쪽 방향(73)으로 이동하는 것을 디텍트한 경우, 제어부(180)는 뒤로 감기 또는 빨리 감기를 실행할 수 있다. 다른 예를 들면, 사용자의 검지가 위쪽 또는 아래쪽 방향(74)으로 이동하는 것을 디텍트한 경우, 사용자가 컨텐츠 검색 결과 리스트를 위쪽 또는 아래쪽으로 스크롤할 수 있다.
본 발명의 일 실시 예에 따르면, 본 발명은 모바일 디바이스 또는 차량의 상태에 따라 뎁스 카메라 또는 음성인식부를 액티브 모드로 변경하여, 모바일 디바이스를 안전하고 편리하게 제어할 수 있는 인터페이스를 제공하므로 사용자 편의성을 향상시킬 수 있다.
본 발명의 다른 실시 예에 따르면, 본 발명은 차량이 주행 중에 특정 손 제스쳐가 디텍트된 경우, 음성인식부를 액티브 모드로 변경하여, 음성 명령 실행을 위해 매번 키워드 호출을 할 필요가 없으므로 사용자 편의성을 향상시킬 수 있다.
본 발명의 또 다른 실시 예에 따르면, 외부 소음 레벨이 높아 음성 인식률이 낮은 경우, 뎁스 카메라를 액티브 모드로 변경하여, 사용자 편의성을 향상시킬 수 있다.
본 발명의 또 다른 실시 예에 따르면, 모바일 디바이스의 세밀한 제어가 요구되는 경우, 뎁스 카메라를 액티브 모드로 변경하여, 사용자 편의성을 향상시킬 수 있다.
한편, 본 발명의 모바일 디바이스 제어 방법은 영상표시기기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 모바일 디바이스에 있어서,
    외부 장치 또는 서버와 통신하는 무선 통신부;
    적어도 하나의 오브젝트의 이미지 또는 깊이 이미지(depth image) 중 적어도 하나를 획득하는 뎁스 카메라(depth camera);
    외부 오디오 신호를 수신하는 마이크;
    상기 마이크를 통해 수신된 외부 오디오 신호를 인식하는 음성인식부;
    오디오 신호를 출력하는 스피커;
    적어도 하나의 컨텐츠를 디스플레이하는 터치 스크린;
    상기 모바일 디바이스 또는 차량(vehicle)의 상태에 따라 활성화 시키는 인터페이스 모드를 정의하고 있는 데이터를 저장하고 있는 메모리;
    상기 무선 통신부, 상기 뎁스 카메라, 상기 마이크, 상기 음성인식부, 상기 스피커 또는 상기 터치 스크린 중 적어도 하나를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 메모리에 저장된 데이터에 기초하여, 디텍트된 상기 모바일 디바이스 또는 차량의 상태에 따라, 상기 뎁스 카메라, 상기 터치 스크린, 또는 상기 음성인식부 중 적어도 하나를 액티브 모드로 변경하는
    모바일 디바이스.
  2. 제1항에 있어서,
    상기 제어부는
    상기 차량(vehicle)이 주행 중인 것으로 판단하고, 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나가 디텍트된 경우, 상기 뎁스 카메라의 모드를 액티브 모드로 변경하고,
    상기 뎁스 카메라의 액티브 모드는 사용자의 손가락을 트래킹하는 것을 특징으로 하는
    모바일 디바이스.
  3. 제1항에 있어서,
    상기 제어부는
    상기 차량이 주행 중인 것으로 판단하고, 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나가 디텍트된 경우, 상기 음성인식부의 모드를 액티브 모드로 변경하고,
    상기 음성인식부의 액티브 모드는 사용자의 발화 중 음성 명령을 디텍트하여 해당 음성 명령에 대응하는 명령을 실행하는 것을 특징으로 하는
    모바일 디바이스.
  4. 제1항에 있어서,
    상기 제어부는
    상기 차량이 주행 중인 것으로 판단하고, 사용자의 손가락이 디텍트되고, 사용자가 상기 모바일 디바이스를 응시하는 것으로 디텍트된 경우,
    상기 터치 스크린에 경고 메시지를 디스플레이하는
    모바일 디바이스.
  5. 제1항에 있어서,
    상기 제어부는
    상기 차량이 정차 중인 것으로 판단한 경우,
    상기 뎁스 카메라를 액티브 모드로 변경하되,
    상기 액티브 모드는 사용자의 손가락을 트래킹하는 것을 특징으로 하는
    모바일 디바이스.
  6. 제5항에서,
    상기 제어부는
    상기 사용자가 모바일 디바이스를 응시하는 것으로 디텍트된 경우,
    상기 뎁스 카메라를 상기 액티브 모드로 변경하는
    모바일 디바이스.
  7. 제1항에서,
    상기 제어부는,
    사용자의 특정 손 제스쳐 입력을 디텍트한 경우, 상기 음성인식부를 액티브 모드로 변경하고,
    상기 액티브 모드는 사용자의 발화 중 음성 명령을 디텍트하여 해당 음성 명령에 대응하는 명령을 실행하는 것을 특징으로 하는
    모바일 디바이스.
  8. 제1항에서,
    상기 제어부는,
    상기 마이크를 통해 기 설정된 시간 이상 특정 레벨 이상의 음압을 디텍트한 경우,
    상기 음성인식부를 상기 액티브 모드로 변경하는
    모바일 디바이스.
  9. 제8항에 있어서,
    상기 제어부는
    상기 이동 단말기의 스피커 또는 자동차의 오디오 시스템의 스피커로부터 출력되는 음성 신호의 볼륨을 제어하는 것을 특징으로 하는
    모바일 디바이스.
  10. 제1항에 있어서,
    상기 제어부는,
    특정 키워드 또는 특정 손 제스쳐 중 적어도 하나를 디텍한 경우,
    상기 뎁스 카메라를 액티브 모드로 변경하고,
    상기 액티브 모드는 사용자의 손가락을 트래킹하는 것을 특징으로 하는
    모바일 디바이스.
  11. 제1항에 있어서,
    상기 모바일 디바이스는 차량의 주행상태를 디텍트하는 센싱부를 포함하고,
    상기 제어부는 상기 센싱부의 센싱 데이터에 기초하여
    상기 뎁스 카메라, 상기 터치 스크린, 또는 상기 음성인식부 중 적어도 하나를 상기 액티브 모드로 변경하는
    모바일 디바이스.
  12. 제1항에 있어서,
    상기 무선 통신부는 차량의 AVN 시스템으로부터 차량의 주행상태와 관련된 데이터를 수신하고,
    상기 제어부는
    상기 차량의 주행상태와 관련된 데이터에 기초하여
    상기 뎁스 카메라, 상기 터치 스크린, 또는 상기 음성인식부 중 적어도 하나를 상기 액티브 모드로 변경하는
    모바일 디바이스.
  13. 모바일 디바이스의 제어 방법에 있어서,
    뎁스 카메라(depth camera)에 의해 적어도 하나의 오브젝트의 이미지 또는 깊이 이미지 중 적어도 하나를 획득하는 단계;
    상기 모바일 디바이스 또는 차량의 상태를 디텍트하는 단계;
    상기 모바일 디바이스 또는 차량의 주행 상태에 따라, 상기 뎁스 카메라, 상기 터치 스크린, 또는 상기 음성 인식 부 중 적어도 하나를 액티브 모드로 변경하는
    모바일 디바이스 제어 방법.
  14. 제13항에 있어서,
    상기 차량(vehicle)이 주행 중인 것으로 판단하고, 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나가 디텍트된 경우, 상기 뎁스 카메라의 모드를 상기 액티브 모드로 변경하는 단계를 더 포함하고,
    상기 뎁스 카메라의 액티브 모드는 사용자의 손가락을 트래킹하는 것을 특징으로 하는
    모바일 디바이스 제어 방법.
  15. 제13항에 있어서,
    상기 차량이 주행 중인 것으로 판단하고, 특정 키워드 또는 특정 손 제스쳐 중 적어도 하나가 디텍트된 경우, 상기 음성인식부의 모드를 액티브 모드로 변경하는 단계를 더 포함하고,
    상기 음성인식부의 액티브 모드는 사용자의 발화 중 음성 명령을 디텍트하여 해당 음성 명령에 대응하는 명령을 실행하는 것을 특징으로 하는
    모바일 디바이스 제어 방법.
PCT/KR2019/001766 2019-02-13 2019-02-13 모바일 디바이스 및 그 제어 방법 WO2020166736A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/001766 WO2020166736A1 (ko) 2019-02-13 2019-02-13 모바일 디바이스 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/001766 WO2020166736A1 (ko) 2019-02-13 2019-02-13 모바일 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2020166736A1 true WO2020166736A1 (ko) 2020-08-20

Family

ID=72044386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001766 WO2020166736A1 (ko) 2019-02-13 2019-02-13 모바일 디바이스 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2020166736A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113650623A (zh) * 2021-07-16 2021-11-16 精电(河源)显示技术有限公司 车辆控制方法、装置、终端设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006315597A (ja) * 2005-05-16 2006-11-24 Denso Corp 車載用表示装置
JP2007106372A (ja) * 2005-10-17 2007-04-26 Mitsubishi Electric Corp 車載機器制御装置
KR20160065589A (ko) * 2014-12-01 2016-06-09 현대모비스 주식회사 차량 디스플레이 장치 지향 방향 조절 시스템 및 방법
KR20170007001A (ko) * 2015-07-10 2017-01-18 현대자동차주식회사 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체
KR20170079045A (ko) * 2015-12-30 2017-07-10 주식회사대성엘텍 차량용 사용자 인터페이스 제공 방법 및 장치
KR20170100958A (ko) * 2016-02-26 2017-09-05 자동차부품연구원 차량용 제스처 인식 인터페이스 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006315597A (ja) * 2005-05-16 2006-11-24 Denso Corp 車載用表示装置
JP2007106372A (ja) * 2005-10-17 2007-04-26 Mitsubishi Electric Corp 車載機器制御装置
KR20160065589A (ko) * 2014-12-01 2016-06-09 현대모비스 주식회사 차량 디스플레이 장치 지향 방향 조절 시스템 및 방법
KR20170007001A (ko) * 2015-07-10 2017-01-18 현대자동차주식회사 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체
KR20170079045A (ko) * 2015-12-30 2017-07-10 주식회사대성엘텍 차량용 사용자 인터페이스 제공 방법 및 장치
KR20170100958A (ko) * 2016-02-26 2017-09-05 자동차부품연구원 차량용 제스처 인식 인터페이스 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113650623A (zh) * 2021-07-16 2021-11-16 精电(河源)显示技术有限公司 车辆控制方法、装置、终端设备及介质

Similar Documents

Publication Publication Date Title
WO2016010221A1 (ko) 이동 단말기 및 그 제어 방법
WO2016208797A1 (ko) 헤드셋 및 그 제어 방법
WO2016003036A1 (ko) 근접조도센서 모듈 및 이를 이용한 이동 단말기
WO2014157846A1 (en) Portable terminal, hearing aid, and method of indicating positions of sound sources in the portable terminal
WO2016076474A1 (ko) 이동단말기 및 그 제어방법
WO2019216467A1 (ko) 이동 단말기
WO2017026555A1 (ko) 이동 단말기
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2016190466A1 (ko) 상황에 따라 최적화된 화면을 디스플레이하는 웨어러블 단말기
WO2015108287A1 (ko) 이동 단말기
WO2018101508A1 (ko) 이동 단말기
WO2018135679A1 (ko) 이동 단말기
WO2018093005A1 (en) Mobile terminal and method for controlling the same
WO2018038288A1 (ko) 이동 단말기
WO2015125993A1 (ko) 이동 단말기 및 이동 단말기의 제어방법
WO2018135675A1 (ko) 전자장치
WO2016035955A1 (ko) 이동 단말기 및 그 제어방법
WO2016129781A1 (ko) 이동 단말기 및 그 제어 방법
WO2017030212A1 (ko) 이동 단말기 및 그 제어 방법
WO2017030236A1 (ko) 이동 단말기 및 이의 제어방법
WO2016195197A1 (en) Pen terminal and method for controlling the same
WO2016111406A1 (ko) 이동단말기 및 그 제어방법
WO2015122551A1 (ko) 이동단말기 및 그 제어방법
WO2020166736A1 (ko) 모바일 디바이스 및 그 제어 방법
WO2018084338A1 (ko) 이동 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914728

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914728

Country of ref document: EP

Kind code of ref document: A1