WO2020022567A1 - Smart device and method for controlling same - Google Patents

Smart device and method for controlling same Download PDF

Info

Publication number
WO2020022567A1
WO2020022567A1 PCT/KR2018/014220 KR2018014220W WO2020022567A1 WO 2020022567 A1 WO2020022567 A1 WO 2020022567A1 KR 2018014220 W KR2018014220 W KR 2018014220W WO 2020022567 A1 WO2020022567 A1 WO 2020022567A1
Authority
WO
WIPO (PCT)
Prior art keywords
smart device
voice
user
transparent window
height
Prior art date
Application number
PCT/KR2018/014220
Other languages
French (fr)
Korean (ko)
Inventor
박성흠
김영훈
강승원
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Publication of WO2020022567A1 publication Critical patent/WO2020022567A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Definitions

  • the present invention relates to a smart device and a control method thereof, and more particularly, to a smart device and a control method for outputting a feedback corresponding to a voice command in an audio-type or video-type.
  • Smart speaker basically has the advantage of being able to use it freely in indoor space such as home or office because it performs commands or communicates with user through voice, but audio-type information has User convenience may be impaired in some situations due to limitations in information volume, difficulty in processing visual information, and non-persistence of information output.
  • One object of the present invention is to provide a smart device in which the display direction is adjusted.
  • One object of the present invention is to provide a smart device in which the display direction is free to rotate.
  • an open cylindrical lower frame, a lower cylindrical opening upper frame and a cylindrical transparent window of the upper and lower portions disposed between the upper frame and the lower frame is opened,
  • a microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And outputting a display-back through the projector based on feedback data related to a voice command included in the user voice, wherein the display is performed in consideration of a user's position predicted based on user voices received from the plurality of microphones.
  • the smart device may output the feedback in a user-directed direction by adjusting the projection direction of the projector by the driving module.
  • the smart device can maintain a high quality image even if the projector projects the projection through the transparent window.
  • the smart device can overcome the limitation of the rotation angle due to the twist of the power line when the projector rotates the projector to adjust the projection direction.
  • FIG. 1 is a block diagram of a smart device according to an embodiment of the present invention.
  • FIGS. 2 to 6 are diagrams of some implementations of a smart device according to an embodiment of the present invention.
  • FIG. 7 and 8 are diagrams illustrating an example of an operation mode of a smart device according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating communication between a smart device and a voice assistant server according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of a smart device for outputting directional feedback according to an embodiment of the present invention.
  • FIG. 11 is a perspective view of an embodiment of a smart device for outputting directional feedback according to one embodiment of the present invention.
  • FIG. 12 is an exploded perspective view of an embodiment of a smart device for outputting directional feedback according to an embodiment of the present invention.
  • 13 and 14 illustrate output of directional feedback according to an embodiment of the present invention.
  • FIG. 18 is a perspective view of an example of a transparent window in accordance with one embodiment of the present invention.
  • 19-21 are cross-sectional views of some examples of transparent windows in accordance with one embodiment of the present invention.
  • 22 and 23 illustrate some examples of power modules according to one embodiment of the invention.
  • an open cylindrical lower frame, a lower cylindrical opening upper frame and a cylindrical transparent window of the upper and lower portions disposed between the upper frame and the lower frame is opened,
  • a microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And outputting a display-back through the projector based on feedback data related to a voice command included in the user voice, wherein the display is performed in consideration of a user's position predicted based on user voices received from the plurality of microphones.
  • the transparent window may have a smaller thickness at a second height where the thickness at the first height is smaller than the first height.
  • the thickness of the transparent window may be smaller as the height thereof is smaller.
  • the projection direction is lower than the horizontal, the distance that the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height may be substantially the same.
  • the transparent window may have a smaller thickness at a second height where the thickness at the first height is greater than the first height.
  • the transparent window may have a smaller thickness as the height thereof increases.
  • the projection direction is upward than the horizontal, the distance that the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height may be substantially the same.
  • the transparent window may have a smaller thickness at another point than the thickness at a specific point at which the horizontally projected beam passes.
  • the transparent window, the thickness of the light at the other point than the thickness of the height corresponding to the output portion of the projector may be smaller.
  • the transparent window may have a smaller thickness at a second height that is smaller or greater than the first point than the thickness at the first height.
  • the thickness of the transparent window may become smaller as it moves away from the first height.
  • the smart device 1000 may interact with a user through voice.
  • the smart device 1000 may receive a user voice and output a feedback requested by a voice command included in the user voice.
  • the smart device 1000 may output an audio-type or video-type feedback.
  • the smart device 1000 may include any kind of device capable of interacting voice with a user using a voice assistant function.
  • the smart device 1000 may be typically provided in the form of a smart speaker, but in addition, the smart device 1000 may be provided in the form of a smart phone, a smart tablet, a notebook, a smart television, a smart set-top box, a smart display, a smart projector, and the like. It is also possible.
  • the smart device 1000 may include a voice input module 1200 for receiving a user voice for interaction with a voice-based user and a voice output module for outputting an audio-type feedback. 1300.
  • the smart device 1000 may further include a display module 1400 for outputting a video-type feedback.
  • the smart device 1000 may further include some components including a communication module 1020 for communicating with an external device (for example, a voice assistant server) to realize a voice assistant function. The description will be described later.
  • the smart device 1000 may implement a voice assistant function.
  • the voice assistant function is a concept encompassing all functions that enable interaction between the user and the smart device 1000 using voice as a medium.
  • the smart device 1000 transmits the received user voice to the voice assistant server 10.
  • the voice assistant server 10 interprets a voice command included in the user's voice, obtains feedback data about feedback requested by the voice command, and transmits the feedback data to the smart device 1000.
  • the smart device 1000 outputs feedback based on the feedback data received from the voice assistant server 10.
  • the smart device 1000 may implement a voice assistant function.
  • the smart device 1000 has been described as implementing the voice assistant function in cooperation with the voice assistant server 10. However, in some cases, the smart device 1000 executes the voice assistant function locally by stand-alone. It may also be possible.
  • the voice assistant server 10 may collectively refer to a server that implements a voice assistant function in cooperation with the smart device 1000 according to an embodiment of the present invention.
  • the voice assistant server 10 receives a user's voice from the smart device 1000, extracts a voice command included in the user's voice, interprets the voice command, and provides feedback to the feedback that the smart device 1000 outputs in response to the voice command. It may be in charge of the function of generating the feedback data relating to the smart device 1000, and deliver it.
  • the voice assistant server 10 may be implemented as a single server physically and / or functionally or as a plurality of servers as necessary.
  • the voice assistant server 10 may include a voice recognition server that extracts a voice command from a voice received from a smart device, an artificial intelligence server that interprets the extracted voice command, a server that manages multimedia content to provide feedback, and the like. It can be a collection of the same server. That is, the voice assistant server 10 may be in the form of a single server that implements all of the functions mentioned above and other functions required for the implementation of the voice assistant function, as well as a collection of servers sharing each function.
  • the smart device 1000 may obtain a user voice through the voice input module 1200.
  • the user voice may mean a voice spoken by a user who uses the smart device 1000.
  • the operation mode of the smart device 1000 may be a standby mode.
  • the smart device 1000 may obtain a user voice.
  • a voice other than the user voice is included in the voice received by the smart device 1000.
  • examples of other voices may include voices due to feedback output from the smart device 1000 or voices due to noise generated in the surroundings.
  • these other voices may be referred to as other voices separately from user voices. do.
  • a voice due to the feedback output from the smart device 1000 will be referred to as a feedback voice.
  • the voice of a user may include a voice command for requesting a user to perform / process a specific operation on the smart device 1000.
  • the user voice may be interpreted as a term defined from an acoustic point of view
  • the voice command may be interpreted as a term defined from an information processing point of view. Therefore, in the present specification, a user voice and a voice command will be used as a distinction.
  • the distinction between a user voice and a voice command is not always clear, and in some cases the benefits of the distinction may be substantially ineffective, so that some of the descriptions and claims that follow will be described herein to those skilled in the art. Note that the two terms, voice and voice command, may be used interchangeably.
  • the user does not necessarily have to instruct the smart device 1000 through the voice command.
  • the user may interact with the smart device 1000 in various forms such as a button input, a touch, a gesture, and the like.
  • the smart device 1000 may not know in advance or is difficult whether the received voice is a user voice uttered by the user to use the smart device 1000, and thus, the smart device 1000 may perform a specific operation from the user. It may have a standby mode as a preliminary phase for entering a listening mode for receiving a user voice requiring execution / processing.
  • the wake-up word may mean a trigger for entering the listening mode from the standby mode.
  • the smart device 1000 may detect the wakeup word from the user voice received in the standby mode, and enter the listening mode when the wakeup word is detected. Accordingly, the wakeup word may be regarded as a special voice command for instructing the smart device 1000 to enter the listening mode from the standby mode.
  • the wake-up word may be regarded as a special voice command for instructing the smart device 1000 to enter the listening mode from the standby mode.
  • the wakeup word may be referred to as much as possible. In some cases, however, the wakeup word may be described as being a type of voice command. In addition, in the following description, the wakeup word may sometimes be replaced with the term hot word.
  • a single word or a plurality of words or phrases may be set as a wakeup word.
  • the wake-up word may be used as a call name or the like in which a user calls the smart device 1000.
  • the wakeup word may be determined in the setting process of the smart device 1000, and may be determined as 'computer', 'hey speaker', or the like.
  • the voice command may take the form of an arbitrary word, phrase, or sentence, and thus, a complicated operation is required to recognize and interpret the voice command from the user voice in order to perform the voice assistant function. Therefore, since the smart device 1000 does not recognize any voice command on its own, the process of processing the voice command from the user voice is usually performed in the voice assistant server 10. In contrast, since the wakeup word is only a single word or a set of several words, the process of detecting the wakeup word from the user's voice may be processed locally in the smart device 1000.
  • the feedback may mean a response that the smart device 1000 outputs in response to an instruction, a request, or a request that the smart device 1000 is requested from a user.
  • Feedback herein may include audio-type feedback and video-type feedback.
  • the audio-type feedback may refer to auditory feedback output through the voice output module 1300.
  • the audio-type feedback will be referred to as a talkback for convenience of description.
  • the video-type feedback may refer to visual feedback output through the display module 1400.
  • the video-type feedback will be referred to as a display bag for convenience of description.
  • talk-back includes the word 'talk'
  • the talk-back does not necessarily mean conversational feedback but is interpreted as encompassing all of the auditory feedback such as music or sound effects. Should be.
  • the display back refers to the video-type feedback
  • the display back has been described as visual feedback and the talkback as an acoustic feedback
  • the display back can be interpreted to include the addition of the acoustic feedback to the visual feedback for convenience of description.
  • the smart device 1000 may be described as outputting the display back with respect to the smart device 1000 playing multimedia content that provides an audiovisual experience such as a movie or a game.
  • the display back may include a TV program, a movie or music video, a youtube streaming service, or the like.
  • FIG. 1 is a block diagram of a smart device 1000 according to an embodiment of the present invention.
  • the smart device 1000 may include a voice input module 1200, a voice output module 1300, a communication module 1020, a memory 1040, and a controller 1060.
  • the smart device 1000 receives a user voice through the voice input module 1200, transmits the user voice to the voice assistant server 10 through the communication module 1020, and requests a voice command included in the user voice.
  • Receiving the received feedback data, and outputting the talkback through the voice output module 1300, and the controller 1060 can control each module or process various information necessary for the above-described process, the memory 1040 Various information can be stored therein.
  • the smart device 1000 may further include a display module 1400 to output the display back.
  • the smart device 1000 may further include a driving module 1500 for adjusting the direction of the display back.
  • the voice input module 1200 may receive various voices including a user voice.
  • the voice input module 1200 may be provided with a single or a plurality of microphones 1202.
  • the voice input module 1200 may be provided to the microphone array 1204 in which the plurality of microphones 1202 are formed in a predetermined shape.
  • the voice output module 1300 may output various sounds including the talkback.
  • the voice output module 1300 may be provided as a single or a plurality of speakers 1302.
  • the voice output module 1300 may be arranged in a structure having omnidireictional as needed. Alternatively, the voice output module 1300 may be arranged in a structure that outputs sound in a directional manner as needed.
  • the display module 1400 may output various images including a display back.
  • the display module 1400 may be implemented in the form of a display panel 1420 or a projector 1440.
  • the direction of the display module 1400 or the direction of the display bag output by the display module 1400 may be adjusted by the driving module 1500.
  • the smart device 1000 may output a display back through the projector 1440, and the display area or the projection direction in which the display back is output may be dynamically adjusted around the user by the driving module 1500.
  • the driving module 1500 may further include a direction detecting sensor 1560 for detecting a direction of the current display back.
  • the direction sensor 1560 may sense a direction in which the projector 1440 is disposed.
  • the communication module 1020 communicates with an external device.
  • the smart device 1000 may transmit / receive information with the voice assistant server 10 through the communication module 1020. More specifically, the smart device 1000 may communicate with the voice assistant through the communication module 1020.
  • the user voice may be transmitted to the server 10, and feedback data may be received from the voice assistant server 10 through the communication module 1020.
  • the communication module 1020 may be largely divided into a wired type and a wireless type.
  • the wired type and the wireless type have advantages and disadvantages, and the smart device 1000 may be provided with a wired type communication module 1020 and / or a wireless type communication module 1020.
  • a wired LAN (Local Area Network) or a USB (Universal Serial Bus) communication is a typical example, but other methods are possible.
  • a mobile communication method a communication method of a wireless personal area network (WPAN) series such as Bluetooth or Zigbee, and a communication method of a wireless local area network (WLAN) series such as Wi-Fi And other known communication schemes.
  • WPAN wireless personal area network
  • WLAN wireless local area network
  • the memory 1040 may store various kinds of information.
  • the memory 1040 may store data temporarily or semi-permanently. Examples of the memory 1040 include a hard disk drive (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), and the like. This can be.
  • the memory 1040 may be provided in a form embedded in the smart device 1000 or a form detachable from the feedback device.
  • the memory 1040 stores an operating program (OS) for driving the smart device 1000, various applications installed on the smart device 1000, and various data required or used for the operation of the smart device 1000. Can be.
  • OS operating program
  • the controller 1060 may control overall operations of the smart device 1000. For example, outputting the display back by the smart device 1000 may be performed as the controller 1060 controls the display module 1400, and the smart device 1000 communicates with the voice assistant server 10. This may be performed as the controller 1060 controls the communication module 1020.
  • the control operation of the controller 1060 may be performed as the controller 1060 performs calculation and processing of various information.
  • the controller 1060 may be implemented as a computer or a similar device according to hardware, software, or a combination thereof.
  • the controller 1060 may be provided in the form of an electronic circuit that processes an electrical signal to perform a control function, and may be provided in the form of a program or code that drives a hardware circuit in software.
  • the controller 1060 may have a single physical configuration, but in some cases, may be provided in a physically separated form. In other words, the controller 1060 may be manufactured as a single chip, but may be provided as a plurality of chips or substrates that are physically distributed, and in this case, a communication interface between the separate controllers 1060 may be connected. have.
  • FIG. 2 to 6 are perspective views of embodiments of the smart device 1000 according to an embodiment of the present invention.
  • the smart device 1000 may be provided in the form of a smart speaker 1000a mounted on a horizontal surface such as a table or a floor as shown in FIG. 2.
  • the housing 1100 may include a lower surface 1101 lying on a horizontal surface, an upper surface 1102 corresponding to the lower surface 1101, and a side surface 1103 connecting the lower surface 1101 and the upper surface 1102. have.
  • FIG. 2 illustrates the housing 1100 in a circular pillar shape, but the housing 1100 may have various shapes such as a polygonal pillar, an upper surface 1102 having a tapered surface inclined, or a polygonal pillar, a circle or a polygonal horn. .
  • the smart device 1000 may be provided with an indicator 1106 indicating an operation mode of the smart device 1000.
  • the indicator 1106 may be a lamp or the like that displays a specific color or a specific pattern, depending on the mode of operation.
  • FIG. 2 illustrates that the indicator 1106 is disposed to surround the edge of the side surface 1103 of the housing 1100, the shape or position of the indicator 1106 is not limited to FIG. 2.
  • the smart device 1000 may be provided with a microphone array 1204 including a plurality of microphones 1202.
  • the plurality of microphones 1202 may be disposed radially on the top surface 1102 of the housing 1100 or along the side 1103 of the housing 1100 as shown in FIG. 2.
  • the smart device 1000 may be provided with a single microphone 1202.
  • the microphone 1202 may be a point on the side 1103 of the housing 1100 in the direction in which the smart device 1000 is mainly used. It may be disposed on the upper surface 1102 of the housing 1100.
  • the smart device 1000 may be provided with a single speaker 1302 to output voice in a non-directional manner.
  • the speaker 1302 is arranged to output voice toward the lower surface 1101 of the housing 1100 inside the housing 1100, and a cone-shaped protrusion is provided on the lower surface 1101 of the housing 1100.
  • the sound path may be output in the omnidirectional direction of the housing 1100.
  • a plurality of speakers 1302 may be provided, and in this case, the smart device 1000 may output directional voice or output voice in a multi-channel (for example, stereo sound or 5.1 channel).
  • the smart device 1000 since the display module 1400 is not mounted in the smart device 1000, the smart device 1000 may not output the display back. Some of the smart device 1000 and the control method thereof according to an embodiment of the present invention to be described later may be applied to the smart device 1000 in which the display module 1400 is mounted, but the other part is the display module 1400. Note that it can also be applied to the smart device 1000 without.
  • the smart device 1000 may be mounted on a horizontal surface such as a table or a floor, as shown in FIG. 3, and provided as a form 1000b including a display panel 1420.
  • the display device 1420 may be provided in the smart device 1000.
  • the display panel 1420 may be mainly provided on one surface of the housing 1100.
  • the smart device 1000 may output various images (eg, a display back) through the display panel 1420.
  • the display panel 1420 may function as a touch input interface.
  • the indicator 1106 may be selectively provided in the smart device 1000 in this example.
  • the voice output module 1300 and the voice input module 1200 may be provided in various arrangements.
  • the smart device 1000 of the present example has been described as being stationary.
  • the smart device 1000 may be provided as a wall-mounted device.
  • a mounting means for hanging the smart device 1000 on the wall may be provided in the housing 1100.
  • the mounting means may be provided as an adhesive layer, a bracket, a recess or the like.
  • the smart device 1000 may be provided in the form 1000c including the projector 1440 as shown in FIG. 4. Accordingly, the smart device 1000 may output various images through the projector 1440.
  • the smart device 1000 shown in FIG. 4 may be mounted on a horizontal plane or installed on a ceiling or a wall. If a short projection distance is desired, an ultra short throw (UST) projector may be used as the projector 1440 of the smart device 1000.
  • UST ultra short throw
  • the smart device 1000 may optionally include a touch input interface, a gesture input interface, a gaze recognition interface, and / or a space recognition interface.
  • the touch input interface may detect a user's touch input on a surface on which the smart device 1000 is placed or a surface on which the smart device 1000 projects the display back.
  • An example of the touch input interface is an infrared touch sensor.
  • the infrared touch sensor may include light emitting means for irradiating infrared rays and light receiving means for receiving infrared rays, and may acquire a touch input by using infrared rays emitted by the light emitting means being reflected by a user's body and received by the light receiving means. .
  • a general camera or an infrared camera may be used instead of the light receiving means.
  • the light emitting means emits infrared light so as to form a predetermined pattern, and the touch input may be obtained by detecting that the pattern is deformed by the user's body in the infrared camera.
  • the gesture input interface may recognize a gesture (for example, an arm gesture, a finger gesture, a finger shape, etc.) expressed by the user's body based on various images.
  • a gesture for example, an arm gesture, a finger gesture, a finger shape, etc.
  • the gesture input interface has an advantage of receiving a gesture for a space without receiving only a touch on a physical surface.
  • the gaze recognition interface may recognize the gaze of the user of the smart device 1000.
  • the gaze recognition interface may recognize a direction viewed by a user or a point viewed by the user as two-dimensional or three-dimensional information.
  • the space aware interface may recognize a space and an object around the smart device 1000.
  • the space recognition interface may recognize a structure of a room where the smart device 1000 is placed, a location, a shape, etc. of an object placed in the vicinity.
  • the touch input interface, the gesture input interface, the gaze recognition interface, and / or the space recognition interface of the smart device 1000 are not limited to the above examples, and various modifications apparent to those skilled in the art are possible. It is also noted that the touch input interface, gesture input interface, gaze recognition interface, and / or space aware interface may be applied to the smart device 1000 as well as other implementations of the smart device 1000 of the present example.
  • the smart device 1000 may be provided in a form 1000d in which the projection direction is adjusted as the mounting direction thereof is adjusted.
  • the housing 1100 of the smart device 1000 may have at least two mounting surfaces 1104 and 1105, and the housing 1100 may be one of the two mounting surfaces 1104 and 1105. It may be determined whether the projection direction is facing the wall or the bottom surface depending on whether or not it is mounted. In other words, the projection direction or the projection area of the smart device 1000 may be adjusted by the user manually adjusting the mounting posture of the smart device 1000.
  • the smart device 1000 may automatically adjust the projection direction.
  • the smart device 1000 may further include a driving module 1500 for adjusting the direction of the projection or the area of the projection.
  • the smart device 1000 may be provided with a driving motor 1500 that rotates the projector.
  • the smart device 1000 may be provided as a driving module 1500 such as a reflection mirror for adjusting the light path of the projection.
  • the driving module 1500 may be provided in a combination of the rotating motor 1520 and the reflection mirror.
  • the reflective mirror may be implemented as a solid-state or may be provided as a physically oriented nodal mirror or polygonal mirror, such as a MEMS mirror, a resonance mirror, or the like.
  • the smart device 1000 is mounted on a table and outputs a display back on the table.
  • the smart device 1000 may move the projection direction of the display back to the user direction using the driving module 1500.
  • the smart device 1000 may properly adjust the wall surface or the table surface as necessary in the projection direction by using the driving module 1500.
  • the smart device 1000 which automatically adjusts the projection direction or the projection area is not limited to the form having the projector 1440.
  • a driving module 1500 that adjusts the direction of the display panel 1420 is mounted on the smart device 1000 of the type shown in FIG. 5 so that the smart device 1000 is automatically displayed through the driving module 15000. It is also possible to adjust the direction.
  • the smart device 1000 may have an off state in which the device does not operate. In the off state, the device may be turned off because it is not powered, or in a hibernation state with minimal power.
  • the smart device 1000 may operate in the standby mode without receiving a special instruction from the user. For example, the smart device 1000 may enter a standby mode when power is applied.
  • the standby mode is a phase in which a user receives an intention to use the smart device 1000.
  • the smart device 1000 may perform an operation of detecting the wakeup word from the user's voice in the standby mode, and determine a user's intention to use the smart device 1000 according to whether the wakeup word is detected. have.
  • the smart device 1000 may receive a voice through the voice input module 1200.
  • the voice input module 1200 may non-selectively receive the voice. Since the smart device 1000 does not know whether the received voice is a user voice uttered toward the smart device 1000, the smart device 1000 may not transmit the received voice to the voice assistant server 10 for interpretation of the voice command.
  • the smart device 1000 may detect a wakeup word from the received voice.
  • the wakeup word may be a specific word or phrase predetermined by the manufacturer of the smart device 1000 or may be selected by a user from a specific word group or phrase group predetermined by the manufacturer of the smart device 1000.
  • the controller 1060 of the smart device 1000 may detect a wakeup word from a voice received locally directly without cooperation with the voice assistant server 10.
  • the smart device 1000 may determine a user's intention to use the smart device 1000 based on whether a wakeup word is detected from the received voice.
  • the smart device 1000 may be understood as a user intending to use the smart device 1000.
  • the smart device 1000 may enter a listening mode in preparation for receiving a user voice containing a voice command from the user. On the contrary, when the wake-up word is not detected from the received voice, the smart device 1000 may understand that the user does not intend to use the smart device 1000. Instead, the smart device 1000 enters the listening mode. Standby mode can be maintained.
  • the standby mode is a mode for detecting / recognizing the wakeup word, it may also be referred to as a wakeup word detection state or mode in some cases.
  • the smart device 1000 may enter the listening mode. Meanwhile, the smart device 1000 may be provided with a button for instructing to enter the listening mode, and the smart device 1000 may enter the listening mode in response to a user input for the corresponding button.
  • the smart device 1000 may receive a user voice through the voice input module 1200.
  • the user's voice input in the listening mode may include a voice command for instructing a specific operation of the smart device 1000.
  • voice commands may take predominantly natural language forms. Recognizing natural language voice commands may be difficult to process locally due to a high amount of computation, so that the smart device 1000 may collaborate with the voice assistant server 10 to interpret voice commands from the user's voice.
  • the smart device 1000 may transmit the input user voice to the voice assistant server 10 for interpretation of the voice command included in the user voice.
  • the smart device 1000 may transmit the user voice to the voice assistant server 10 in some manner.
  • the smart device 1000 may transmit a user voice received in a listening mode to the voice assistant server 10 in real time.
  • the smart device 1000 may collect the received user voices and then collectively transmit the collected user voices to the voice assistant server 10.
  • the voice assistant server 10 may interpret the voice command from the user voice received from the smart device 1000, generate feedback data corresponding to the interpreted voice command, and return it to the smart device 1000.
  • the smart device 1000 may perform pre-processing on the user voice. Examples of preprocessing include noise canceling, speech data compression, and the like.
  • preprocessing include noise canceling, speech data compression, and the like.
  • the smart device 1000 may receive the user voice including the talk back and voice commands together. Can be.
  • the smart device 1000 may extract the user voice part from the received voice by removing the talk back part of the received voice by using the information on the talk back output by itself.
  • the smart device 1000 may perform an operation for creating a quiet surrounding environment in order to receive a clean user voice. For example, when the smart device 1000 enters the listening mode, the smart device 1000 may stop the output of the talkback that is being output or reduce the audio volume of the talkback. For example, when the smart device 1000 playing the radio news enters the listening mode, the smart device 1000 may pause the live news being played.
  • the smart device 1000 may maintain the listening mode for a certain time period. For example, when the smart device 1000 transmits a user input containing a voice command to the voice assistant server 10 and receives feedback data from the voice assistant server 10, the smart device 1000 may end the listening mode. For another example, when the input of the user voice is completed or when the voice is not input for a predetermined time after the user voice is input, the smart device 1000 may end the listening mode. For another example, the smart device 1000 may end the listening mode when there is no input of the user's voice for a predetermined time after entering the listening mode.
  • a time interval during which the smart device 1000 maintains a listening mode will be referred to as a 'listening window'.
  • an operation in which the smart device 1000 enters a listening mode is referred to as 'opening a listening window'
  • an operation in which the smart device 1000 terminates a listening mode is referred to as a 'listening window'.
  • a state in which the smart device 1000 maintains the listening mode will be referred to as a 'closing a listening window' state.
  • the smart device 1000 may detect the wakeup word from the user voice even in the listening mode. When the wake-up word is detected in the listening mode, the smart device 1000 may restart the listening mode and initialize the listening window.
  • the voice assistant server 10 extracts the voice command from the user voice, interprets the extracted voice command, and interprets the analyzed voice command.
  • the feedback data may be generated based on the command and transferred to the smart device 1000.
  • the smart device 1000 receiving the feedback data may output the feedback using the feedback data.
  • the response mode is to receive feedback and output it.
  • the smart device 1000 receives the feedback data and outputs the feedback accordingly, and the smart device 1000 may output the talk back and / or the display back.
  • the smart device 1000 may enter the standby mode at the same time as receiving the feedback data to start the output of the feedback or immediately after the output of the feedback. In this case, the smart device 1000 may output the feedback in the standby mode or the listening mode. According to an aspect, instead of defining that the smart device 1000 maintains the output of the feedback in the standby mode or the listening mode, it may be interpreted that the response mode and the standby mode are operated at the same time.
  • the smart device 1000 which is requested to stream live news from a user, receives feedback data about live news from the voice assistant server 10 in response mode, starts playback of live news, and enters standby mode. You can continue streaming live news.
  • the smart device 1000 may enter the listening mode but still maintain the live news streaming.
  • the smart device 1000 does not need to operate all the above-described modes.
  • the response mode may be omitted in the operation mode of the smart device 1000.
  • all of the above-described smart devices 1000 according to an embodiment of the present invention do not have to be operated independently.
  • the smart device 1000 may have an operation mode in which all or part of the standby mode, the listening mode, and the response mode are duplicated.
  • FIG. 7 and 8 are views illustrating an operation of an operation mode of the smart device 1000 according to an embodiment of the present invention
  • FIG. 9 is a smart device 1000 and a voice assistant according to an embodiment of the present invention. It is a figure regarding the communication between the servers 10.
  • FIG. 9 is a smart device 1000 and a voice assistant according to an embodiment of the present invention. It is a figure regarding the communication between the servers 10.
  • the smart device 1000 may enter the standby mode from the off state.
  • the smart device 1000 in the standby mode may continuously receive a voice through the voice input module 1200 and detect a wakeup word from the received voice.
  • the smart device 1000 may enter a listening mode. Alternatively, the smart device 1000 may enter the listening mode even when a user input such as a touch / button / gesture indicating the listening mode is input. In the listening mode, the smart device 1000 may receive a user voice containing a voice command.
  • the smart device 1000 may transmit the received user voice to the voice assistant server 10.
  • the smart device 1000 may receive feedback data for a voice command from the voice assistant server 10 and output feedback based on the feedback data.
  • the smart device 1000 in the listening mode may return from the listening mode to the standby mode. For example, if the user voice is not input after entering the listening mode, the smart device 1000 in the listening mode may return to the standby mode. For example, the smart device 1000 in the listening mode may return to the standby mode if no additional user voice is input after the user voice is input. For example, when the smart device 1000 in the listening mode transmits a user's voice to the voice assistant, when the feedback data of the feedback related to the voice command is received from the voice assistant server 10 or the feedback data is based on the feedback data. When the output (or the start of the output) is performed, it may return to the standby mode.
  • the smart device 1000 may enter a standby mode from an off state.
  • the smart device 1000 in the standby mode may continuously receive a voice through the voice input module 1200 and detect a wakeup word from the received voice.
  • the smart device 1000 may enter a listening mode.
  • the smart device 1000 may receive a user voice containing a voice command.
  • the smart device 1000 may transmit the received user voice to the voice assistant server 10.
  • the smart device 1000 that transmits the received user voice to the voice assistant server 10 may enter a response mode and output feedback.
  • the smart device 1000 in the listening mode may enter the response mode when the user voice is transmitted to the voice assistant server 10 or when the feedback data is received from the voice assistant server 10.
  • the smart device 1000 may receive feedback data for a voice command from the voice assistant server 10 and output feedback based on the feedback data.
  • the smart device 1000 that terminates the output of the feedback or initiates the output of the feedback may return to the standby mode.
  • the smart device 1000 in the listening mode does not receive the user voice while in the listening mode, the smart device 1000 may return to the standby mode instead of entering the response mode.
  • the smart device 1000 may output the feedback to a position or direction suitable for the user to watch.
  • the smart device 1000 for outputting user-oriented feedback according to an embodiment of the present invention may appropriately adjust an area, a position or a direction in which the feedback is output in consideration of the user's position or the user's direction.
  • the user-oriented feedback may refer to feedback that is output toward an appropriate position for the user to appreciate.
  • the smart device 1000 may display the display-back in the vicinity of the user or in the direction in which the user is looking.
  • the smart device 1000 may output the talk-back toward the user.
  • the user-directed feedback may be applied to both talk-back and display-back as described above, but for the convenience of description, the following description will be made based on the fact that the user-directed feedback is display-back.
  • the display-back which is user-directed feedback
  • the display panel 1420 or the display module 1400, which is a projector 1440 may be output by the display panel 1420 or the display module 1400, which is a projector 1440.
  • the display-back which is user-oriented feedback
  • the display-back may be output by the projector 1440. Based on the output through) will be described.
  • the method of adjusting the projection direction of the projector 1440 to output the display-back which is user-directed feedback may be applied to the method of adjusting the display direction of the display.
  • 'directional feedback' means user-oriented feedback
  • 'directional display-back' means display-back having user orientation
  • FIG. 10 is a block diagram of a smart device 1000 for outputting directional feedback according to an embodiment of the present invention
  • FIG. 11 is an example of an implementation of a smart device 1000 for outputting directional feedback according to an embodiment of the present invention
  • 12 is an exploded perspective view of an embodiment of a smart device 1000 for outputting directional feedback according to an embodiment of the present invention.
  • a smart device 1000 for outputting directional feedback according to an embodiment of the present invention will be described with reference to FIGS. 10 to 12, but an embodiment of the directional smart device 1000 is always illustrated in FIG. 11 or 12.
  • the present invention may be implemented in various other forms including, but not limited to, those shown in FIGS. 2 to 6.
  • the description of the smart device 1000 that outputs the following directional feedback may be applied to the overall smart device 1000 referred to herein.
  • the smart device 1000 may include a housing 1100, an indicator 1106, a voice input module 1200, a user position sensing module 1700, a voice output module 1300, a display module 1400,
  • the driving module 1500 may include a power module 1600, a heat dissipation module 1800, a communication module 1020, a memory 1040, and a controller 1060.
  • the housing 1100 forms an appearance of the smart device 1000.
  • the housing 1100 may accommodate other components of the smart device 1000 therein and may protect them from external shock.
  • the housing 1100 may induce aesthetics for the user.
  • the housing 1100 may take a form suitable for an environment in which the smart device 1000 is used.
  • the housing 1100 of the smart device 1000 mounted and used on the table may have a mounting surface on its bottom such that the smart device 1000 is stably supported on the table.
  • the housing 1100 of the smart device 1000 installed on the wall or ceiling may have a form suitable for the same.
  • Specific examples of the shape of the housing 1100 include a circle or a polygonal pillar, a cone, a polygonal pyramid, a hexahedron, and the like.
  • the housing 1100 may have a circular columnar shape as shown in FIG. 11.
  • the housing 1100 may include a lower frame 1120, an upper frame 1140, and a transparent window 1160.
  • the lower frame 1120 and the upper frame 1140 are mainly provided with an opaque material, and the transparent window 1160 is disposed between the upper frame 1140 and the lower frame 1120 and may be provided with a transparent material.
  • the transparent window 1160 may be provided in a ring shape surrounding the housing 1100 in a ring shape.
  • the transparent window 1160 may serve as a path through which light constituting an image output by the projector 1440 disposed in the housing 1100 is output to the outside of the housing 1100.
  • the transparent window 1160 is configured to seal the housing 1100 while passing light emitted from the projector 1440 to the outside. Thus, if necessary, the transparent window 1160 is removed from the housing 1100, and instead, a hole, groove, or slit is provided to the housing 1100, which provides a path for the light output from the projector 1440 to be output to the outside. It is also possible to form.
  • the indicator 1106 may be installed on the outer surface of the housing 1100.
  • the indicator 1106 displays the state of the smart device 1000.
  • the indicator 1106 may display the state of the smart device 1000 by displaying a specific color or a specific pattern.
  • the indicator 1106 may include an array of LEDs radially formed on the upper surface or the upper side of the housing 1100 as shown in FIG. 11.
  • the LED array determines whether the smart device 1000 is in standby mode, listening mode, or feedback mode, whether it is in a normal or malfunctioning state, power state, or communication through the color or the order or direction in which LEDs included in the LED array are turned on. Various information such as status can be expressed.
  • the voice input module 1200 may receive a voice.
  • the voice input module 1200 may include a microphone array 1204 that is radially formed on an upper surface or an upper side of the housing 1100.
  • the arrangement of the microphone array 1204 is not limited by FIG.
  • the microphone array 1204 may include a plurality of microphones 1202, each receiving voice. When the microphone array 1204 having a plurality of arcs is used, the position of the sound source may be detected when voice is received. In more detail, the plurality of microphones 1202 may receive user voices having different voice sizes, reception points, and reflection sounds depending on the location of the user with respect to the smart device 1000.
  • the controller 1060 may obtain a location, a distance, and / or a direction of the user with respect to the smart device 1000 by comparing user voices received from each of the plurality of microphones 1202.
  • the user location may be interpreted as a concept including at least one of a user's distance and a user's direction.
  • the user's location, distance, and direction for the smart device 1000 may be referred to as 'user location', 'user' Distance 'and' user direction '.
  • the user location sensing module 1700 may detect a user location, a user distance, and / or a user direction. Accordingly, the microphone array 1204 illustrated in FIG. 11 may be the voice input module 1200 and the user position sensing module 1700. If the smart device 1000 can detect the user location using the microphone array 1204, the user location sensing module 1700 may be configured only of the microphone array 1204. However, in addition to the microphone array 1204, other sensors may be additionally included in the user position sensing module 1700 to detect a more accurate user position.
  • the user location sensing module 1700 may be a mono / stereo camera 1720.
  • the mono / stereo camera 1720 may capture the vicinity of the smart device 1000, and the controller 1060 may detect the user position by analyzing the user image in the captured image.
  • the user location sensing module 1700 may be a thermal imaging camera, an IR camera, an IR sensor, or the like. The thermal imaging camera or the IR camera captures a thermal image or an IR image, respectively, and the controller 1060 may detect a user position using the captured thermal image or the IR image.
  • the IR sensor may include an IR light emitting means and an IR light receiving means, and the IR light receiving means may receive infrared light emitted by the IR light emitting means, and may sense the user's position by analyzing the received information in the controller 1060.
  • the user position sensing module 1700 may be implemented in various forms including an optical sensor or a depth sensor in addition to the above-described examples.
  • the voice output module 1300 may output the talk-back.
  • FIG. 11 illustrates that the voice output module 1300 is disposed at the bottom of the lower frame 1120 of the housing 1100, the shape or arrangement of the voice output module 1300 is not limited to FIG. 11.
  • the display module 1400 may output a display-back.
  • the display module 1400 may be provided to the projector 1440 as shown in FIG. 12.
  • the projector 1440 may project an image through the transparent window 1160 of the housing 1100.
  • the driving module 1500 may adjust an output direction or an output area of the display display-back.
  • the driving module 1500 may include a rotating motor 1520 and a rotating plate 1540 as shown in FIG. 14.
  • the rotary motor 1520 may be installed inside the housing 1100 and may generate a rotating force to rotate the rotating plate 1540.
  • Rotating plate 1540 may be provided in a circular plate as shown in FIG.
  • the rotary plate 1540 may receive a rotational force from the rotary motor 1520 to rotate relative to the housing 1100 within the housing 1100.
  • the projector 1440 is fixedly installed on the rotating plate 1540, and thus, when the rotating plate 1540 rotates, the projector 1440 rotates integrally with the rotating plate 1540. Accordingly, the projection direction of the projector 1440 may rotate.
  • the driving module 1500 may further include a direction sensor 1560 for detecting a current projection direction.
  • the direction sensor 1560 may include an encoder that reads a predetermined pattern formed at an edge of the rotation plate 1540, a gyro sensor that detects a rotation angle of the rotation plate 1540, and a rotation angle of the rotation motor 1520. It can be provided by various sensors and the like to calculate.
  • the driving module 1500 is implemented as a rotation module and a rotation plate 1540 for rotating the projector 1440 in the horizontal direction.
  • the driving module 1500 may have various forms in addition to FIG. The direction does not necessarily have to be adjusted in the horizontal direction, but may be adjusted in the vertical direction.
  • the driving module 1500 may adjust the projection area by elevating the projector 1440 by including a piston or a driving means corresponding to the piston for elevating the rotating plate 1540 in the vertical direction.
  • the driving module 1500 may include a tilting mirror such as a MEMS mirror that adjusts the direction of the beam emitted from the projector 1440 and steer the projection direction in the vertical direction.
  • the power module 1600 provides power required for the smart device 1000 to operate.
  • the power module 1600 may typically be provided at the bottom of the housing 1100.
  • the power module 1600 may include an input terminal for receiving power, a battery for storing the input power, an output terminal for outputting power from the battery, and a power line connected to each component of the smart device 1000 from the output terminal.
  • the power supply module 1600 may omit the battery as needed and be directly connected to the power line from the input terminal.
  • the heat dissipation module 1800 may dissipate heat generated due to the operation of the smart device 1000.
  • An example of the heat dissipation module 1800 may be provided in the form of a heat fin, a heat sink, a heat fan, or the like.
  • most heat may be generated in the projector 1440.
  • the heat dissipation module 1800 may be installed around the projector 1440. Can be.
  • the communication module 1020, the memory 1040, and the controller 1060 may in this example be used to detect some or all of the user's location and output directional feedback. Since these configurations have already been described above, a detailed description thereof will be omitted.
  • the smart device 1000 may detect a user location.
  • the user location is a concept including at least one of a distance and a direction of the user with respect to the smart device 1000.
  • the smart device 1000 may detect a user location through various methods.
  • the smart device 1000 may detect a user's location independently by stand-alone locally, or may detect the user's location in cooperation with the voice assistant server 10 or another server.
  • the smart device 1000 detects the user location by obtaining information for detecting the user location by the user location sensing module 1700 and determining the user location by the controller 1060 using the information. can do.
  • the smart device 1000 may detect the user location by acquiring information for detecting the user location and transmitting the information to the server and receiving the user location determined based on the information from the server.
  • the smart device 1000 may obtain information for detecting a user location in various forms.
  • the smart device 1000 photographs a visible light image, a thermal image, or an infrared image by using various cameras, recognizes a user included in the image from the captured image, and based on a location in the recognized user's image. The location can be determined.
  • the microphone 1202 may use a method of detecting deformation of an infrared pattern, such as SoftKink's Kinect.
  • the smart device 1000 may include a depth camera to obtain a depth image and determine the user position by recognizing the user from the depth image.
  • the smart device 1000 may detect a user location using the voice input module 1200 (particularly, the microphone array 1204).
  • the smart device 1000 having the microphone array 1204 including the plurality of microphones 1202 may be received for each microphone 1202 when a user voice spoken by the user is received at each microphone 1202.
  • the controller 1060 may analyze the user voice received for each microphone 1202 and determine that the user is in a direction in which the microphone 1202 having the largest loudness of the received voice is disposed.
  • the controller 1060 may analyze the user voice received for each microphone 1202 and determine that the user is in a direction in which the microphone 1202 having the fastest reception time of the received voice is disposed.
  • the voice characteristics used to detect the user location may vary in addition to the voice size and the voice reception time.
  • the smart device 1000 may output the requested feedback toward the user.
  • the user orientation may mean not only outputting toward the user, but also outputting the feedback to a location or direction appropriate for the user to receive the feedback.
  • 13 and 14 illustrate output of directional feedback according to an embodiment of the present invention.
  • the smart device 1000 may project the display-back toward the user.
  • the display-back may be output toward the user by controlling the driving module 1500 so that the controller 1060 faces the projection direction of the projector 1440.
  • the smart device 1000 may form the projection area around the user.
  • the smart device 1000 may form a projection area near a user on a virtual line connecting the user and the smart device 1000.
  • the directional display-back does not necessarily have to be projected in the direction towards the user.
  • the smart device 1000 may output an image to the opposite side of the user position when projecting toward the wall.
  • the projection area may be formed such that the user, the smart device 1000, and the projection area are sequentially arranged.
  • the smart device 1000 may detect the user's gaze direction, the smart device 1000 may further adjust the output direction or the output area of the directional feedback in consideration of the gaze direction of the user.
  • the smart device 1000 may further include a configuration for detecting the gaze direction or the controller 1060 may determine the gaze direction using various information.
  • the above-described detection of the user position and output of the directional feedback may be made based on the user voice.
  • the voice input module 1200 acquires the user voice and the controller 1060 receives the user voice based on voice characteristics for each microphone 1202. The location can be determined. If the user position is determined, the driving module 1500 may immediately adjust the projection direction of the projector 1440 to have user orientation. Thereafter, the projector 1440 of the smart device 1000 may output display-back related to the voice command included in the user's voice input in the listening mode, as the directional feedback.
  • the voice input module 1200 may obtain a user voice and detect a wakeup word from the user voice.
  • the controller 1060 determines a user position based on a voice characteristic of each microphone 1202 that receives the user's voice, and the driving module 1500 determines a user's directivity in the projection direction of the projector 1440. It can be adjusted to have.
  • the projector 1440 of the smart device 1000 may output the display-back related to the voice command included in the user voice input in the listening mode as the directional feedback.
  • the determination of the user position and the adjustment of the projection direction may be made before entering, after entering, or simultaneously with entering the listening mode.
  • the smart device 1000 in the standby mode may enter the listening mode.
  • the voice input module 1200 receives a user voice containing a voice command, determines a user location based on voice characteristics of each microphone 1202 according to the user voice received in the listening mode, and drives the module.
  • the 1500 may adjust the projection direction of the projector 1440 to have user orientation. Accordingly, the projector 1440 of the smart device 1000 may output the display-back related to the voice command included in the user voice input in the listening mode as the directional feedback.
  • the smart device 1000 directly determines the user location. However, the smart device 1000 transmits the user voice to the voice assistant server 10 (or another server), and the user location on the server. It is also possible to determine and deliver to the smart device (1000).
  • the housing 1100, the transparent window 1160, the power module 1600, and the controller may be applied to the example of the smart device 1000 that outputs the directional feedback illustrated in FIGS. 11 and 12.
  • the structure, shape, arrangement and configuration of 1060 will be described in more detail.
  • 15 to 17 are diagrams of some examples of the smart device 1000 for outputting directional feedback according to an embodiment of the present invention.
  • the housing 1100 of the smart device 1000 is in a form in which the upper frame 1140, the lower frame 1120, and the transparent window 1160 are sequentially arranged in the vertical direction. It may be provided as.
  • the lower frame 1120 may have a lower surface (rough surface) mounted on the floor and a side surface extending upward from the lower surface.
  • the lower surface of the lower frame 1120 may be a disc, an elliptic plate or a polygonal plate.
  • the upper portion of the lower frame 1120 may be provided in an open form.
  • the lower frame 1120 may be provided in a cylindrical shape with an open top.
  • the upper frame 1140 may have an upper surface (rough surface) and a side surface extending downward from the upper surface.
  • the upper surface of the lower frame 1120 may be a disc, an elliptic plate or a polygonal plate.
  • the lower portion of the upper frame 1140 may be provided in an open form.
  • the upper frame 1140 may be provided in a cylindrical shape with an open bottom.
  • the transparent window 1160 may have a side surface in a cylindrical shape in which an upper portion and a lower portion are opened.
  • the transparent window 1160 viewed from above may have a circular cross section, an ellipse, or a polygon.
  • the transparent window 1160 may have a circular ring or a cylindrical shape having upper and lower portions open.
  • the lower frame 1120 and the upper frame 1140 may be disposed with the transparent window 1160 therebetween.
  • an upper portion of the lower frame 1120 may be coupled to a lower portion of the transparent window 1160
  • a lower portion of the upper frame 1140 may be coupled to an upper portion of the transparent window 1160.
  • the lower frame 1120, the upper frame 1140, and the transparent window 1160 may be integrated into the housing 1100.
  • the housing 1100 is provided in a form in which the upper frame 1140, the lower frame 1120, and the transparent window 1160 are sequentially arranged in the vertical direction.
  • the upper frame 1140 and the lower frame 1120 may be connected to each other through a central column.
  • the upper frame 1140, the central column and the lower frame 1120 may form a single body, but at least one of the upper frame 1140, the central column and the lower frame 1120 is provided in a form that is separated. It is possible.
  • the central column may be provided in the form of a hollow cylinder so that the power line or communication line to be described later is accommodated therein.
  • the housing 1100 may include a main frame and a transparent window 1160.
  • the main frame may have a top surface and a bottom surface and side surfaces connecting the top surface and the bottom surface.
  • the upper and lower surfaces may be a disc, an elliptic plate or a polygonal plate.
  • the main frame may have a circular columnar shape.
  • slits may be formed in the main frame.
  • the slit may be one or plural.
  • the slit may be formed in a shape in which a center of the housing 1100 and both ends of the slit form a fan when the housing 1100 is viewed from above.
  • the angle of the slit can be freely set within 30 to 360 degrees. It is also possible to form a plurality of slits.
  • the height of the slit can also be set freely.
  • the transparent window 1160 may be provided in a shape corresponding to the slit formed in the housing 1100, and may be fastened to the housing 1100 with the slit inserted therein.
  • FIG. 18 is a perspective view of an example of a transparent window 1160 in accordance with an embodiment of the present invention.
  • the transparent window 1160 may be provided in a cylindrical shape having a circular or sectoral cross section when viewed from the top according to the shape of the housing 1100.
  • the transparent window 1160 may be provided in a ring-shaped barrel as shown in FIG. 18.
  • the transparent window 1160 functions as a passage through which the image emitted from the projector 1440 passes, it is preferable to use a material having a high light transmittance as much as possible.
  • the transparent window 1160 may be subjected to an external impact while the smart device 1000 is used, the material of the transparent window 1160 is resistant to impact and may not be easily scratched.
  • the transparent window 1160 may be made of a material such as transparent plastic or glass.
  • the thickness of the transparent window 1160 may take various forms.
  • the transparent window 1160 may have the same thickness regardless of its height.
  • the transparent window 1160 may vary in thickness depending on its height.
  • 19 and 21 are cross-sectional views of some examples of transparent window 1160 in accordance with one embodiment of the present invention.
  • the transparent window 1160 may have a thickness at a lower portion thereof than a thickness at the upper portion thereof.
  • the transparent window 1160 may be smaller than the thickness at the second height where the thickness at the first height is less than the first height.
  • the projector 1440 of the smart device 1000 projects toward the table or the floor, the projector 1440 may emit light downward.
  • the thickness of the transparent window 1160 is constant regardless of the height, the distance of the lower light path through the transparent window 1160 is greater than the distance of the upper light path through the transparent window 1160 of the entire light path. Can be.
  • the transparent window 1160 having a thickness at the lower portion is larger than the thickness at the upper portion as shown in FIG. 19, the difference between the distance between the upper light path and the lower light path passing through the transparent window 1160 may be reduced or eliminated. Can be. Accordingly, the projection image may be improved.
  • the transparent window 1160 may have a thickness at a lower portion thereof than a thickness at the upper portion thereof.
  • the transparent window 1160 may be greater than the thickness at the second height where the thickness at the first height is less than the first height.
  • the projector 1440 of the smart device 1000 projects toward a wall or the like, the projector 1440 may emit light upward.
  • the thickness of the transparent window 1160 is constant regardless of the height, the distance that the lower light path passes through the transparent window 1160 is smaller than the distance of the upper light path through the transparent window 1160 of the entire light path. Can be.
  • the transparent window 1160 having a lower thickness is smaller than the upper thickness, the difference between the upper light path and the lower light path passing through the transparent window 1160 may be reduced or eliminated. Can be. Accordingly, the projection image may be improved.
  • the transparent window 1160 may have a thickness above and / or below a thickness at a height at which the projected image vertically passes through the transparent window 1160.
  • the transparent window 1160 may have a thickness at a point corresponding to the height of the light exit portion of the projector 1440 in a vertical direction than that of other points.
  • the projector 1440 of the smart device 1000 can tilt the projected image in the vertical direction, the projector 1440 may output light in the horizontal direction, the upper direction, or the lower direction. Therefore, as shown in FIG. 21, when the light emitted from the projector 1440 has a smaller thickness at other points than the point where the light passes through the transparent window 1160 vertically, the light is transparent for each light path passing through the transparent window 1160. The difference in distance through the window 1160 may be reduced or eliminated. Accordingly, the projection image may be improved.
  • 22 and 23 are diagrams of some examples of a power supply module 1600 in accordance with one embodiment of the present invention.
  • the input terminal may be provided in the form of a plug or a port that receives power from the outside.
  • the battery (which may be a power circuit such as a transformer or a rectifier instead of the battery) may be installed in the lower portion of the housing 1100 (eg, the bottom surface of the lower frame 1120).
  • a rotating plate 1540 for rotating the projector 1440 may be installed in the housing 1100.
  • the rotation plate 1540 may be installed at a distance spaced apart from the lower frame 1120 by a predetermined height.
  • the rotating motor 1520 for rotating the rotating plate 1540 is installed in the lower frame 1120, and the rotating plate 1540 may be directly or indirectly mounted on the upper portion of the rotating motor 1520.
  • the projector 1440 may be disposed on an upper surface of the rotating plate 1540.
  • a through hole may be formed in the central portion of the rotating plate 1540.
  • the through hole does not necessarily have to be formed in the center of the rotation plate 1540.
  • the through hole may be formed such that a region where the through hole is formed passes through the central axis of the rotating plate 1540.
  • the through hole may be formed such that an area where the through hole is formed passes through a distance spaced only by a predetermined distance from the central axis of the rotating plate 1540.
  • the output terminal may include a power line connected from the battery to the projector 1440.
  • the power line may be connected to the projector 1440 through the through hole.
  • the smart device 1000 rotates the rotating plate 1540 to adjust the projection direction
  • the projector 1440 installed on the rotating plate 1540 may move relative to the battery fixed to the lower frame 1120.
  • the power line connected from the battery to the projector 1440 passes through the through hole and is connected to the projector 1440, the power line may be prevented from being twisted as much as the projector 1440 moves relative to the battery.
  • the output terminal may include an upper electrode 1620 and a lower electrode 1640 which are inserted into and connected to the lower frame 1120 and the rotating plate 1540, respectively.
  • the lower electrode 1640 is connected to the battery and may be formed in the form of a slit or a protrusion on an upper surface of the lower frame 1120.
  • the upper electrode 1620 is connected to the projector 1440 and may be formed on the lower surface of the rotating plate 1540 in a form complementary to the lower electrode 1640. Accordingly, the upper electrode 1620 and the lower electrode 1640 may be fastened to each other and electrically connected to each other.
  • At least one of the upper electrode 1620 and the lower electrode 1640 may be formed in a ring shape.
  • any one of the upper electrode 1620 and the lower electrode 1640 may be provided in the form of a bracket that can be inserted into the ring to rotate along the ring.
  • the lower electrode 1640 may be provided as a ring-shaped protrusion or groove, and the upper electrode 1620 may be a slit or slot type bracket fitted into the protrusion or groove.
  • the lower electrode 1640 is provided as a ring-shaped protrusion or groove, and the upper electrode 1620 is formed by a ring provided by a groove into which the lower electrode 1640 is fitted or a protrusion fitted into the lower electrode 1640. Can be.
  • a dummy bracket may be further provided on the electrode side (the lower frame 1120 or the rotation plate 1540) provided in the form of a bracket among the upper electrode 1620 and the lower electrode 1640. This is to allow the rotating plate 1540 to rotate stably.
  • the electrical connection between the upper electrode 1620 and the lower electrode 1640 may be formed in various terminal forms.
  • the terminals of the electrode may include at least two of a positive terminal, a negative terminal, and a ground terminal, and the terminals of the electrode may be disposed on different surfaces.
  • a bracket-type upper electrode 1620 may be fitted to the lower electrode 1640, which is a ring-shaped protrusion.
  • any one of a positive terminal, a ground terminal, and a negative terminal may be provided on the inner side, the upper side, and the outer side of the lower electrode 1640, respectively.
  • any one of a (+) terminal, a ground terminal, and a ( ⁇ ) terminal may be provided on the upper electrode 1620 on the facing surface of the lower electrode 1640, respectively.
  • one of the terminals may be omitted.
  • all of the terminals of the electrode may be disposed on the same surface or at least two may be disposed on the same surface.
  • a bracket-type upper electrode 1620 may be fitted to the lower electrode 1640, which is a ring-shaped protrusion.
  • the (+) terminal, the ground terminal, and the (-) terminal are provided at different heights of the inner surface of the lower electrode 1640, and correspondingly face the inner surface of the upper electrode 1620.
  • At least two or more of the (+) terminal, the ground terminal, and the (-) terminal may be provided at different heights on the surface.
  • terminal structure mentioned above is not limited by FIG. 24 and FIG.
  • terminals may be distributed for each bracket.
  • the ring-shaped electrode does not necessarily have to be a complete ring shape, but may be an incomplete ring shape.
  • the projector 1440 disposed on the rotating plate 1540 may rotate relative to the housing 1100.
  • the upper frame 1140 or the microphone array 1204 may also rotate together with the projector 1440, but in some cases, the microphone array 1204 may not rotate.
  • the controller 1060 is provided as a single unit, communication lines for exchanging data with the microphone array 1204 or the projector 1440 may be twisted by the rotation of the rotating plate 1540.
  • a plurality of controllers 1060 may be provided.
  • one controller 1060 for image processing of the projector 1440 is installed on the rotating plate 1540, and the other controller 1060 for voice processing of the microphone array 1204 is provided in the housing 1100. Can be fixed to the installation.
  • the controller 1060 for the microphone array 1204 is installed in the upper frame 1140, and another controller 1060 for additionally managing the overall smart device 1000 is also installed in the lower frame 1120. It is possible.
  • each controller 1060 may be connected by wire, but may also be connected by a wireless communication method.
  • communication lines may be connected similarly to the method of connecting power or power lines in FIGS. 24 and 25.
  • the directional feedback output method is described on the basis of being performed by the above-described smart device 1000.
  • the directional feedback output method is referred to herein as the smart device 1000.
  • the operation may be performed by other devices that may perform operations similar to the smart device 1000 mentioned herein.
  • operations performed by the smart device 1000 may be performed by the controller 1060, or the controller 1060 may control other components of the smart device 1000. It can be understood to be performed through.
  • the directional feedback output method is described on the basis of being performed by the above-described smart device, but this is merely for convenience of description, and thus the directional feedback output method is referred to herein in addition to the smart device mentioned herein. It can also be performed by other devices that can perform operations similar to the smart device. Meanwhile, in the following description, unless otherwise stated, the operations performed by the smart device may be understood as being performed by the controller or through the controller controlling other components of the smart device.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a smart device and a method for controlling same and, more specifically, to a smart device for outputting audio type or video type feedback corresponding to a voice command, and a method for controlling same. An aspect of the present invention may provide a smart device comprising: a lower frame having an open cylindrical shape; an upper frame having a cylindrical shape open at the bottom thereof; and a transparent window disposed between the upper frame and the lower frame and having a cylindrical shape open at the top and bottom thereof, wherein the transparent window has different thicknesses in the height direction.

Description

스마트 디바이스 및 그 제어 방법Smart device and its control method
본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 보이스 커맨드에 대응하는 피드백을 오디오-타입 또는 비디오-타입으로 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다.The present invention relates to a smart device and a control method thereof, and more particularly, to a smart device and a control method for outputting a feedback corresponding to a voice command in an audio-type or video-type.
음성 인식 기술의 인식 정확도가 향상됨에 따라 점차 '인공지능 음성비서(보이스 어시스턴트, voice assistant) 기능이 다양한 스마트 디바이스에 탑재되고 있다. 이러한 추세 속에서 보이스 어시스턴트 기능이 탑재된 스마트 스피커는 사물 인터넷(IoT: Internet of Things)의 확산과 맞물려 스마트 홈 분야의 핵심 디바이스로 자리잡아가고 있다. As the recognition accuracy of speech recognition technology improves, 'intelligent voice assistant' is being installed in various smart devices. In this trend, smart speakers equipped with voice assistant function are becoming a core device in the smart home field in conjunction with the proliferation of the Internet of Things (IoT).
스마트 스피커 분야는 2014년 아마존이 최초의 스마트 스피커인 에코를 출시한 이후 구글, 애플, 페이스북과 같은 IT 공룡들뿐 아니라 다음카카오나 네이버 등의 국내 기업들도 자사 소프트웨어를 탑재한 스마트 스피커를 앞다퉈 출시하며 치열한 경쟁 양상을 보이고 있다. Since the launch of Echo, the first smart speaker, in 2014, the smart speaker sector has been ahead of smart speakers equipped with its own software, as well as IT dinosaurs such as Google, Apple and Facebook, as well as domestic companies such as Daum Kakao and Naver. The competition is showing intense competition.
스마트 스피커는 기본적으로 음성을 매개로 사용자로부터 명령을 받아 수행하거나 사용자와 대화를 나누므로 사용자가 가정이나 사무실 등의 실내 공간에서 자유로이 활동하면서 이용할 수 있는 장점을 가지지만, 오디오-타입의 정보가 가지는 정보량의 제약, 시각 정보 처리의 곤란성, 정보 출력의 비지속성 등으로 인해 몇몇 상황에서 사용자 편의성이 떨어질 수 있다. Smart speaker basically has the advantage of being able to use it freely in indoor space such as home or office because it performs commands or communicates with user through voice, but audio-type information has User convenience may be impaired in some situations due to limitations in information volume, difficulty in processing visual information, and non-persistence of information output.
본 발명의 일 과제는 디스플레이 방향이 조절되는 스마트 디바이스를 제공하는 것이다.One object of the present invention is to provide a smart device in which the display direction is adjusted.
본 발명의 일 과제는 디스플레이 방향이 자유로이 회전하는 스마트 디바이스를 제공하는 것이다. One object of the present invention is to provide a smart device in which the display direction is free to rotate.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-described problem, the objects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. .
본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다. According to an aspect of the present invention, an open cylindrical lower frame, a lower cylindrical opening upper frame and a cylindrical transparent window of the upper and lower portions disposed between the upper frame and the lower frame is opened, A housing in which the lower frame, the transparent window, and the upper frame are combined to form a single body; A rotating member installed inside the housing and rotating about an axis of the housing; A projector installed on the rotating member, the projection direction of which is adjusted according to the rotation of the rotating member, and a light output unit for outputting an image spaced apart from the rotation axis by a predetermined distance from the rotation axis toward an inner surface of the transparent window; A microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And outputting a display-back through the projector based on feedback data related to a voice command included in the user voice, wherein the display is performed in consideration of a user's position predicted based on user voices received from the plurality of microphones. And a controller for rotating the rotating member to adjust the projection direction in which the bag is output, wherein the transparent window has a different thickness according to a height direction.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. Means for solving the problems of the present invention are not limited to the above-described solutions, and the solutions not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. Could be.
본 발명에 의하면, 스마트 디바이스가 구동 모듈에 의해 프로젝터의 프로젝션 방향이 조절하여 사용자 지향성으로 피드백을 출력할 수 있다. According to the present invention, the smart device may output the feedback in a user-directed direction by adjusting the projection direction of the projector by the driving module.
또 본 발명에 의하면, 스마트 디바이스가 프로젝터가 투명 윈도우를 통하여 프로젝션을 투사하더라도 영상을 고품질로 유지할 수 있다. In addition, according to the present invention, the smart device can maintain a high quality image even if the projector projects the projection through the transparent window.
본 발명에 의하면, 스마트 디바이스가 프로젝션 방향이 조절하기 위해 프로젝터를 회전할 때 전력선의 꼬임으로 인한 회전 각도의 제한을 극복할 수 있다. According to the present invention, the smart device can overcome the limitation of the rotation angle due to the twist of the power line when the projector rotates the projector to adjust the projection direction.
본 발명의 효과는 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-described effects, effects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings.
도 1은 본 발명의 일 실시에에 따른 스마트 디바이스의 블록도이다.1 is a block diagram of a smart device according to an embodiment of the present invention.
도 2 내지 도 6은 본 발명의 일 실시예에 따른 스마트 디바이스의 몇몇 구현예에 관한 도면이다. 2 to 6 are diagrams of some implementations of a smart device according to an embodiment of the present invention.
도 7 및 도 8은 본 발명의 일 실시예에 따른 스마트 디바이스의 작동 모드예에 관한 도면이다. 7 and 8 are diagrams illustrating an example of an operation mode of a smart device according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스와 보이스 어시스턴트 서버 간의 통신에 관한 도면이다. 9 is a diagram illustrating communication between a smart device and a voice assistant server according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스의 블록도이다. 10 is a block diagram of a smart device for outputting directional feedback according to an embodiment of the present invention.
도 11은 본 발명의 일 실시에에 따른 지향성 피드백을 출력하는 스마트 디바이스의 구현예의 사시도이다. 11 is a perspective view of an embodiment of a smart device for outputting directional feedback according to one embodiment of the present invention.
도 12는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스의 구현예의 분해 사시도이다. 12 is an exploded perspective view of an embodiment of a smart device for outputting directional feedback according to an embodiment of the present invention.
도 13 및 도 14는 본 발명의 일 실시예에 따른 지향성 피드백의 출력에 관한 도면이다. 13 and 14 illustrate output of directional feedback according to an embodiment of the present invention.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 하우징의 몇몇 예시에 관한 도면이다.15-17 illustrate some examples of housings in accordance with one embodiment of the present invention.
도 18은 본 발명의 일 실시예에 따른 투명 윈도우의 예시의 사시도이다. 18 is a perspective view of an example of a transparent window in accordance with one embodiment of the present invention.
도 19 내지 도 21은 본 발명의 일 실시예에 따른 투명 윈도우의 몇몇 예시의 단면도이다.19-21 are cross-sectional views of some examples of transparent windows in accordance with one embodiment of the present invention.
도 22 및 23은 본 발명의 일 실시예에 따른 전원 모듈의 몇몇 예시에 관한 도면이다. 22 and 23 illustrate some examples of power modules according to one embodiment of the invention.
도 24 및 도 25는 본 발명의 일 실시예에 따른 전극의 단자들의 몇몇 예시에 관한 도면이다. 24 and 25 illustrate some examples of terminals of an electrode according to an embodiment of the present invention.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.Embodiments described herein are intended to clearly explain the spirit of the present invention to those skilled in the art, the present invention is not limited by the embodiments described herein, the present invention The scope of should be construed to include modifications or variations without departing from the spirit of the invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terminology used herein is a general term that has been widely used as far as possible in view of the functions of the present invention, but may vary according to the intention of a person of ordinary skill in the technical field to which the present invention belongs, custom or the emergence of a new technology. Can be. In contrast, when a specific term is defined and used in any meaning, the meaning of the term will be described separately. Therefore, the terms used in the present specification should be interpreted based on the actual meanings of the terms and the contents throughout the present specification, rather than simple names of the terms.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The drawings attached to the present specification are provided to easily explain the present invention, and the shapes shown in the drawings may be exaggerated and displayed as necessary to help understanding of the present invention, and thus the present invention is not limited to the drawings.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a known configuration or function related to the present invention may obscure the gist of the present invention, a detailed description thereof will be omitted as necessary.
본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다. According to an aspect of the present invention, an open cylindrical lower frame, a lower cylindrical opening upper frame and a cylindrical transparent window of the upper and lower portions disposed between the upper frame and the lower frame is opened, A housing in which the lower frame, the transparent window, and the upper frame are combined to form a single body; A rotating member installed inside the housing and rotating about an axis of the housing; A projector installed on the rotating member, the projection direction of which is adjusted according to the rotation of the rotating member, and a light output unit for outputting an image spaced apart from the rotation axis by a predetermined distance from the rotation axis toward an inner surface of the transparent window; A microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And outputting a display-back through the projector based on feedback data related to a voice command included in the user voice, wherein the display is performed in consideration of a user's position predicted based on user voices received from the plurality of microphones. And a controller for rotating the rotating member to adjust the projection direction in which the bag is output, wherein the transparent window has a different thickness according to a height direction.
여기서, 상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 작은 제2 높이에서의 두께가 더 작을 수 있다. Here, the transparent window may have a smaller thickness at a second height where the thickness at the first height is smaller than the first height.
여기서, 상기 투명 윈도우는, 그 높이가 작을수록 그 두께가 작아질 수 있다. Here, the thickness of the transparent window may be smaller as the height thereof is smaller.
여기서, 상기 프로젝션 방향은 수평보다 아래쪽을 향하고, 상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일할 수 있다. Here, the projection direction is lower than the horizontal, the distance that the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height may be substantially the same.
여기서, 상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 큰 제2 높이에서의 두께가 더 작을 수 있다.Here, the transparent window may have a smaller thickness at a second height where the thickness at the first height is greater than the first height.
여기서, 상기 투명 윈도우는, 그 높이가 클수록 그 두께가 작아질 수 있다. The transparent window may have a smaller thickness as the height thereof increases.
여기서, 상기 프로젝션 방향은 수평보다 윗쪽을 향하고, 상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일할 수 있다. Here, the projection direction is upward than the horizontal, the distance that the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height may be substantially the same.
여기서, 상기 투명 윈도우는, 수평으로 프로젝션되는 빔이 통과하는 특정 지점에서의 두께보다 다른 지점에서의 두께가 더 작을 수 있다. Here, the transparent window may have a smaller thickness at another point than the thickness at a specific point at which the horizontally projected beam passes.
여기서, 상기 투명 윈도우는, 상기 프로젝터의 광을 출력부에 대응하는 높이에서의 두께보다 다른 지점에서의 두께가 더 작을 수 있다. Here, the transparent window, the thickness of the light at the other point than the thickness of the height corresponding to the output portion of the projector may be smaller.
여기서, 상기 투명 윈도우는, 제1 높이에서의 두께보다 상기 제1 지점보다 작거나 큰 제2 높이에서의 두께가 더 작을 수 있다. Here, the transparent window may have a smaller thickness at a second height that is smaller or greater than the first point than the thickness at the first height.
여기서, 상기 투명 윈도우는, 상기 제1 높이로부터 멀어질수록 그 두께가 점점 작아질 수 있다.Here, the thickness of the transparent window may become smaller as it moves away from the first height.
1. 스마트 디바이스1. Smart device
1.1. 개요 1.1. summary
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에 관하여 설명한다. Hereinafter, the smart device 1000 according to an embodiment of the present invention will be described.
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 음성을 매체로 사용자와 상호작용할 수 있다. 구체적으로 스마트 디바이스(1000)는 사용자 음성을 수신하고, 사용자 음성에 포함된 보이스 커맨드에 의해 요청받은 피드백을 출력할 수 있다. 여기서, 스마트 디바이스(1000)는 오디오-타입 또는 비디오-타입의 피드백을 출력할 수 있다.The smart device 1000 according to an embodiment of the present invention may interact with a user through voice. In detail, the smart device 1000 may receive a user voice and output a feedback requested by a voice command included in the user voice. Here, the smart device 1000 may output an audio-type or video-type feedback.
1.2. 용어1.2. Terms
여기서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에 대하여 더 설명하기에 앞서 본 명세서에서 사용되는 몇몇 용어들에 대해 정의하기로 한다. Before describing the smart device 1000 according to an embodiment of the present invention, some terms used herein will be defined.
1.2.1. 스마트 디바이스1.2.1. Smart devices
본 명세서에서 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 이용해 사용자와 음성을 매체로 상호작용할 수 있는 모든 종류의 디바이스를 포함할 수 있다. 스마트 디바이스(1000)는 대표적으로 스마트 스피커의 형태로 제공될 수 있으나, 이외에도 스마트 디바이스(1000)는 스마트 폰, 스마트 태블릿, 노트북, 스마트 텔레비전, 스마트 셋탑 박스, 스마트 디스플레이, 스마트 프로젝터 등의 형태로 제공되는 것도 가능하다. In the present specification, the smart device 1000 may include any kind of device capable of interacting voice with a user using a voice assistant function. The smart device 1000 may be typically provided in the form of a smart speaker, but in addition, the smart device 1000 may be provided in the form of a smart phone, a smart tablet, a notebook, a smart television, a smart set-top box, a smart display, a smart projector, and the like. It is also possible.
구성 요소적인 측면에서 살펴보면, 스마트 디바이스(1000)는 음성을 매체로 한 사용자와의 상호작용을 위해 사용자 음성을 입력받기 위한 음성 입력 모듈(1200) 및 오디오-타입의 피드백을 출력하기 위한 음성 출력 모듈(1300)을 포함할 수 있다. 또 스마트 디바이스(1000)는 비디오-타입의 피드백을 출력하기 위한 디스플레이 모듈(1400)을 선택적으로 더 포함할 수 있다. 이외에도 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 실현하기 위해 외부 기기(예를 들어, 보이스 어시스턴트 서버 등)와 통신하기 위한 통신 모듈(1020)를 비롯한 몇몇 구성 요소를 더 포함할 수 있으나, 이에 대한 구체적인 설명은 후술하기로 한다. In terms of components, the smart device 1000 may include a voice input module 1200 for receiving a user voice for interaction with a voice-based user and a voice output module for outputting an audio-type feedback. 1300. In addition, the smart device 1000 may further include a display module 1400 for outputting a video-type feedback. In addition, the smart device 1000 may further include some components including a communication module 1020 for communicating with an external device (for example, a voice assistant server) to realize a voice assistant function. The description will be described later.
1.2.2. 보이스 어시스턴트1.2.2. Voice Assistant
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 구현할 수 있다. 여기서, 보이스 어시스턴트 기능은 음성을 매체로 사용자와 스마트 디바이스(1000) 간의 상호작용을 가능케 하는 모든 기능을 포괄하는 개념이다.The smart device 1000 according to an embodiment of the present invention may implement a voice assistant function. Here, the voice assistant function is a concept encompassing all functions that enable interaction between the user and the smart device 1000 using voice as a medium.
본 명세서에서 보이스 어시스턴트 기능이 구현되는 일 예는 다음과 같을 수 있다. 스마트 디바이스(1000)가 수신한 사용자 음성을 보이스 어시스턴트 서버(10)로 전달한다. 보이스 어시스턴트 서버(10)는 사용자 음성에 포함된 보이스 커맨드를 해석하고 보이스 커맨드에 의해 요청받은 피드백에 관한 피드백 데이터를 획득하고 이를 스마트 디바이스(1000)에 전달한다. 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 전달받은 피드백 데이터에 기초하여 피드백을 출력한다. 이로써, 스마트 디바이스(1000)가 보이스 어시스턴트 기능을 구현할 수 있다. 다만, 이상에서는 스마트 디바이스(1000)가 보이스 어시스턴트 서버(10)와 협업하여 보이스 어시스턴트 기능을 구현하는 것으로 설명하였으나, 경우에 따라서는 스마트 디바이스(1000)가 로컬에서 스탠드 얼론으로 보이스 어시스턴트 기능을 실행하는 것도 가능할 수 있다.An example in which the voice assistant function is implemented in the present specification may be as follows. The smart device 1000 transmits the received user voice to the voice assistant server 10. The voice assistant server 10 interprets a voice command included in the user's voice, obtains feedback data about feedback requested by the voice command, and transmits the feedback data to the smart device 1000. The smart device 1000 outputs feedback based on the feedback data received from the voice assistant server 10. As a result, the smart device 1000 may implement a voice assistant function. In the above description, the smart device 1000 has been described as implementing the voice assistant function in cooperation with the voice assistant server 10. However, in some cases, the smart device 1000 executes the voice assistant function locally by stand-alone. It may also be possible.
1.2.3. 보이스 어시스턴트 서버 1.2.3. Voice Assistant Server
보이스 어시스턴트 서버(10)는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 협업하여 보이스 어시스턴트 기능을 구현하는 서버를 총칭할 수 있다. 보이스 어시스턴트 서버(10)는 스마트 디바이스(1000)로부터 사용자 음성을 전달받아 사용자 음성에 포함된 보이스 커맨드를 추출하고, 보이스 커맨드를 해석하여 스마트 디바이스(1000)가 보이스 커맨드에 대한 응답으로 출력할 피드백에 관한 피드백 데이터를 생성하고, 이를 스마트 디바이스(1000)에 전달하는 기능을 담당할 수 있다. The voice assistant server 10 may collectively refer to a server that implements a voice assistant function in cooperation with the smart device 1000 according to an embodiment of the present invention. The voice assistant server 10 receives a user's voice from the smart device 1000, extracts a voice command included in the user's voice, interprets the voice command, and provides feedback to the feedback that the smart device 1000 outputs in response to the voice command. It may be in charge of the function of generating the feedback data relating to the smart device 1000, and deliver it.
본 명세서에서 보이스 어시스턴트 서버(10)는 필요에 따라 물리적으로 및/또는 기능적으로 단일한 서버로 구현되거나 복수의 서버로 구현되는 것이 가능하다. 예를 들어, 보이스 어시스턴트 서버(10)는 스마트 디바이스로부터 전달받은 음성으로부터 보이스 커맨드를 추출하는 음성 인식 서버, 추출된 보이스 커맨드를 해석하는 인공 지능 서버, 피드백으로 제공하기 위한 멀티미디어 콘텐츠를 관리하는 서버 등과 같은 여러 개의 서버의 집합체일 수 있다. 즉, 보이스 어시스턴트 서버(10)는 위에 언급된 기능 및 그 외의 보이스 어시스턴트 기능의 구현에 필요한 기능들을 모두 구현하는 단일 서버 형태는 물론, 각 기능을 분담하는 서버들의 집합체 형태일 수 있는 것이다. In this specification, the voice assistant server 10 may be implemented as a single server physically and / or functionally or as a plurality of servers as necessary. For example, the voice assistant server 10 may include a voice recognition server that extracts a voice command from a voice received from a smart device, an artificial intelligence server that interprets the extracted voice command, a server that manages multimedia content to provide feedback, and the like. It can be a collection of the same server. That is, the voice assistant server 10 may be in the form of a single server that implements all of the functions mentioned above and other functions required for the implementation of the voice assistant function, as well as a collection of servers sharing each function.
1.2.4. 사용자 음성1.2.4. User voice
본 명세서에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 획득할 수 있다. 여기서, 사용자 음성이란 스마트 디바이스(1000)를 이용하는 사용자가 발화한 음성을 의미할 수 있다. 예를 들어, 스마트 디바이스(1000)의 음성 입력 모듈(1200)은 후술될 스탠바이 모드나 리스닝 모드에서 음성 입력 모듈(1200)을 통해 음성을 수신하므로, 스마트 디바이스(1000)의 작동 모드가 스탠바이 모드나 리스닝 모드인 때 사용자가 발화하면 스마트 디바이스(1000)는 사용자 음성을 획득할 수 있다. In the present specification, the smart device 1000 may obtain a user voice through the voice input module 1200. Here, the user voice may mean a voice spoken by a user who uses the smart device 1000. For example, since the voice input module 1200 of the smart device 1000 receives a voice through the voice input module 1200 in a standby mode or a listening mode which will be described later, the operation mode of the smart device 1000 may be a standby mode. When the user speaks while in the listening mode, the smart device 1000 may obtain a user voice.
한편, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 사용자 음성을 다른 음성과 구분하여 선택적으로 입력받을 수는 없으므로, 스마트 디바이스(1000)가 수신하는 음성에는 사용자 음성 이외의 음성이 포함되어 있을 수도 있다. 다른 음성의 예로는 스마트 디바이스(1000)에서 출력되는 피드백으로 인한 음성이나 기타 주변에서 발생하는 노이즈로 인한 음성 등이 포함될 수 있는데, 이하에서는 이들 다른 음성을 사용자 음성과 구분하여 기타 음성으로 지칭하기로 한다. 또 특히 기타 음성 중 스마트 디바이스(1000)에서 출력되는 피드백으로 인한 음성은 피드백 음성으로 지칭하기로 한다. On the other hand, since the smart device 1000 according to an embodiment of the present invention cannot selectively input a user voice separately from other voices, a voice other than the user voice is included in the voice received by the smart device 1000. There may be. Examples of other voices may include voices due to feedback output from the smart device 1000 or voices due to noise generated in the surroundings. Hereinafter, these other voices may be referred to as other voices separately from user voices. do. In particular, among the other voices, a voice due to the feedback output from the smart device 1000 will be referred to as a feedback voice.
1.2.5. 보이스 커맨드1.2.5. Voice command
사용자 음성에는 사용자가 스마트 디바이스(1000)에 특정한 동작의 수행/처리를 요구하는 보이스 커맨드가 포함될 수 있다. 여기서, 사용자 음성은 음향학적 관점에서 정의되는 용어로 해석될 수 있으며, 보이스 커맨드는 정보처리적 관점에서 정의되는 용어로 해석될 수 있다. 따라서, 본 명세서에서는 사용자 음성과 보이스 커맨드를 구분되는 개념으로 이용할 것이다. 그러나, 사용자 음성과 보이스 커맨드 간의 구별이 항상 명확한 것은 아니며 경우에 따라서는 그 구별의 실익이 실질적으로 없을 수 있으므로, 본 명세서에서 후술되는 몇몇 기재들과 특허 청구 범위에서는 당업자가 이해 가능한 범위 내에서 사용자 음성과 보이스 커맨드의 두 용어가 혼용될 수도 있음을 미리 밝혀둔다. The voice of a user may include a voice command for requesting a user to perform / process a specific operation on the smart device 1000. Here, the user voice may be interpreted as a term defined from an acoustic point of view, and the voice command may be interpreted as a term defined from an information processing point of view. Therefore, in the present specification, a user voice and a voice command will be used as a distinction. However, the distinction between a user voice and a voice command is not always clear, and in some cases the benefits of the distinction may be substantially ineffective, so that some of the descriptions and claims that follow will be described herein to those skilled in the art. Note that the two terms, voice and voice command, may be used interchangeably.
한편, 사용자가 반드시 보이스 커맨드를 통해서만 스마트 디바이스(1000)에 지시를 내려야만 하는 것은 아니다. 예를 들어, 사용자는 버튼 입력이나 터치, 제스처 등의 다양한 형태로 스마트 디바이스(1000)와 상호 작용하는 것도 가능하다.On the other hand, the user does not necessarily have to instruct the smart device 1000 through the voice command. For example, the user may interact with the smart device 1000 in various forms such as a button input, a touch, a gesture, and the like.
1.2.6. 웨이크업-워드 1.2.6. Wake-up
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 수신되는 음성이 사용자가 스마트 디바이스(1000)를 이용하기 위해 발화한 사용자 음성인지 여부를 사전에 알 수 없거나 어렵기 때문에, 사용자로부터 특정한 동작의 수행/처리를 요구하는 사용자 음성을 수신하는 리스닝 모드로 진입하기 위한 예비적인 단계(phase)로 스탠바이 모드를 가질 수 있다. The smart device 1000 according to an embodiment of the present invention may not know in advance or is difficult whether the received voice is a user voice uttered by the user to use the smart device 1000, and thus, the smart device 1000 may perform a specific operation from the user. It may have a standby mode as a preliminary phase for entering a listening mode for receiving a user voice requiring execution / processing.
웨이크업 워드(wake-up word)는 스탠바이 모드에서 리스닝 모드로 진입하기 위한 트리거를 의미할 수 있다. 구체적으로, 스마트 디바이스(1000)는 스탠바이 모드에서 수신되는 사용자 음성으로부터 웨이크업 워드를 검출할 수 있으며, 웨이크업 워드가 검출되면 리스닝 모드로 진입할 수 있다. 따라서, 웨이크업 워드란 스마트 디바이스(1000)가 스탠바이 모드로부터 리스닝 모드로 진입할 것을 지시하는 특수한 보이스 커맨드라고 볼 수 있다. 웨이크업 워드를 리스닝 모드로 진입하기 위한 트리거(trigger)로 이용하면, 사용자가 스마트 디바이스(1000)를 이용하려는 의도 없이 발화하는 사용자 음성에 대해서도 스마트 디바이스(1000)가 반응하는 오작동을 방지할 수 있다. The wake-up word may mean a trigger for entering the listening mode from the standby mode. In detail, the smart device 1000 may detect the wakeup word from the user voice received in the standby mode, and enter the listening mode when the wakeup word is detected. Accordingly, the wakeup word may be regarded as a special voice command for instructing the smart device 1000 to enter the listening mode from the standby mode. By using the wake-up word as a trigger for entering the listening mode, a malfunction in which the smart device 1000 responds to a user's voice that the user speaks without intention to use the smart device 1000 may be prevented. .
관점에 따라서는 웨이크업 워드를 보이스 커맨드의 일종으로 해석하는 것도 가능하지만, 본 명세서에서는 설명의 편의를 위해 웨이크업 워드와 보이스 커맨드를 가급적 구분하여 언급할 것이다. 다만, 경우에 따라 본 명세서에서 웨이크업 워드가 보이스 커맨드의 한 종류인 것으로 설명할 수도 있음을 미리 밝혀둔다. 또한, 이하의 기재에서 웨이크업 워드는 때때로 핫 워드라는 용어로 대체될 수 있다. Depending on the point of view, it is also possible to interpret the wakeup word as a kind of voice command. However, in the present specification, the wakeup word and the voice command will be referred to as much as possible. In some cases, however, the wakeup word may be described as being a type of voice command. In addition, in the following description, the wakeup word may sometimes be replaced with the term hot word.
본 발명의 일 실시예에 따른 스마트 디바이스(1000)에는 단일한 혹은 몇몇의 단어 내지는 어구(phrase)가 웨이크업 워드로 설정될 수 있다. 일반적인 스마트 디바이스(1000)의 이용 환경에서 웨이크업 워드는 사용자가 스마트 디바이스(1000)를 부르는 호칭(call name) 등으로 이용될 수 있다. 예를 들어, 웨이크업 워드는 스마트 디바이스(1000)의 세팅 프로세스에서 결정될 수 있으며, 'computer', 'hey speaker' 등과 같이 정해질 수 있다. In the smart device 1000 according to an embodiment of the present invention, a single word or a plurality of words or phrases may be set as a wakeup word. In a general usage environment of the smart device 1000, the wake-up word may be used as a call name or the like in which a user calls the smart device 1000. For example, the wakeup word may be determined in the setting process of the smart device 1000, and may be determined as 'computer', 'hey speaker', or the like.
후술하겠지만, 보이스 커맨드는 임의의 단어, 어구 내지는 문장의 형태를 취할 수 있으므로 보이스 어시스턴트 기능을 수행하기 위해 사용자 음성으로부터 보이스 커맨드를 인식하고 해석하는 과정에는 복잡한 연산이 요구된다. 따라서, 스마트 디바이스(1000)가 자체적으로 임의의 보이스 커맨드를 인식하기 어렵기 때문에 대개 사용자 음성으로부터 보이스 커맨드를 처리하는 과정은 보이스 어시스턴트 서버(10)에서 이루어진다. 이에 반해 웨이크업 워드는 단일한 단어 또는 몇몇 단어의 집합에 불과하므로 사용자 음성으로부터 웨이크업 워드를 검출하는 과정은 스마트 디바이스(1000)에서 로컬로 처리될 수 있다. As will be described later, the voice command may take the form of an arbitrary word, phrase, or sentence, and thus, a complicated operation is required to recognize and interpret the voice command from the user voice in order to perform the voice assistant function. Therefore, since the smart device 1000 does not recognize any voice command on its own, the process of processing the voice command from the user voice is usually performed in the voice assistant server 10. In contrast, since the wakeup word is only a single word or a set of several words, the process of detecting the wakeup word from the user's voice may be processed locally in the smart device 1000.
1.2.7. 피드백1.2.7. feedback
본 명세서에서 피드백이란 스마트 디바이스(1000)가 사용자로부터 요청받은 지시 내지는 요구, 요청에 대하여 스마트 디바이스(1000)가 출력하는 응답을 의미할 수 있다. In the present specification, the feedback may mean a response that the smart device 1000 outputs in response to an instruction, a request, or a request that the smart device 1000 is requested from a user.
본 명세서에서 피드백은 오디오-타입 피드백과 비디오-타입 피드백을 포함할 수 있다. 여기서, 오디오-타입 피드백은 음성 출력 모듈(1300)을 통해 출력되는 청각적 피드백을 의미할 수 있으며 이하에서는 설명의 편의를 위해 오디오-타입의 피드백을 토크 백이라고 지칭하기로 한다. 또 여기서, 비디오-타입 피드백은 디스플레이 모듈(1400)을 통해 출력되는 시각적 피드백을 의미할 수 있으며, 이하에서는 설명의 편의를 위해 비디오-타입의 피드백을 디스플레이 백이라고 지칭하기로 한다. Feedback herein may include audio-type feedback and video-type feedback. Here, the audio-type feedback may refer to auditory feedback output through the voice output module 1300. Hereinafter, the audio-type feedback will be referred to as a talkback for convenience of description. In addition, the video-type feedback may refer to visual feedback output through the display module 1400. Hereinafter, the video-type feedback will be referred to as a display bag for convenience of description.
한편, 토크 백(talk-back)이라는 용어가 '대화(talk)'라는 단어를 포함하고 있지만, 토크 백이 반드시 대화 형태의 피드백만을 의미하는 것은 아니며 음악이나 효과음 등의 청각적 피드백을 모두 아우르는 것으로 해석되어야 한다. On the other hand, although the term talk-back includes the word 'talk', the talk-back does not necessarily mean conversational feedback but is interpreted as encompassing all of the auditory feedback such as music or sound effects. Should be.
또한, 디스플레이 백(talk-back)이 비디오-타입 피드백을 지칭하는 것이지만, 반드시 동화상 형태여야만 하는 것은 아니며 정지 영상까지 포함할 수 있다. 나아가 디스플레이 백은 시각적 피드백으로 토크 백은 청각적 피드백으로 설명하였으나, 이하에서는 설명의 편의를 위해 디스플레이 백이 시각적 피드백에 청각적 피드백이 더해진 것까지도 포괄하는 것으로 해석될 수 있다. 예를 들어, 본 명세서에서는 스마트 디바이스(1000)가 영화나 게임과 같이 시청각적 경험을 제공하는 멀티미디어 콘텐츠를 재생하는 것에 대해 스마트 디바이스(1000)가 디스플레이 백을 출력하는 것으로 설명할 수도 있다. 예를 들어, 디스플레이 백에는 TV 프로그램, 영화나 뮤직 비디오, 유튜브(youtube) 스트리밍 서비스 등이 포함될 수 있다. In addition, although the display back (talk-back) refers to the video-type feedback, it does not necessarily need to be in the form of a moving picture and may include still images. Furthermore, although the display back has been described as visual feedback and the talkback as an acoustic feedback, the display back can be interpreted to include the addition of the acoustic feedback to the visual feedback for convenience of description. For example, the smart device 1000 may be described as outputting the display back with respect to the smart device 1000 playing multimedia content that provides an audiovisual experience such as a movie or a game. For example, the display back may include a TV program, a movie or music video, a youtube streaming service, or the like.
1.3. 스마트 디바이스의 구성 요소1.3. Components of Smart Devices
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 구성 요소에 관하여 설명한다. Hereinafter, components of the smart device 1000 according to an embodiment of the present invention will be described.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 블록도이다.1 is a block diagram of a smart device 1000 according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 음성 입력 모듈(1200), 음성 출력 모듈(1300), 통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)를 포함할 수 있다. 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 수신하고, 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)에 사용자 음성을 송신하고, 사용자 음성에 포함된 보이스 커맨드에 의해 요청된 피드백 데이터를 수신하고, 음성 출력 모듈(1300)을 통해 토크 백을 출력할 수 있으며, 콘트롤러(1060)는 상술한 과정에 필요한 각 모듈을 제어하거나 각종 정보를 처리할 수 있으며, 메모리(1040)에는 각종 정보가 저장될 수 있다. 또 스마트 디바이스(1000)는 디스플레이 백을 출력하기 위해 디스플레이 모듈(1400)을 선택적으로 더 포함할 수 있다. 또 스마트 디바이스(1000)는 디스플레이 백의 방향을 조절하기 위한 구동 모듈(1500)을 선택적으로 더 포함할 수 있다. The smart device 1000 according to an embodiment of the present invention may include a voice input module 1200, a voice output module 1300, a communication module 1020, a memory 1040, and a controller 1060. The smart device 1000 receives a user voice through the voice input module 1200, transmits the user voice to the voice assistant server 10 through the communication module 1020, and requests a voice command included in the user voice. Receiving the received feedback data, and outputting the talkback through the voice output module 1300, and the controller 1060 can control each module or process various information necessary for the above-described process, the memory 1040 Various information can be stored therein. In addition, the smart device 1000 may further include a display module 1400 to output the display back. In addition, the smart device 1000 may further include a driving module 1500 for adjusting the direction of the display back.
음성 입력 모듈(1200)은 사용자 음성을 비롯한 다양한 음성을 수신할 수 있다. 음성 입력 모듈(1200)은 단일한 또는 복수의 마이크(1202)를 제공될 수 있다. 음성 입력 모듈(1200)이 복수의 마이크(1202)로 제공되는 경우, 음성 입력 모듈(1200)은 복수의 마이크(1202)가 소정의 형태를 이루고 배치되는 마이크 어레이(1204)로 제공될 수 있다. The voice input module 1200 may receive various voices including a user voice. The voice input module 1200 may be provided with a single or a plurality of microphones 1202. When the voice input module 1200 is provided to the plurality of microphones 1202, the voice input module 1200 may be provided to the microphone array 1204 in which the plurality of microphones 1202 are formed in a predetermined shape.
음성 출력 모듈(1300)은 토크 백을 비롯한 각종 소리를 출력할 수 있다. 음성 출력 모듈(1300)은 단일한 또는 복수의 스피커(1302)로 제공될 수 있다. 음성 출력 모듈(1300)은 필요에 따라 무지향성(omnidireictional)을 갖는 구조로 배치될 수 있다. 또는 음성 출력 모듈(1300)은 필요에 따라 지향성으로 소리를 출력하는 구조로 배치될 수도 있다. The voice output module 1300 may output various sounds including the talkback. The voice output module 1300 may be provided as a single or a plurality of speakers 1302. The voice output module 1300 may be arranged in a structure having omnidireictional as needed. Alternatively, the voice output module 1300 may be arranged in a structure that outputs sound in a directional manner as needed.
디스플레이 모듈(1400)은 디스플레이 백을 비롯한 각종 영상을 출력할 수 있다. 디스플레이 모듈(1400)은 디스플레이 패널(1420) 또는 프로젝터(1440) 등의 형태로 구현될 수 있다. The display module 1400 may output various images including a display back. The display module 1400 may be implemented in the form of a display panel 1420 or a projector 1440.
또 디스플레이 모듈(1400)의 방향 또는 디스플레이 모듈(1400)에 의해 출력되는 디스플레이 백의 방향은 구동 모듈(1500)에 의해 조절될 수 있다. 일 예로, 스마트 디바이스(1000)는 프로젝터(1440)를 통해 디스플레이 백을 출력하며, 디스플레이 백이 출력되는 디스플레이 영역 내지는 프로젝션 방향은 구동 모듈(1500)에 의해 사용자 주변으로 동적으로 조절될 수 있다. 한편, 구동 모듈(1500)은 현재 디스플레이 백의 방향을 감지하기 위한 방향 감지 센서(1560)를 더 포함할 수도 있다. 예를 들어, 방향 감지 센서(1560)는 프로젝터(1440)가 배치된 방향을 센싱할 수 있다. In addition, the direction of the display module 1400 or the direction of the display bag output by the display module 1400 may be adjusted by the driving module 1500. For example, the smart device 1000 may output a display back through the projector 1440, and the display area or the projection direction in which the display back is output may be dynamically adjusted around the user by the driving module 1500. Meanwhile, the driving module 1500 may further include a direction detecting sensor 1560 for detecting a direction of the current display back. For example, the direction sensor 1560 may sense a direction in which the projector 1440 is disposed.
통신 모듈(1020)은 외부 기기와 통신을 수행한다. 예를 들어, 스마트 디바이스(1000)는 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)와 정보를 송수신할 수 있는데, 보다 구체적으로는 스마트 디바이스(1000)는 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)로 사용자 음성을 전송하고, 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신할 수 있다. The communication module 1020 communicates with an external device. For example, the smart device 1000 may transmit / receive information with the voice assistant server 10 through the communication module 1020. More specifically, the smart device 1000 may communicate with the voice assistant through the communication module 1020. The user voice may be transmitted to the server 10, and feedback data may be received from the voice assistant server 10 through the communication module 1020.
통신 모듈(1020)은 크게 유선 타입과 무선 타입으로 나뉠 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지며, 스마트 디바이스(1000)는 유선 타입의 통신 모듈(1020) 및/또는 무선 타입의 통신 모듈(1020)이 구비될 수도 있다. The communication module 1020 may be largely divided into a wired type and a wireless type. The wired type and the wireless type have advantages and disadvantages, and the smart device 1000 may be provided with a wired type communication module 1020 and / or a wireless type communication module 1020.
유선 타입의 경우에는 유선 LAN(Local Area Network), USB(Universal Serial Bus) 통신 등이 대표적인 예이나 그 외의 다른 방식도 가능하다. 무선 타입의 경우에는 이동 통신 방식, 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식 및 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다. 물론, 유/무선 통신 방식이 상술한 예로 한정되는 것은 아님을 미리 밝혀둔다. In the case of the wired type, a wired LAN (Local Area Network) or a USB (Universal Serial Bus) communication is a typical example, but other methods are possible. In the case of the wireless type, a mobile communication method, a communication method of a wireless personal area network (WPAN) series such as Bluetooth or Zigbee, and a communication method of a wireless local area network (WLAN) series such as Wi-Fi And other known communication schemes. Of course, the wired / wireless communication method is not limited to the above-described example it will be appreciated in advance.
메모리(1040)는 각종 정보를 저장할 수 있다. 메모리(1040)는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 메모리(1040)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1040)는 스마트 디바이스(1000)에 내장되는 형태나 피드백 디바이스에 탈부착 가능한 형태로 제공될 수 있다. The memory 1040 may store various kinds of information. The memory 1040 may store data temporarily or semi-permanently. Examples of the memory 1040 include a hard disk drive (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), and the like. This can be. The memory 1040 may be provided in a form embedded in the smart device 1000 or a form detachable from the feedback device.
메모리(1040)에는 스마트 디바이스(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 스마트 디바이스(1000)에 인스톨되는 각종 어플리케이션, 스마트 디바이스(1000)의 동작에 필요하거나 이용되는 각종 데이터가 저장될 수 있다.The memory 1040 stores an operating program (OS) for driving the smart device 1000, various applications installed on the smart device 1000, and various data required or used for the operation of the smart device 1000. Can be.
콘트롤러(1060)는 스마트 디바이스(1000)의 전반적인 동작을 제어를 수행할 수 있다. 예를 들어, 스마트 디바이스(1000)가 디스플레이 백을 출력하는 것은 콘트롤러(1060)가 디스플레이 모듈(1400)을 제어함에 따라 수행될 수 있으며, 스마트 디바이스(1000)가 보이스 어시스턴트 서버(10)와 통신하는 것은 콘트롤러(1060)가 통신 모듈(1020)을 제어함에 따라 수행될 수 있다. The controller 1060 may control overall operations of the smart device 1000. For example, outputting the display back by the smart device 1000 may be performed as the controller 1060 controls the display module 1400, and the smart device 1000 communicates with the voice assistant server 10. This may be performed as the controller 1060 controls the communication module 1020.
콘트롤러(1060)의 제어 동작은 콘트롤러(1060)가 각종 정보의 연산 및 처리를 수행함에 따라 이루어질 수 있다. 이를 위해 콘트롤러(1060)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 콘트롤러(1060)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다. The control operation of the controller 1060 may be performed as the controller 1060 performs calculation and processing of various information. To this end, the controller 1060 may be implemented as a computer or a similar device according to hardware, software, or a combination thereof. In hardware, the controller 1060 may be provided in the form of an electronic circuit that processes an electrical signal to perform a control function, and may be provided in the form of a program or code that drives a hardware circuit in software.
콘트롤러(1060)는 단일한 물리적 구성을 가질 수 있지만, 경우에 따라서는 물리적으로 분리된 형태로 제공될 수도 있다. 다시 말해, 콘트롤러(1060)는 단일한 칩으로 제조되는 것도 가능하지만, 물리적으로 분산 배치되는 복수의 칩 내지는 기판으로 제공될 수도 있으며 이때에는 각 분리된 콘트롤러(1060) 간의 통신 인터페이스가 연결되어 있을 수도 있다. The controller 1060 may have a single physical configuration, but in some cases, may be provided in a physically separated form. In other words, the controller 1060 may be manufactured as a single chip, but may be provided as a plurality of chips or substrates that are physically distributed, and in this case, a communication interface between the separate controllers 1060 may be connected. have.
한편, 이하의 설명에서 스마트 디바이스(1000)가 수행하는 동작들은 별도의 언급이 없는 경우 콘트롤러(1060)에 의해 수행되는 것으로 해석될 수 있음을 밝혀둔다.Meanwhile, in the following description, operations performed by the smart device 1000 may be interpreted as being performed by the controller 1060 unless otherwise noted.
1.4. 스마트 디바이스의 구현예 1.4. Implementation of Smart Devices
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 몇몇 구현예에 관하여 설명한다. 도 2 내지 6은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 구현예들에 관한 사시도이다.Hereinafter, some implementations of the smart device 1000 according to an embodiment of the present invention will be described. 2 to 6 are perspective views of embodiments of the smart device 1000 according to an embodiment of the present invention.
일 예에 따르면, 스마트 디바이스(1000)는 도 2에 도시된 바와 같이 테이블이나 플로어 등과 같은 수평면에 거치되어 이용되는 스마트 스피커 형태(1000a)로 제공될 수 있다. According to an example, the smart device 1000 may be provided in the form of a smart speaker 1000a mounted on a horizontal surface such as a table or a floor as shown in FIG. 2.
본 예에서, 하우징(1100)은 수평면에 놓이는 하면(1101), 하면(1101)과 대응하는 상면(1102) 및 상기 하면(1101)과 상면(1102)을 연결하는 측면(1103)을 포함할 수 있다. 도 2는 하우징(1100)을 원 기둥 형상으로 도시하고 있으나, 하우징(1100)은 이외에도 다각 기둥, 상면(1102)이 경사진 테이퍼면인 원 또는 다각 기둥, 원 또는 다각 뿔 등 다양한 형상일 수 있다. In this example, the housing 1100 may include a lower surface 1101 lying on a horizontal surface, an upper surface 1102 corresponding to the lower surface 1101, and a side surface 1103 connecting the lower surface 1101 and the upper surface 1102. have. FIG. 2 illustrates the housing 1100 in a circular pillar shape, but the housing 1100 may have various shapes such as a polygonal pillar, an upper surface 1102 having a tapered surface inclined, or a polygonal pillar, a circle or a polygonal horn. .
본 예에서 스마트 디바이스(1000)에는 스마트 디바이스(1000)의 작동 모드를 지시하는 인디케이터(1106)가 구비될 수 있다. 에를 들어, 인디케이터(1106)는 작동 모드에 따라 특정 색상이나 특정 패턴을 표시하는 램프 등일 수 있다. 도 2에는 인디케이터(1106)가 하우징(1100)의 측면(1103)의 테두리를 둘러싸도록 배치되는 것으로 도시했으나, 이로 인해 인디케이터(1106)의 형상이나 위치가 도 2로 제한되는 것은 아니다.In this example, the smart device 1000 may be provided with an indicator 1106 indicating an operation mode of the smart device 1000. For example, the indicator 1106 may be a lamp or the like that displays a specific color or a specific pattern, depending on the mode of operation. Although FIG. 2 illustrates that the indicator 1106 is disposed to surround the edge of the side surface 1103 of the housing 1100, the shape or position of the indicator 1106 is not limited to FIG. 2.
본 예에서 스마트 디바이스(1000)에 복수의 마이크(1202)를 포함하는 마이크 어레이(1204)가 구비될 수 있다. 예를 들어, 복수의 마이크(1202)는 도 2에 도시된 바와 같이 하우징(1100)의 상면(1102)에 방사형으로 배치되거나 하우징(1100)의 측면(1103)을 따라 배치될 수 있을 것이다. 물론, 스마트 디바이스(1000)에 단일한 마이크(1202)가 구비되는 것도 가능하다. 예를 들어, 단일한 마이크(1202)를 음성 입력 모듈(1200)로 이용하는 경우에는 마이크(1202)는 하우징(1100)의 측면(1103) 중 스마트 디바이스(1000)가 주로 사용되는 방향 쪽의 지점 또는 하우징(1100)의 상면(1102)에 배치될 수 있다. In this example, the smart device 1000 may be provided with a microphone array 1204 including a plurality of microphones 1202. For example, the plurality of microphones 1202 may be disposed radially on the top surface 1102 of the housing 1100 or along the side 1103 of the housing 1100 as shown in FIG. 2. Of course, the smart device 1000 may be provided with a single microphone 1202. For example, when a single microphone 1202 is used as the voice input module 1200, the microphone 1202 may be a point on the side 1103 of the housing 1100 in the direction in which the smart device 1000 is mainly used. It may be disposed on the upper surface 1102 of the housing 1100.
본 예에서 스마트 디바이스(1000)에는 단일한 스피커(1302)가 무지향성으로 음성을 출력하도록 마련될 수 있다. 예를 들어, 스피커(1302)는 하우징(1100)의 내부에 하우징(1100)의 하면(1101)을 향해 음성을 출력하도록 배치되고, 하우징(1100)의 하면(1101)에는 콘 형태의 돌출부를 마련하여 사운드 패스가 하우징(1100)의 외측 전방향으로 출력되도록 할 수 있다. 물론, 스피커(1302)가 복수로 제공되는 것도 가능하며 이때에는 스마트 디바이스(1000)가 지향성 음성 출력을 하거나 멀티 채널(예를 들어, 스테레오 사운드나 5.1 채널 등)로 음성 출력하는 것이 가능할 수 있다. In this example, the smart device 1000 may be provided with a single speaker 1302 to output voice in a non-directional manner. For example, the speaker 1302 is arranged to output voice toward the lower surface 1101 of the housing 1100 inside the housing 1100, and a cone-shaped protrusion is provided on the lower surface 1101 of the housing 1100. The sound path may be output in the omnidirectional direction of the housing 1100. Of course, a plurality of speakers 1302 may be provided, and in this case, the smart device 1000 may output directional voice or output voice in a multi-channel (for example, stereo sound or 5.1 channel).
본 예에 따른 스마트 디바이스(1000)의 구현예에서는 스마트 디바이스(1000)에 디스플레이 모듈(1400)이 탑재되지 않으므로, 스마트 디바이스(1000)가 디스플레이 백을 출력할 수는 없다. 후술될 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 그 제어 방법 중 일부는 디스플레이 모듈(1400)이 탑재된 스마트 디바이스(1000)에 한하여 적용될 수 있지만, 다른 일부는 디스플레이 모듈(1400)이 없는 스마트 디바이스(1000)에도 적용될 수 있음을 미리 밝혀둔다. In the embodiment of the smart device 1000 according to the present example, since the display module 1400 is not mounted in the smart device 1000, the smart device 1000 may not output the display back. Some of the smart device 1000 and the control method thereof according to an embodiment of the present invention to be described later may be applied to the smart device 1000 in which the display module 1400 is mounted, but the other part is the display module 1400. Note that it can also be applied to the smart device 1000 without.
일 예에 따르면, 스마트 디바이스(1000)는 도 3에 도시된 바와 같이 테이블이나 플로어 등과 같은 수평면에 거치되어 이용되며 디스플레이 패널(1420)을 구비하는 형태(1000b)로 제공될 수 있다. According to an example, the smart device 1000 may be mounted on a horizontal surface such as a table or a floor, as shown in FIG. 3, and provided as a form 1000b including a display panel 1420.
본 예에서, 스마트 디바이스(1000)에 디스플레이 패널(1420)이 구비될 수 있다. 디스플레이 패널(1420)은 주로 하우징(1100)의 일면에 구비될 수 있다. 스마트 디바이스(1000)는 디스플레이 패널(1420)을 통해 각종 영상(예를 들어, 디스플레이 백)을 출력할 수 있다. 한편, 디스플레이 패널(1420)이 터치 패널로 제공됨에 따라 디스플레이 패널(1420)이 터치 입력 인터페이스로 기능할 수도 있다. In this example, the display device 1420 may be provided in the smart device 1000. The display panel 1420 may be mainly provided on one surface of the housing 1100. The smart device 1000 may output various images (eg, a display back) through the display panel 1420. Meanwhile, as the display panel 1420 is provided as a touch panel, the display panel 1420 may function as a touch input interface.
또 디스플레이 패널(1420)이 인디케이터(1106)의 역할을 대체할 수 있으므로, 본 예에서 스마트 디바이스(1000)에서 인디케이터(1106)는 선택적으로 구비될 수 있다. 또 본 예의 스마트 디바이스(1000)에서 음성 출력 모듈(1300)과 음성 입력 모듈(1200)은 다양한 배치 형태로 제공될 수 있다. In addition, since the display panel 1420 may replace the role of the indicator 1106, the indicator 1106 may be selectively provided in the smart device 1000 in this example. In addition, in the smart device 1000 of the present example, the voice output module 1300 and the voice input module 1200 may be provided in various arrangements.
이상에서는 본 예의 스마트 디바이스(1000)에 대해 거치형인 것으로 설명했으나, 이와 달리 스마트 디바이스(1000)가 벽걸이형으로 제공될 수도 있다. 이때에는 하우징(1100)에 스마트 디바이스(1000)가 벽에 걸릴 수 있도록 하는 마운팅 수단이 마련되어 있을 수 있다. 예를 들어, 마운팅 수단은 접착층이나 브라켓, 리세스 등으로 제공될 수 있다. In the above description, the smart device 1000 of the present example has been described as being stationary. Alternatively, the smart device 1000 may be provided as a wall-mounted device. In this case, a mounting means for hanging the smart device 1000 on the wall may be provided in the housing 1100. For example, the mounting means may be provided as an adhesive layer, a bracket, a recess or the like.
일 예에 따르면, 스마트 디바이스(1000)는 도 4에 도시된 바와 같이 프로젝터(1440)를 구비하는 형태(1000c)로 제공될 수 있다. 이에 따라 스마트 디바이스(1000)는 프로젝터(1440)를 통해 각종 영상을 출력할 수 있다. 도 4에 도시된 스마트 디바이스(1000)는 수평면에 거치되어 이용되거나 또는 천장이나 벽면 등에 설치되어 이용될 수 있다. 프로젝션 거리가 짧은 사용 환경을 목적하는 경우에는 스마트 디바이스(1000)의 프로젝터(1440)로는 초단초점(UST: Ultra Short Throw) 프로젝터가 이용될 수 있다. According to an example, the smart device 1000 may be provided in the form 1000c including the projector 1440 as shown in FIG. 4. Accordingly, the smart device 1000 may output various images through the projector 1440. The smart device 1000 shown in FIG. 4 may be mounted on a horizontal plane or installed on a ceiling or a wall. If a short projection distance is desired, an ultra short throw (UST) projector may be used as the projector 1440 of the smart device 1000.
본 예에서 스마트 디바이스(1000)는 선택적으로 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스 구비할 수 있다. In this example, the smart device 1000 may optionally include a touch input interface, a gesture input interface, a gaze recognition interface, and / or a space recognition interface.
터치 입력 인터페이스는 스마트 디바이스(1000)가 놓인 면이나 스마트 디바이스(1000)가 디스플레이 백을 프로젝션하는 면에 대한 사용자의 터치 입력을 감지할 수 있다. 터치 입력 인터페이스의 예로는 적외선 터치 센서를 들 수 있다. 적외선 터치 센서는 적외선을 조사하는 출광 수단과 적외선을 수신하는 수광 수단을 포함하고, 출광 수단에 의해 출사된 적외선이 사용자의 신체에 반사되어 수광 수단으로 수신되는 것을 이용하여 터치 입력을 획득할 수 있다. 적외선 터치 센서에서는 수광 수단 대신 일반 카메라나 적외선 카메라를 이용할 수도 있다. 적외선 카메라를 이용하는 경우에는 출광 수단이 소정의 패턴을 형성하도록 적외선을 출사하고, 적외선 카메라에서 사용자 신체에 의해 패턴이 변형되는 것을 감지하는 방식으로 터치 입력을 획득할 수 있다. The touch input interface may detect a user's touch input on a surface on which the smart device 1000 is placed or a surface on which the smart device 1000 projects the display back. An example of the touch input interface is an infrared touch sensor. The infrared touch sensor may include light emitting means for irradiating infrared rays and light receiving means for receiving infrared rays, and may acquire a touch input by using infrared rays emitted by the light emitting means being reflected by a user's body and received by the light receiving means. . In the infrared touch sensor, a general camera or an infrared camera may be used instead of the light receiving means. In the case of using an infrared camera, the light emitting means emits infrared light so as to form a predetermined pattern, and the touch input may be obtained by detecting that the pattern is deformed by the user's body in the infrared camera.
또 제스처 입력 인터페이스는 각종 이미지에 기초하여 사용자의 신체로 표현되는 제스처(예를 들어, 팔동작이나 손가락 동작, 손가락 형태 등)을 인식할 수 있다. 제스처 입력 인터페이스는 터치 인터페이스와 다르게 물리적 면에 대한 터치만을 입력받지 않고 공간에 대한 제스처를 입력받을 수 있는 장점이 있다. In addition, the gesture input interface may recognize a gesture (for example, an arm gesture, a finger gesture, a finger shape, etc.) expressed by the user's body based on various images. Unlike the touch interface, the gesture input interface has an advantage of receiving a gesture for a space without receiving only a touch on a physical surface.
또 시선 인식 인터페이스는 스마트 디바이스(1000)의 사용자의 시선을 인식할 수 있다. 예를 들어, 시선 인식 인터페이스는 사용자가 바라보는 방향 내지 사용자가 바라보는 지점을 2차원 또는 3차원 정보로써 인식할 수 있다. In addition, the gaze recognition interface may recognize the gaze of the user of the smart device 1000. For example, the gaze recognition interface may recognize a direction viewed by a user or a point viewed by the user as two-dimensional or three-dimensional information.
또 공간 인지 인터페이스는 스마트 디바이스(1000)가 있는 주변의 공간과 사물을 인지할 수 있다. 예를 들어, 공간 인지 인터페이스는 스마트 디바이스(1000)가 놓인 방의 구조, 주변에 놓인 사물의 위치, 형태 등을 인식할 수 있다. In addition, the space aware interface may recognize a space and an object around the smart device 1000. For example, the space recognition interface may recognize a structure of a room where the smart device 1000 is placed, a location, a shape, etc. of an object placed in the vicinity.
물론, 스마트 디바이스(1000)의 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스가 상술한 예로 한정되는 것은 아니며, 당업자에게 자명한 다양한 변형이 가능함은 물론이다. 또한, 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스는 본 예의 스마트 디바이스(1000) 뿐만 아니라 스마트 디바이스(1000) 다른 구현예들에도 적용될 수 있음을 밝혀둔다. Of course, the touch input interface, the gesture input interface, the gaze recognition interface, and / or the space recognition interface of the smart device 1000 are not limited to the above examples, and various modifications apparent to those skilled in the art are possible. It is also noted that the touch input interface, gesture input interface, gaze recognition interface, and / or space aware interface may be applied to the smart device 1000 as well as other implementations of the smart device 1000 of the present example.
본 예에서, 스마트 디바이스(1000)는 그 거치 방향이 조절됨에 따라 프로젝션 방향이 조절되는 형태(1000d)로 제공될 수 있다. 예를 들어 도 5을 살펴보면, 스마트 디바이스(1000)의 하우징(1100)은 적어도 두 개의 거치면(1104, 1105)을 가질 수 있으며, 두 개의 거치면(1104, 1105) 중 어느 하나를 통해 하우징(1100)이 거치되는지 여부에 따라 프로젝션 방향이 벽면을 향하는지 또는 바닥면을 향하는지의 여부가 결정될 수 있다. 다시 말해, 사용자가 수동으로 스마트 디바이스(1000)의 거치 자세를 조절함으로써 스마트 디바이스(1000)의 프로젝션 방향 또는 프로젝션 영역이 조절될 수 있다. In this example, the smart device 1000 may be provided in a form 1000d in which the projection direction is adjusted as the mounting direction thereof is adjusted. For example, referring to FIG. 5, the housing 1100 of the smart device 1000 may have at least two mounting surfaces 1104 and 1105, and the housing 1100 may be one of the two mounting surfaces 1104 and 1105. It may be determined whether the projection direction is facing the wall or the bottom surface depending on whether or not it is mounted. In other words, the projection direction or the projection area of the smart device 1000 may be adjusted by the user manually adjusting the mounting posture of the smart device 1000.
한편, 수동으로 거치 자세가 조절됨에 따라 프로젝션 방향 내지는 영역이 조절되는 것과 달리 본 예에서, 스마트 디바이스(1000)는 프로젝션 방향을 자동적으로 조절할 수도 있다. 이를 위해 스마트 디바이스(1000)는 프로젝션의 방향이나 프로젝션의 영역을 조절하는 구동 모듈(1500)을 더 포함할 수도 있다. 예를 들어, 스마트 디바이스(1000)에는 프로젝터를 회전시키는 회전 모터(1520)가 구동 모듈(1500)로 구비될 수 있다. 다른 예를 들어, 스마트 디바이스(1000)에는 프로젝션의 광 경로를 조절하는 반사 미러 등이 구동 모듈(1500)로 구비될 수 있다. 또 다른 예로, 구동 모듈(1500)은 회전 모터(1520)와 반사 미러가 조합된 형태로 제공될 수도 있다. 여기서, 반사 미러는 MEMS 미러, 레조넌스 미러 등과 같이 고정 상태 타입(solid-state)로 구현되거나 물리적으로 방향이 조절되는 노딩 미러나 다각(polygonal) 미러 등으로 제공될 수 있다. 도 6을 살펴보면, 스마트 디바이스(1000)는 테이블 상에 거치되어 테이블 위로 디스플레이 백을 출력하는데, 이때 스마트 디바이스(1000)는 구동 모듈(1500)을 이용하여 디스플레이 백의 프로젝션 방향을 사용자 방향으로 이동시킬 수 있다. 또 스마트 디바이스(1000)는 구동 모듈(1500)을 이용하여 프로젝션 방향을 필요에 따라 벽면 또는 테이블면을 적절히 조절할 수 있다. 프로젝션 방향 내지는 프로젝션 영역을 자동으로 조절하는 스마트 디바이스(1000)가 프로젝터(1440)를 구비하는 형태로 한정되는 것은 아니다. 예를 들어, 도 에 도시된 형태의 스마트 디바이스(1000)에 디스플레이 패널(1420)의 방향을 조절하는 구동 모듈(1500)이 탑재해 스마트 디바이스(1000)가 구동 모듈(15000)을 통해 자동적으로 디스플레이 방향을 조절하는 것도 가능하다.On the other hand, unlike the projection direction or the area is adjusted as the mounting posture is manually adjusted in this example, the smart device 1000 may automatically adjust the projection direction. To this end, the smart device 1000 may further include a driving module 1500 for adjusting the direction of the projection or the area of the projection. For example, the smart device 1000 may be provided with a driving motor 1500 that rotates the projector. For another example, the smart device 1000 may be provided as a driving module 1500 such as a reflection mirror for adjusting the light path of the projection. As another example, the driving module 1500 may be provided in a combination of the rotating motor 1520 and the reflection mirror. The reflective mirror may be implemented as a solid-state or may be provided as a physically oriented nodal mirror or polygonal mirror, such as a MEMS mirror, a resonance mirror, or the like. Referring to FIG. 6, the smart device 1000 is mounted on a table and outputs a display back on the table. In this case, the smart device 1000 may move the projection direction of the display back to the user direction using the driving module 1500. have. In addition, the smart device 1000 may properly adjust the wall surface or the table surface as necessary in the projection direction by using the driving module 1500. The smart device 1000 which automatically adjusts the projection direction or the projection area is not limited to the form having the projector 1440. For example, a driving module 1500 that adjusts the direction of the display panel 1420 is mounted on the smart device 1000 of the type shown in FIG. 5 so that the smart device 1000 is automatically displayed through the driving module 15000. It is also possible to adjust the direction.
1.5. 스마트 디바이스의 작동 모드 1.5. Mode of operation of the smart device
1.5.1. 오프 상태 1.5.1. OFF state
스마트 디바이스(1000)는 기기가 동작하지 않는 오프 상태를 가질 수 있다. 오프 상태에서는 전원이 공급되지 않아 기기가 꺼져있는 상태이거나 최소한의 전원만을 이용하는 휴면(hibernation) 상태일 수 있다. The smart device 1000 may have an off state in which the device does not operate. In the off state, the device may be turned off because it is not powered, or in a hibernation state with minimal power.
1.5.2. 스탠바이 모드 1.5.2. Standby mode
스마트 디바이스(1000)는 전원이 인가되면 사용자로부터 특별히 지시를 받지 않은 상태에서 스탠바이 모드로 동작할 수 있다. 예를 들어, 스마트 디바이스(1000)는 전원이 인가되면 스탠바이 모드로 진입할 수 있다. When the power is applied, the smart device 1000 may operate in the standby mode without receiving a special instruction from the user. For example, the smart device 1000 may enter a standby mode when power is applied.
스탠바이 모드는 사용자로부터 스마트 디바이스(1000)를 이용하겠다는 의도를 전달받는 단계(phase)이다. 예를 들어, 스마트 디바이스(1000)는 스탠바이 모드에서 사용자 음성으로부터 웨이크업 워드를 검출하는 동작을 수행하고, 웨이크업 워드의 검출 여부에 따라 스마트 디바이스(1000)를 이용하려는 사용자의 의도를 판단할 수 있다. The standby mode is a phase in which a user receives an intention to use the smart device 1000. For example, the smart device 1000 may perform an operation of detecting the wakeup word from the user's voice in the standby mode, and determine a user's intention to use the smart device 1000 according to whether the wakeup word is detected. have.
스탠바이 모드에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 음성을 수신할 수 있다. 이때, 음성 입력 모듈(1200)은 음성을 비선별적으로 수신할 수 있다. 아직 스마트 디바이스(1000)는 수신되는 음성이 스마트 디바이스(1000)를 향해 발화된 사용자 음성인지 알 수 없기 때문에 보이스 커맨드의 해석을 위해 수신한 음성을 보이스 어시스턴트 서버(10)로 전송하지 않을 수 있다. In the standby mode, the smart device 1000 may receive a voice through the voice input module 1200. In this case, the voice input module 1200 may non-selectively receive the voice. Since the smart device 1000 does not know whether the received voice is a user voice uttered toward the smart device 1000, the smart device 1000 may not transmit the received voice to the voice assistant server 10 for interpretation of the voice command.
스탠바이 모드에서 스마트 디바이스(1000)는 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. 웨이크업 워드는 스마트 디바이스(1000)의 제조사에 의해 미리 정해진 특정 단어 또는 어구이거나 스마트 디바이스(1000)의 제조사에 의해 미리 정해진 특정 단어군 또는 어구군 중 사용자에 의해 선택된 것일 수 있다. In the standby mode, the smart device 1000 may detect a wakeup word from the received voice. The wakeup word may be a specific word or phrase predetermined by the manufacturer of the smart device 1000 or may be selected by a user from a specific word group or phrase group predetermined by the manufacturer of the smart device 1000.
상술한 바와 같이 웨이크업 워드는 임의적인 자연어 형태가 아니라 최대 몇몇 개의 미리 정해지는 단어 내지는 짧은 어구에 불과하므로, 입력되는 음성에서 웨이크업 워드를 검출하는 것은 많은 연산을 필요로 하지 않는다. 따라서, 스마트 디바이스(1000)의 콘트롤러(1060)는 보이스 어시스턴트 서버(10)와의 협업없이 직접 로컬에서 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. As described above, since the wakeup word is not an arbitrary natural language form but a maximum of several predetermined words or short phrases, detecting the wakeup word in the input voice does not require many operations. Accordingly, the controller 1060 of the smart device 1000 may detect a wakeup word from a voice received locally directly without cooperation with the voice assistant server 10.
스탠바이 모드에서 스마트 디바이스(1000)는 수신된 음성으로부터 웨이크업 워드가 검출되는지 여부에 기초하여 스마트 디바이스(1000)를 이용하려는 사용자 의도를 판단할 수 있다. 수신되는 음성으로부터 웨이크업 워드가 검출되는 경우 스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도를 가진 것으로 이해할 수 있다. In the standby mode, the smart device 1000 may determine a user's intention to use the smart device 1000 based on whether a wakeup word is detected from the received voice. When the wake-up word is detected from the received voice, the smart device 1000 may be understood as a user intending to use the smart device 1000.
스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도를 가진 것으로 판단하면, 사용자로부터 보이스 커맨드가 담긴 사용자 음성이 수신될 것을 대비해 리스닝 모드로 진입할 수 있다. 반대로 수신되는 음성으로부터 웨이크업 워드가 검출되지 않는 경우에는 스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도가 없는 것으로 이해할 수 있으며, 스마트 디바이스(1000)는 리스닝 모드로 진입하는 대신 스탠바이 모드를 유지할 수 있다. If the smart device 1000 determines that the user intends to use the smart device 1000, the smart device 1000 may enter a listening mode in preparation for receiving a user voice containing a voice command from the user. On the contrary, when the wake-up word is not detected from the received voice, the smart device 1000 may understand that the user does not intend to use the smart device 1000. Instead, the smart device 1000 enters the listening mode. Standby mode can be maintained.
한편, 스탠바이 모드는 웨이크업 워드를 검출/인식하는 모드이므로 경우에 따라서는 웨이크업 워드 검출 상태 또는 모드로 지칭할 수도 있다.On the other hand, since the standby mode is a mode for detecting / recognizing the wakeup word, it may also be referred to as a wakeup word detection state or mode in some cases.
1.5.3. 리스닝 모드 1.5.3. Listening mode
상술한 바와 같이 스마트 디바이스(1000)는 스탠바이 모드에서 웨이크업 워드의 입력이 검출되면 리스닝 모드로 진입할 수 있다. 한편, 스마트 디바이스(1000)에 리스닝 모드로의 진입을 지시하는 버튼이 마련되어 있고 스마트 디바이스(1000)가 해당 버튼에 대한 사용자 입력에 응해 리스닝 모드에 진입하는 것도 가능하다. As described above, when the input of the wake-up word is detected in the standby mode, the smart device 1000 may enter the listening mode. Meanwhile, the smart device 1000 may be provided with a button for instructing to enter the listening mode, and the smart device 1000 may enter the listening mode in response to a user input for the corresponding button.
리스닝 모드에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 입력받을 수 있다. 리스닝 모드에서 입력되는 사용자 음성은 스마트 디바이스(1000)에 특정한 동작을 지시하는 보이스 커맨드를 포함할 수 있다. In the listening mode, the smart device 1000 may receive a user voice through the voice input module 1200. The user's voice input in the listening mode may include a voice command for instructing a specific operation of the smart device 1000.
여기서, 반드시 그러한 것은 아니나 보이스 커맨드는 주로 자연어 형태를 취할 수 있다. 자연어 형태의 보이스 커맨드를 인식하는 것은 높은 연산량으로 인해 로컬에서 처리되기 어려울 수 있으므로, 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)와 협업하여 사용자 음성으로부터 보이스 커맨드를 해석할 수 있다. Here, but not necessarily, voice commands may take predominantly natural language forms. Recognizing natural language voice commands may be difficult to process locally due to a high amount of computation, so that the smart device 1000 may collaborate with the voice assistant server 10 to interpret voice commands from the user's voice.
따라서, 리스닝 모드에서 스마트 디바이스(1000)는 사용자 음성에 포함된 보이스 커맨드의 해석을 위해 입력된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. 스마트 디바이스(1000)는 몇몇 방식으로 사용자 음성을 보이스 어시스턴트 서버(10)에 전송할 수 있다. 일 예로, 스마트 디바이스(1000)는 리스닝 모드에서 수신되는 사용자 음성을 실시간으로 보이스 어시스턴트 서버(10)에 전송할 수 있다. 다른 예로, 스마트 디바이스(1000)는 수신되는 사용자 음성을 취합한 뒤 취합된 사용자 음성을 일괄적으로 보이스 어시스턴트 서버(10)에 전송할 수도 있다. 보이스 어시스턴트 서버(10)는 스마트 디바이스(1000)로부터 전달받은 사용자 음성으로부터 보이스 커맨드를 해석하고, 해석된 보이스 커맨드에 대응하는 피드백 데이터를 생성하여 스마트 디바이스(1000)로 반환할 수 있다.Therefore, in the listening mode, the smart device 1000 may transmit the input user voice to the voice assistant server 10 for interpretation of the voice command included in the user voice. The smart device 1000 may transmit the user voice to the voice assistant server 10 in some manner. For example, the smart device 1000 may transmit a user voice received in a listening mode to the voice assistant server 10 in real time. As another example, the smart device 1000 may collect the received user voices and then collectively transmit the collected user voices to the voice assistant server 10. The voice assistant server 10 may interpret the voice command from the user voice received from the smart device 1000, generate feedback data corresponding to the interpreted voice command, and return it to the smart device 1000.
리스닝 모드에서 스마트 디바이스(1000)가 사용자 음성을 보이스 어시스턴트 서버(10)로 전송하기 전에, 스마트 디바이스(1000)는 사용자 음성에 대한 전처리(pre-processing)을 수행할 수 있다. 전처리의 예로는 노이즈 캔슬링, 음성 데이터 압축 등이 있다. 예를 들어, 음성 출력 모듈(1300)을 통해 토크 백을 출력 중인 스마트 디바이스(1000)가 리스닝 모드에서 사용자 음성을 수신한 경우 스마트 디바이스(1000)에는 토크 백과 보이스 커맨드를 포함한 사용자 음성을 함께 수신할 수 있다. 이때, 스마트 디바이스(1000)는 스스로 출력하는 토크 백에 대한 정보를 이용하여 수신된 음성 중 토크 백 부분을 제거함으로써 수신된 음성에서 사용자 음성 부분을 추출해 낼 수 있다. Before the smart device 1000 transmits the user voice to the voice assistant server 10 in the listening mode, the smart device 1000 may perform pre-processing on the user voice. Examples of preprocessing include noise canceling, speech data compression, and the like. For example, when the smart device 1000 outputting the talk back through the voice output module 1300 receives the user voice in the listening mode, the smart device 1000 may receive the user voice including the talk back and voice commands together. Can be. In this case, the smart device 1000 may extract the user voice part from the received voice by removing the talk back part of the received voice by using the information on the talk back output by itself.
또 리스닝 모드에서 스마트 디바이스(1000)는 깨끗한 사용자 음성을 입력받기 위해 조용한 주변 환경을 조성하기 위한 동작을 수행할 수 있다. 일 예로, 스마트 디바이스(1000)는 리스닝 모드에서 진입하면 기 출력 중이던 토크 백의 출력을 중단하거나 토크 백의 오디오 볼륨을 감소시킬 수 있다. 예를 들어, 라디오 뉴스를 재생 중인 스마트 디바이스(1000)는 리스닝 모드에 진입하면 재생 중이던 라이브 뉴스를 일시 정지시킬 수 있다. In the listening mode, the smart device 1000 may perform an operation for creating a quiet surrounding environment in order to receive a clean user voice. For example, when the smart device 1000 enters the listening mode, the smart device 1000 may stop the output of the talkback that is being output or reduce the audio volume of the talkback. For example, when the smart device 1000 playing the radio news enters the listening mode, the smart device 1000 may pause the live news being played.
스마트 디바이스(1000)는 리스닝 모드를 일정한 시간 간격(time period) 동안 유지할 수 있다. 예를 들어, 스마트 디바이스(1000)는 보이스 커맨드를 담은 사용자 입력을 보이스 어시스턴트 서버(10)에 전송하고 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신하면, 리스닝 모드를 종료할 수 있다. 다른 예를 들어, 스마트 디바이스(1000)는 사용자 음성의 입력이 완료된 경우 또는 사용자 음성 입력된 후 미리 정해진 시간 동안 음성이 입력되지 않는 경우에, 리스닝 모드를 종료할 수 있다. 또 다른 예를 들어, 스마트 디바이스(1000)는 리스닝 모드에 진입한 뒤 미리 정해진 시간 동안 사용자 음성의 입력이 없는 경우에 리스닝 모드를 종료할 수 있다. 이하에서는 스마트 디바이스(1000)가 리스닝 모드를 유지하는 시간 간격을 '리스닝 윈도우'로 지칭하기로 한다. 또한 이와 관련하여 스마트 디바이스(1000)가 리스닝 모드로 진입하는 동작을 '리스닝 윈도우를 연다(opening a listening window)'고 지칭하고, 반대로 스마트 디바이스(1000)가 리스닝 모드를 종료하는 동작을 '리스닝 윈도우를 닫는다(closing a listening window)'로 지칭하며, 스마트 디바이스(1000)가 리스닝 모드를 유지하는 상태를 '리스닝 모드가 열린' 상태로 지칭하기로 한다. The smart device 1000 may maintain the listening mode for a certain time period. For example, when the smart device 1000 transmits a user input containing a voice command to the voice assistant server 10 and receives feedback data from the voice assistant server 10, the smart device 1000 may end the listening mode. For another example, when the input of the user voice is completed or when the voice is not input for a predetermined time after the user voice is input, the smart device 1000 may end the listening mode. For another example, the smart device 1000 may end the listening mode when there is no input of the user's voice for a predetermined time after entering the listening mode. Hereinafter, a time interval during which the smart device 1000 maintains a listening mode will be referred to as a 'listening window'. In this regard, an operation in which the smart device 1000 enters a listening mode is referred to as 'opening a listening window', whereas an operation in which the smart device 1000 terminates a listening mode is referred to as a 'listening window'. A state in which the smart device 1000 maintains the listening mode will be referred to as a 'closing a listening window' state.
한편, 몇몇 경우에 스마트 디바이스(1000)는 리스닝 모드에서도 사용자 음성으로부터 웨이크업 워드를 검출할 수 있다. 리스닝 모드에서 웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드를 다시 시작할 수 있으며, 리스닝 윈도우를 초기화시킬 수 있다. In some cases, the smart device 1000 may detect the wakeup word from the user voice even in the listening mode. When the wake-up word is detected in the listening mode, the smart device 1000 may restart the listening mode and initialize the listening window.
1.5.4. 응답 모드 1.5.4. Response mode
리스닝 모드에서 스마트 디바이스(1000)가 입력된 사용자 음성을 보이스 어시스턴트 서버(10)로 전달하면, 보이스 어시스턴트 서버(10)는 사용자 음성으로부터 보이스 커맨드를 추출하고 추출된 보이스 커맨드를 해석하고, 해석된 보이스 커맨드에 기초하여 피드백 데이터를 생성하고, 이를 스마트 디바이스(1000)에 전달할 수 있다. In the listening mode, when the smart device 1000 transmits the input user voice to the voice assistant server 10, the voice assistant server 10 extracts the voice command from the user voice, interprets the extracted voice command, and interprets the analyzed voice command. The feedback data may be generated based on the command and transferred to the smart device 1000.
피드백 데이터를 전달받은 스마트 디바이스(1000)는 피드백 데이터를 이용하여 피드백을 출력할 수 있다. 이처럼 피드백을 전달받아 출력하는 단계(phase)가 응답 모드이다. 응답 모드에서 스마트 디바이스(1000)는 피드백 데이터를 수신해 그에 따라 피드백을 출력하는데, 스마트 디바이스(1000)는 토크 백 및/또는 디스플레이 백을 출력할 수 있다. The smart device 1000 receiving the feedback data may output the feedback using the feedback data. The response mode is to receive feedback and output it. In the response mode, the smart device 1000 receives the feedback data and outputs the feedback accordingly, and the smart device 1000 may output the talk back and / or the display back.
한편, 스마트 디바이스(1000)는 피드백 데이터를 수신하여 피드백의 출력을 개시함과 동시에 또는 피드백의 출력을 개시한 뒤 곧이어 스탠바이 모드로 진입할 수 있다. 이 경우에는, 스마트 디바이스(1000)는 스탠바이 모드 또는 리스닝 모드인 상태에서 피드백을 출력할 수 있다. 관점에 따라서는, 스마트 디바이스(1000)가 스탠바이 모드나 리스닝 모드에서 피드백의 출력을 지속한다고 규정하는 대신, 응답 모드와 스탠바이 모드가 동시에 운용되는 것으로 해석할 수도 있다. Meanwhile, the smart device 1000 may enter the standby mode at the same time as receiving the feedback data to start the output of the feedback or immediately after the output of the feedback. In this case, the smart device 1000 may output the feedback in the standby mode or the listening mode. According to an aspect, instead of defining that the smart device 1000 maintains the output of the feedback in the standby mode or the listening mode, it may be interpreted that the response mode and the standby mode are operated at the same time.
일 예로, 사용자로부터 라이브 뉴스의 스트리밍을 요구받은 스마트 디바이스(1000)는 응답 모드에서 보이스 어시스턴트 서버(10)로부터 라이브 뉴스에 대한 피드백 데이터를 수신해 라이브 뉴스의 재생을 개시한 뒤 스탠바이 모드로 진입하여 라이브 뉴스의 스트리밍을 지속할 수 있다. 다른 예로, 스탠바이 모드에서 라이브 뉴스 스트리밍 중 웨이크업 워드가 검출되면, 스마트 디바이스(1000)는 리스닝 모드로 진입하되, 여전히 라이브 뉴스 스트리밍을 유지하는 것도 가능하다. For example, the smart device 1000, which is requested to stream live news from a user, receives feedback data about live news from the voice assistant server 10 in response mode, starts playback of live news, and enters standby mode. You can continue streaming live news. As another example, when a wake-up word is detected during live news streaming in the standby mode, the smart device 1000 may enter the listening mode but still maintain the live news streaming.
1.5.5. 작동 상태의 운용 1.5.5. Operation of the operating state
본 발명의 일 실시예에 따른 스마트 디바이스(1000)가 상술한 모드들을 모두 운용해야 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)의 작동 모드에서 응답 모드가 생략되는 것도 가능하다. 또 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에서 상술한 모두들이 모두 독립적으로 운용되어야만 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)는 스탠바이 모드, 리스닝 모드 및 응답 모드는 그 전부 또는 일부가 중복된 작동 모드를 가질 수도 있다. The smart device 1000 according to an embodiment of the present invention does not need to operate all the above-described modes. For example, the response mode may be omitted in the operation mode of the smart device 1000. In addition, all of the above-described smart devices 1000 according to an embodiment of the present invention do not have to be operated independently. For example, the smart device 1000 may have an operation mode in which all or part of the standby mode, the listening mode, and the response mode are duplicated.
도 7 및 도 8은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 작동 모드의 운용의 예시에 관한 도면이고, 도 9는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 보이스 어시스턴트 서버(10) 간의 통신에 관한 도면이다. 7 and 8 are views illustrating an operation of an operation mode of the smart device 1000 according to an embodiment of the present invention, and FIG. 9 is a smart device 1000 and a voice assistant according to an embodiment of the present invention. It is a figure regarding the communication between the servers 10. FIG.
도 7 및 9를 살펴보면, 스마트 디바이스(1000)는 전원이 인가되면, 오프 상태로부터 스탠바이 모드로 진입할 수 있다. 스탠바이 모드인 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 지속적으로 음성을 수신하며 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. 7 and 9, when the power is applied, the smart device 1000 may enter the standby mode from the off state. The smart device 1000 in the standby mode may continuously receive a voice through the voice input module 1200 and detect a wakeup word from the received voice.
웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드로 진입할 수 있다. 또는 리스닝 모드를 지시하는 터치/버튼/제스처 등의 사용자 입력이 입력되어도 스마트 디바이스(1000)는 리스닝 모드에 진입할 수 있다. 리스닝 모드에서 스마트 디바이스(1000)는 보이스 커맨드가 담긴 사용자 음성을 수신할 수 있다.When the wakeup word is detected, the smart device 1000 may enter a listening mode. Alternatively, the smart device 1000 may enter the listening mode even when a user input such as a touch / button / gesture indicating the listening mode is input. In the listening mode, the smart device 1000 may receive a user voice containing a voice command.
스마트 디바이스(1000)는 수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 대한 피드백 데이터를 수신하고, 피드백 데이터에 기초하여 피드백을 출력할 수 있다. The smart device 1000 may transmit the received user voice to the voice assistant server 10. The smart device 1000 may receive feedback data for a voice command from the voice assistant server 10 and output feedback based on the feedback data.
리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드로부터 스탠바이 모드로 복귀할 수 있다. 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드 진입 후 사용자 음성이 입력되지 않으면 스탠바이 모드로 복귀할 수 있다. 또 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성이 입력된 후 추가적인 사용자 음성이 입력되지 않으면 스탠바이 모드로 복귀할 수 있다. 또 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성을 보이스 어시스턴트로 전달한 경우, 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 관련된 피드백의 피드백 데이터를 수신한 경우 또는 피드백 데이터에 기초하여 피드백의 출력(또는 출력의 개시)를 수행한 경우 스탠바이 모드로 복귀할 수 있다. The smart device 1000 in the listening mode may return from the listening mode to the standby mode. For example, if the user voice is not input after entering the listening mode, the smart device 1000 in the listening mode may return to the standby mode. For example, the smart device 1000 in the listening mode may return to the standby mode if no additional user voice is input after the user voice is input. For example, when the smart device 1000 in the listening mode transmits a user's voice to the voice assistant, when the feedback data of the feedback related to the voice command is received from the voice assistant server 10 or the feedback data is based on the feedback data. When the output (or the start of the output) is performed, it may return to the standby mode.
도 8 및 도 9을 살펴보면, 스마트 디바이스(1000)는 전원이 인가되면, 오프 상태로부터 스탠바이 모드로 진입할 수 있다. 스탠바이 모드인 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 지속적으로 음성을 수신하며 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다8 and 9, when the power is applied, the smart device 1000 may enter a standby mode from an off state. The smart device 1000 in the standby mode may continuously receive a voice through the voice input module 1200 and detect a wakeup word from the received voice.
웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드로 진입할 수 있다.When the wakeup word is detected, the smart device 1000 may enter a listening mode.
리스닝 모드에서 스마트 디바이스(1000)는 보이스 커맨드가 담긴 사용자 음성을 수신할 수 있다. 스마트 디바이스(1000)는 수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. In the listening mode, the smart device 1000 may receive a user voice containing a voice command. The smart device 1000 may transmit the received user voice to the voice assistant server 10.
수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송한 스마트 디바이스(1000)는 응답 모드로 진입하여 피드백을 출력할 수 있다. 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성을 보이스 어시스턴트 서버(10)에 전송한 경우 또는 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신한 경우 응답 모드로 진입할 수 있다.The smart device 1000 that transmits the received user voice to the voice assistant server 10 may enter a response mode and output feedback. The smart device 1000 in the listening mode may enter the response mode when the user voice is transmitted to the voice assistant server 10 or when the feedback data is received from the voice assistant server 10.
스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 대한 피드백 데이터를 수신하고, 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백의 출력을 종료하거나 또는 피드백의 출력을 개시한 스마트 디바이스(1000)는 스탠바이 모드로 복귀할 수 있다. The smart device 1000 may receive feedback data for a voice command from the voice assistant server 10 and output feedback based on the feedback data. The smart device 1000 that terminates the output of the feedback or initiates the output of the feedback may return to the standby mode.
한편, 리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드인 동안 사용자 음성을 수신하지 못한 경우에는 응답 모드로 진입하는 대신 스탠바이 모드로 복귀할 수 있다. In the meantime, when the smart device 1000 in the listening mode does not receive the user voice while in the listening mode, the smart device 1000 may return to the standby mode instead of entering the response mode.
2. 사용자 지향성 피드백(user directional feedback)을 출력하는 스마트 디바이스 2. Smart device that outputs user directional feedback
이하에서는 본 발명의 일 실시예에 따른 사용자 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명한다. 스마트 디바이스(1000)는 사용자가 감상하기 적절한 위치 또는 방향으로 피드백을 출력할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 사용자 지향성 피드백을 출력하는 스마트 디바이스(1000)는 사용자의 위치나 사용자의 방향을 고려하여 피드백이 출력되는 영역, 위치나 방향 등을 적절히 조절할 수 있다.Hereinafter, a smart device 1000 that outputs user-oriented feedback according to an embodiment of the present invention will be described. The smart device 1000 may output the feedback to a position or direction suitable for the user to watch. In detail, the smart device 1000 for outputting user-oriented feedback according to an embodiment of the present invention may appropriately adjust an area, a position or a direction in which the feedback is output in consideration of the user's position or the user's direction.
2.1. 사용자 지향성2.1. User orientation
여기서, 사용자 지향성 피드백이란 사용자가 감상하기 적절한 위치를 향해 출력되는 피드백을 의미할 수 있다. 예를 들어, 사용자 지향성 피드백이 디스플레이-백인 경우 스마트 디바이스(1000)는 사용자의 주변이나 사용자가 보고 있는 방향에 디스플레이-백을 디스플레이할 수 있다. 다른 예를 들어, 사용자 지향성 피드백이 토크-백인 경우 스마트 디바이스(1000)는 사용자를 향해 토크-백을 출력할 수 있다. In this case, the user-oriented feedback may refer to feedback that is output toward an appropriate position for the user to appreciate. For example, when the user-directed feedback is a display-back, the smart device 1000 may display the display-back in the vicinity of the user or in the direction in which the user is looking. For another example, when the user-directed feedback is talk-back, the smart device 1000 may output the talk-back toward the user.
사용자 지향성 피드백은 전술한 바와 같이 토크-백이나 디스플레이-백 양자에 적용될 수 있으나, 이하에서는 설명의 편의를 위해 사용자 지향성 피드백이 디스플레이-백인 것을 기준으로 설명하기로 한다. The user-directed feedback may be applied to both talk-back and display-back as described above, but for the convenience of description, the following description will be made based on the fact that the user-directed feedback is display-back.
나아가 사용자 지향성 피드백인 디스플레이-백은 디스플레이 패널(1420)이나 또는 프로젝터(1440)인 디스플레이 모듈(1400)에 의해 출력될 수 있으나, 이하에서는 설명의 편의를 위해 사용자 지향성 피드백인 디스플레이-백이 프로젝터(1440)를 통해 출력되는 것을 기준으로 설명하기로 한다. 다만, 사용자 지향성 피드백인 디스플레이-백을 출력하기 위해 프로젝터(1440)의 프로젝션 방향을 조절하는 방식은 디스플레이의 디스플레이 방향을 조절하는 방식에도 적용될 수 있음을 미리 밝혀둔다. Furthermore, the display-back, which is user-directed feedback, may be output by the display panel 1420 or the display module 1400, which is a projector 1440. Hereinafter, for convenience of description, the display-back, which is user-oriented feedback, may be output by the projector 1440. Based on the output through) will be described. However, the method of adjusting the projection direction of the projector 1440 to output the display-back which is user-directed feedback may be applied to the method of adjusting the display direction of the display.
한편, 이하의 설명에서 '지향성 피드백'은 사용자 지향성 피드백을 의미하고, '지향성 디스플레이-백'은 사용자 지향성을 갖는 디스플레이-백을 의미한다. Meanwhile, in the following description, 'directional feedback' means user-oriented feedback, and 'directional display-back' means display-back having user orientation.
2.2. 지향성 스마트 디바이스 2.2. Directional smart devices
이하에서는 본 발명의 일 실시예에 관한 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명한다. Hereinafter, a smart device 1000 for outputting directional feedback according to an embodiment of the present invention will be described.
도 10은 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 블록도이고, 도 11은 본 발명의 일 실시에에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 구현예의 사시도이고, 도 12는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 구현예의 분해 사시도이다. 이하에서는 도 10 내지 도 12를 참조하여 본 발명의 일 실시예에 관한 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명하지만, 지향성 스마트 디바이스(1000)의 구현예가 반드시 도 11 또는 도 12의 형태로 한정되는 것은 아니며 도 2 내지 도 6에 도시된 형태들을 포함한 다양한 다른 형태로 구현될 수도 있음을 미리 밝혀둔다. 반대로 이하의 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관한 설명은 본 명세서에서 언급되는 스마트 디바이스(1000) 전반에 적용될 수 있음 역시 밝혀둔다. 10 is a block diagram of a smart device 1000 for outputting directional feedback according to an embodiment of the present invention, and FIG. 11 is an example of an implementation of a smart device 1000 for outputting directional feedback according to an embodiment of the present invention. 12 is an exploded perspective view of an embodiment of a smart device 1000 for outputting directional feedback according to an embodiment of the present invention. Hereinafter, a smart device 1000 for outputting directional feedback according to an embodiment of the present invention will be described with reference to FIGS. 10 to 12, but an embodiment of the directional smart device 1000 is always illustrated in FIG. 11 or 12. It should be noted that the present invention may be implemented in various other forms including, but not limited to, those shown in FIGS. 2 to 6. On the contrary, the description of the smart device 1000 that outputs the following directional feedback may be applied to the overall smart device 1000 referred to herein.
도 10을 참조하면, 스마트 디바이스(1000)는 하우징(1100), 인디케이터(1106), 음성 입력 모듈(1200), 사용자 위치 감지 모듈(1700), 음성 출력 모듈(1300), 디스플레이 모듈(1400), 구동 모듈(1500), 전원 모듈(1600), 방열 모듈(1800), 통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)를 포함할 수 있다. Referring to FIG. 10, the smart device 1000 may include a housing 1100, an indicator 1106, a voice input module 1200, a user position sensing module 1700, a voice output module 1300, a display module 1400, The driving module 1500 may include a power module 1600, a heat dissipation module 1800, a communication module 1020, a memory 1040, and a controller 1060.
하우징(1100)은 스마트 디바이스(1000)의 외관을 형성한다. 또 하우징(1100)은 그 내부에 스마트 디바이스(1000)의 다른 구성 요소를 수용하며 이들을 외부의 충격으로부터 보호할 수 있다. 또 하우징(1100)은 사용자로하여금 심미감을 불러일으킬 수도 있다.The housing 1100 forms an appearance of the smart device 1000. In addition, the housing 1100 may accommodate other components of the smart device 1000 therein and may protect them from external shock. In addition, the housing 1100 may induce aesthetics for the user.
하우징(1100)은 스마트 디바이스(1000)가 이용되는 환경에 적합한 형태를 취할 수 있다. 예를 들어, 테이블 상에 거치되어 사용되는 스마트 디바이스(1000)의 하우징(1100)은 스마트 디바이스(1000)가 테이블에 안정적으로 지지되도록 그 바닥에 거치면을 가질 수 있다. 다른 예로, 벽이나 천장에 설치되는 스마트 디바이스(1000)의 하우징(1100)은 그에 적합한 형태를 가질 수 있다. 구체적인 하우징(1100)의 형태의 예로는 원이나 다각 기둥, 원뿔, 다각뿔, 육면체 등이 있다. The housing 1100 may take a form suitable for an environment in which the smart device 1000 is used. For example, the housing 1100 of the smart device 1000 mounted and used on the table may have a mounting surface on its bottom such that the smart device 1000 is stably supported on the table. As another example, the housing 1100 of the smart device 1000 installed on the wall or ceiling may have a form suitable for the same. Specific examples of the shape of the housing 1100 include a circle or a polygonal pillar, a cone, a polygonal pyramid, a hexahedron, and the like.
일 예로, 하우징(1100)은 도 11에 도시된 바와 같이 원 기둥 형태일 수 있다. 하우징(1100)은 하부 프레임(1120), 상부 프레임(1140), 및 투명 윈도우(1160)를 포함할 수 있다. 하부 프레임(1120)과 상부 프레임(1140)은 주로 불투명한 재질로 제공되며, 투명 윈도우(1160)는 상부 프레임(1140)과 하부 프레임(1120)의 사이에 배치되며 투명한 재질로 제공될 수 있다. 또한 투명 윈도우(1160)는 링 형태로 하우징(1100)을 감싸는 링 형상으로 제공될 수 있다. 투명 윈도우(1160)는 하우징(1100) 내에 배치되는 프로젝터(1440)가 출력하는 영상을 구성하는 광이 하우징(1100) 외부로 출력되는 통로 역할을 수행할 수 있다. 투명 윈도우(1160)는 프로젝터(1440)에서 출광되는 광을 외부로 통과시키면서도 하우징(1100)을 밀폐하기 위한 구성이다. 따라서, 필요에 따라서는 하우징(1100)에서 투명 윈도우(1160)를 제거하고, 그 대신 하우징(1100)에 프로젝터(1440)로부터 출력되는 광이 외부로 출광되는 경로를 제공하는 홀, 홈 또는 슬릿을 형성하는 것도 가능하다. As an example, the housing 1100 may have a circular columnar shape as shown in FIG. 11. The housing 1100 may include a lower frame 1120, an upper frame 1140, and a transparent window 1160. The lower frame 1120 and the upper frame 1140 are mainly provided with an opaque material, and the transparent window 1160 is disposed between the upper frame 1140 and the lower frame 1120 and may be provided with a transparent material. In addition, the transparent window 1160 may be provided in a ring shape surrounding the housing 1100 in a ring shape. The transparent window 1160 may serve as a path through which light constituting an image output by the projector 1440 disposed in the housing 1100 is output to the outside of the housing 1100. The transparent window 1160 is configured to seal the housing 1100 while passing light emitted from the projector 1440 to the outside. Thus, if necessary, the transparent window 1160 is removed from the housing 1100, and instead, a hole, groove, or slit is provided to the housing 1100, which provides a path for the light output from the projector 1440 to be output to the outside. It is also possible to form.
인디케이터(1106)는 하우징(1100)의 외면에 설치될 수 있다. 인디케이터(1106)는 스마트 디바이스(1000)의 상태를 표시한다. 인디케이터(1106)는 특정한 색상이나 특정한 패턴을 디스플레이함으로써 스마트 디바이스(1000)의 상태를 표시할 수 있다. The indicator 1106 may be installed on the outer surface of the housing 1100. The indicator 1106 displays the state of the smart device 1000. The indicator 1106 may display the state of the smart device 1000 by displaying a specific color or a specific pattern.
일 예로, 인디케이터(1106)는 도 11에 도시된 바와 같이 하우징(1100)의 상면이나 측면 상단에 방사형을 이루는 LED 어레이를 포함할 수 있다. LED 어레이는 색상이나 LED 어레이에 포함되는 LED들이 켜지는 순서나 방향 등을 통해 스마트 디바이스(1000)가 스탠바이 모드인지 리스닝 모드인지 또는 피드백 모드인지 여부, 정상 상태인지 오작동 상태인지 여부, 전원 상태, 통신 상태 등 다양한 정보를 표현할 수 있다. For example, the indicator 1106 may include an array of LEDs radially formed on the upper surface or the upper side of the housing 1100 as shown in FIG. 11. The LED array determines whether the smart device 1000 is in standby mode, listening mode, or feedback mode, whether it is in a normal or malfunctioning state, power state, or communication through the color or the order or direction in which LEDs included in the LED array are turned on. Various information such as status can be expressed.
음성 입력 모듈(1200)은 음성을 수신할 수 있다. 일 예로, 음성 입력 모듈(1200)은 도 11에 도시된 바와 같이 하우징(1100)의 상면 또는 측면 상단에 방사형을 이루는 마이크 어레이(1204)를 포함할 수 있다. 물론 마이크 어레이(1204)의 배치가 도 13에 의해 한정되는 것은 아니다. The voice input module 1200 may receive a voice. For example, as illustrated in FIG. 11, the voice input module 1200 may include a microphone array 1204 that is radially formed on an upper surface or an upper side of the housing 1100. Of course, the arrangement of the microphone array 1204 is not limited by FIG.
마이크 어레이(1204)는 각각 음성을 수신하는 복수의 마이크(1202)를 포함할 수 있다. 복수의 아미크를 갖는 마이크 어레이(1204)를 이용하면 음성이 수신될 때 음원의 위치를 감지할 수 있다. 구체적으로 복수의 마이크(1202)는 스마트 디바이스(1000)에 대한 사용자의 위치에 따라 음성 크기, 수신 시점, 반사음 형태가 다른 사용자 음성을 수신할 수 있다. 콘트롤러(1060)는 복수의 마이크(1202) 각각에서 수신되는 사용자 음성을 비교하여 스마트 디바이스(1000)에 대한 사용자의 위치, 거리 및/또는 방향을 획득할 수 있다. 여기서, 사용자 위치는 사용자의 거리 및 사용자의 방향 중 적어도 하나를 포함하는 개념으로 해석될 수 있으며, 이하에서는 스마트 디바이스(1000)에 대한 사용자의 위치, 거리, 방향을 각각 '사용자 위치', '사용자 거리', '사용자 방향'으로 지칭하기로 한다. The microphone array 1204 may include a plurality of microphones 1202, each receiving voice. When the microphone array 1204 having a plurality of arcs is used, the position of the sound source may be detected when voice is received. In more detail, the plurality of microphones 1202 may receive user voices having different voice sizes, reception points, and reflection sounds depending on the location of the user with respect to the smart device 1000. The controller 1060 may obtain a location, a distance, and / or a direction of the user with respect to the smart device 1000 by comparing user voices received from each of the plurality of microphones 1202. Here, the user location may be interpreted as a concept including at least one of a user's distance and a user's direction. Hereinafter, the user's location, distance, and direction for the smart device 1000 may be referred to as 'user location', 'user' Distance 'and' user direction '.
사용자 위치 감지 모듈(1700)은 사용자 위치, 사용자 거리 및/또는 사용자 방향을 감지할 수 있다. 따라서, 도 11에 도시된 마이크 어레이(1204)는 음성 입력 모듈(1200)인 동시에 사용자 위치 감지 모듈(1700)이 될 수 있다. 스마트 디바이스(1000)가 마이크 어레이(1204)를 이용해 사용자 위치를 감지할 수 있다면 사용자 위치 감지 모듈(1700)이 마이크 어레이(1204)로만 구성되는 것도 가능하다. 그러나, 보다 정확한 사용자 위치를 감지하기 위해 사용자 위치 감지 모듈(1700)에 마이크 어레이(1204) 이외에도 다른 센서가 추가적으로 포함되는 것도 가능하다. The user location sensing module 1700 may detect a user location, a user distance, and / or a user direction. Accordingly, the microphone array 1204 illustrated in FIG. 11 may be the voice input module 1200 and the user position sensing module 1700. If the smart device 1000 can detect the user location using the microphone array 1204, the user location sensing module 1700 may be configured only of the microphone array 1204. However, in addition to the microphone array 1204, other sensors may be additionally included in the user position sensing module 1700 to detect a more accurate user position.
예를 들어, 사용자 위치 감지 모듈(1700)은 모노/스테레오 카메라(1720)일 수 있다. 모노/스테레오 카메라(1720)는 스마트 디바이스(1000) 주변를 촬상하고, 콘트롤러(1060)가 촬상된 영상 내의 사용자 이미지를 분석함으로써 사용자 위치를 감지할 수 있다. 다른 예를 들어, 사용자 위치 감지 모듈(1700)은 열화상 카메라, IR 카메라, IR 센서 등일 수 있다. 열화상 카메라나 IR 카메라는 각각 열화상 이미지나 IR 이미지를 촬상하고, 콘트롤러(1060)는 촬상된 열화상 이미지나 IR 이미지를 이용해 사용자 위치를 감지할 수 있다. IR 센서는 IR 출광 수단과 IR 수광 수단을 포함할 수 있으며, IR 출광 수단이 출광한 적외선을 IR 수광 수단이 수신하고, 수신된 정보를 콘트롤러(1060)에서 분석함으로써 사용자 위치를 감지할 수 있다. 물론, 사용자 위치 감지 모듈(1700)은 상술한 예시 이외에도 광학 센서나 깊이 센서 등을 비롯한 다양한 형태로 구현될 수 있다. For example, the user location sensing module 1700 may be a mono / stereo camera 1720. The mono / stereo camera 1720 may capture the vicinity of the smart device 1000, and the controller 1060 may detect the user position by analyzing the user image in the captured image. As another example, the user location sensing module 1700 may be a thermal imaging camera, an IR camera, an IR sensor, or the like. The thermal imaging camera or the IR camera captures a thermal image or an IR image, respectively, and the controller 1060 may detect a user position using the captured thermal image or the IR image. The IR sensor may include an IR light emitting means and an IR light receiving means, and the IR light receiving means may receive infrared light emitted by the IR light emitting means, and may sense the user's position by analyzing the received information in the controller 1060. Of course, the user position sensing module 1700 may be implemented in various forms including an optical sensor or a depth sensor in addition to the above-described examples.
음성 출력 모듈(1300)은 토크-백을 출력할 수 있다. 비록 도 11에서는 음성 출력 모듈(1300)이 하우징(1100)의 하부 프레임(1120)에 하단에 배치되는 것으로 도시하고 있으나, 음성 출력 모듈(1300)의 형태나 배치가 도 11로 한정되는 것은 아니다. The voice output module 1300 may output the talk-back. Although FIG. 11 illustrates that the voice output module 1300 is disposed at the bottom of the lower frame 1120 of the housing 1100, the shape or arrangement of the voice output module 1300 is not limited to FIG. 11.
디스플레이 모듈(1400)은 디스플레이-백을 출력할 수 있다. 일 예로, 디스플레이 모듈(1400)은 도 12에 도시된 바와 같이 프로젝터(1440)로 제공될 수 있다. 프로젝터(1440)는 하우징(1100)의 투명 윈도우(1160)를 투과해 영상을 프로젝션할 수 있다. The display module 1400 may output a display-back. For example, the display module 1400 may be provided to the projector 1440 as shown in FIG. 12. The projector 1440 may project an image through the transparent window 1160 of the housing 1100.
구동 모듈(1500)은 디스플레이 디스플레이-백의 출력 방향이나 출력 영역을 조절할 수 있다. 일 예로, 구동 모듈(1500)은 도 14에 도시된 바와 같이 회전 모터(1520) 및 회전 플레이트(1540)를 포함할 수 있다. 회전 모터(1520)는 하우징(1100)의 내부에 설치되고, 회전력을 발생시켜 회전 플레이트(1540)를 회전시킬 수 있다. 회전 플레이트(1540)는 도 14에 도시된 바와 같이 원형판으로 제공될 수 있다. 회전 플레이트(1540)는 회전 모터(1520)로부터 회전력을 전달받아 하우징(1100) 내부에서 하우징(1100)에 대해 상대적으로 회전할 수 있다. 회전 플레이트(1540) 상에는 프로젝터(1440)가 고정 설치되어 있으며, 따라서 회전 플레이트(1540)가 회전하면 프로젝터(1440)는 회전 플레이트(1540)와 일체로 회전하게 된다. 이에 따라 프로젝터(1440)의 프로젝션 방향이 회전할 수 있다. The driving module 1500 may adjust an output direction or an output area of the display display-back. For example, the driving module 1500 may include a rotating motor 1520 and a rotating plate 1540 as shown in FIG. 14. The rotary motor 1520 may be installed inside the housing 1100 and may generate a rotating force to rotate the rotating plate 1540. Rotating plate 1540 may be provided in a circular plate as shown in FIG. The rotary plate 1540 may receive a rotational force from the rotary motor 1520 to rotate relative to the housing 1100 within the housing 1100. The projector 1440 is fixedly installed on the rotating plate 1540, and thus, when the rotating plate 1540 rotates, the projector 1440 rotates integrally with the rotating plate 1540. Accordingly, the projection direction of the projector 1440 may rotate.
또 구동 모듈(1500)은 추가적으로 현재 프로젝션 방향을 감지하기 위한 방향 감지 센서(1560)를 더 포함할 수 있다. 예를 들어, 방향 감지 센서(1560)로는 회전 플레이트(1540)의 모서리에 형성되는 소정의 패턴을 읽는 인코더, 회전 플레이트(1540)의 회전 각도를 감지하는 자이로 센서, 회전 모터(1520)의 회전 각도를 산출하는 각종 센서 등으로 제공될 수 있다. In addition, the driving module 1500 may further include a direction sensor 1560 for detecting a current projection direction. For example, the direction sensor 1560 may include an encoder that reads a predetermined pattern formed at an edge of the rotation plate 1540, a gyro sensor that detects a rotation angle of the rotation plate 1540, and a rotation angle of the rotation motor 1520. It can be provided by various sensors and the like to calculate.
이상에서는 구동 모듈(1500)이 프로젝터(1440)를 수평 방향으로 회전시키는 회전 모듈과 회전 플레이트(1540)로 구현되는 것으로 설명하였으나, 구동 모듈(1500)은 도 12 이외에도 다양한 형태를 가질 수 있으며, 프로젝션 방향이 반드시 수평 방향으로 조절되어야만 하는 것은 아니며 수직 방향으로 조절되는 것도 가능하다. 예를 들어, 구동 모듈(1500)은 회전 플레이트(1540)를 상하 방향으로 승강시키는 피스톤 또는 피스톤에 준하는 구동 수단을 포함하여 프로젝터(1440)를 승강시킴으로써 프로젝션 영역을 조절할 수 있다. 다른 예를 들어, 구동 모듈(1500)은 프로젝터(1440)로부터 출광되는 빔의 방향을 조절하는 MEMS 미러 등과 같은 틸팅 미러를 포함하여 프로젝션 방향을 수직 방향으로 조졸할 수 있다. In the above description, the driving module 1500 is implemented as a rotation module and a rotation plate 1540 for rotating the projector 1440 in the horizontal direction. However, the driving module 1500 may have various forms in addition to FIG. The direction does not necessarily have to be adjusted in the horizontal direction, but may be adjusted in the vertical direction. For example, the driving module 1500 may adjust the projection area by elevating the projector 1440 by including a piston or a driving means corresponding to the piston for elevating the rotating plate 1540 in the vertical direction. For another example, the driving module 1500 may include a tilting mirror such as a MEMS mirror that adjusts the direction of the beam emitted from the projector 1440 and steer the projection direction in the vertical direction.
전원 모듈(1600)은 스마트 디바이스(1000)가 동작하기 위해 필요한 전원을 제공한다. 전원 모듈(1600)은 통상적으로 하우징(1100)의 하부에 마련될 수 있다. 전원 모듈(1600)은 전력을 입력받는 입력단, 입력된 전력을 저장하는 배터리, 배터리로부터 전력을 출력하는 출력단 및 출력단으로부터 스마트 디바이스(1000)의 각 구성 요소로 연결되는 전력선을 포함할 수 있다. 또는 전원 모듈(1600)은 필요에 따라 배터리를 생략하고 입력단으로부터 전력선으로 직접 연결될 수도 있다. The power module 1600 provides power required for the smart device 1000 to operate. The power module 1600 may typically be provided at the bottom of the housing 1100. The power module 1600 may include an input terminal for receiving power, a battery for storing the input power, an output terminal for outputting power from the battery, and a power line connected to each component of the smart device 1000 from the output terminal. Alternatively, the power supply module 1600 may omit the battery as needed and be directly connected to the power line from the input terminal.
방열 모듈(1800)은 스마트 디바이스(1000)의 동작으로 인해 발생하는 열을 방열할 수 있다. 방열 모듈(1800)의 예로는 히트핀이나 히트싱크, 히트팬 등의 형태로 제공될 수 있다. 도 13 및 도 14에 도시된 스마트 디바이스(1000)의 구성 중 주로 프로젝터(1440)에서 가장 많은 열이 발생할 수 있는데, 이때에는 방열 모듈(1800)은 프로젝터(1440)의 주변에 설치되는 것이 바람직할 수 있다. The heat dissipation module 1800 may dissipate heat generated due to the operation of the smart device 1000. An example of the heat dissipation module 1800 may be provided in the form of a heat fin, a heat sink, a heat fan, or the like. Among the configurations of the smart device 1000 illustrated in FIGS. 13 and 14, most heat may be generated in the projector 1440. In this case, the heat dissipation module 1800 may be installed around the projector 1440. Can be.
통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)는 본 예에서 그 일부 또는 전부가 사용자 위치를 감지하고, 지향성 피드백을 출력하는데 이용될 수 있다. 이들 구성에 대해서는 이미 상술한 바 있으므로 여기서는 자세한 설명은 생략하기로 한다.The communication module 1020, the memory 1040, and the controller 1060 may in this example be used to detect some or all of the user's location and output directional feedback. Since these configurations have already been described above, a detailed description thereof will be omitted.
2.3. 지향성 피드백의 출력 동작 2.3. Output Behavior of Directional Feedback
2.3.1. 사용자 위치의 감지 2.3.1. Detect your location
본 발명의 일 실시예에서는 스마트 디바이스(1000)가 사용자 위치를 감지할 수 있다. 여기서, 사용자 위치란, 전술한 바와 같이 스마트 디바이스(1000)에 대한 사용자의 거리 및 방향 중 적어도 하나를 포함하는 개념이다.In an embodiment of the present invention, the smart device 1000 may detect a user location. As described above, the user location is a concept including at least one of a distance and a direction of the user with respect to the smart device 1000.
스마트 디바이스(1000)는 다양한 방법을 통해 사용자 위치를 감지할 수 있다. 또 스마트 디바이스(1000)는 로컬에서 스탠드 얼론으로 독자적으로 사용자 위치를 감지하거나 또는 보이스 어시스턴트 서버(10)나 다른 서버와 협업하여 사용자 위치를 감지할 수 있다. 예를 들어, 스마트 디바이스(1000)는, 사용자 위치 감지 모듈(1700)이 사용자 위치를 감지하기 위한 정보를 획득하고 콘트롤러(1060)가 상기 정보를 이용해 사용자 위치를 판단하는 것을 통해, 사용자 위치를 감지할 수 있다. 다른 예로, 스마트 디바이스(1000)는 사용자 위치를 감지하기 위한 정보를 획득하고 이를 서버에 전송하고 서버로부터 상기 정보에 기초하여 판단된 사용자 위치를 수신받는 것을 통해 사용자 위치를 감지할 수도 있다. The smart device 1000 may detect a user location through various methods. In addition, the smart device 1000 may detect a user's location independently by stand-alone locally, or may detect the user's location in cooperation with the voice assistant server 10 or another server. For example, the smart device 1000 detects the user location by obtaining information for detecting the user location by the user location sensing module 1700 and determining the user location by the controller 1060 using the information. can do. As another example, the smart device 1000 may detect the user location by acquiring information for detecting the user location and transmitting the information to the server and receiving the user location determined based on the information from the server.
스마트 디바이스(1000)는 사용자 위치를 감지하기 위한 정보를 다양한 형태로 획득할 수 있다. The smart device 1000 may obtain information for detecting a user location in various forms.
일 예로, 스마트 디바이스(1000)는 각종 카메라를 이용해 가시광 이미지, 열화상 이미지 또는 적외선 이미지를 촬상하고, 촬상된 이미지로부터 이미지에 포함된 사용자를 인식하고, 인식된 사용자의 이미지 내의 위치에 기반해 사용자 위치를 판단할 수 있다. 다른 예로는, 마이크(1202)로 소프트사의 키넥트와 같이 적외선 패턴의 변형을 감지하는 방식을 이용할 수도 있다. 또 다른 예로는, 스마트 디바이스(1000)가 깊이 카메라(deapth camera)를 구비하여 깊이 이미지(depth iamge)를 획득하고, 깊이 이미지로부터 사용자를 인식하는 방식으로 사용자 위치를 판단할 수도 있다. For example, the smart device 1000 photographs a visible light image, a thermal image, or an infrared image by using various cameras, recognizes a user included in the image from the captured image, and based on a location in the recognized user's image. The location can be determined. As another example, the microphone 1202 may use a method of detecting deformation of an infrared pattern, such as SoftKink's Kinect. As another example, the smart device 1000 may include a depth camera to obtain a depth image and determine the user position by recognizing the user from the depth image.
또는 스마트 디바이스(1000)는 음성 입력 모듈(1200)(특히, 마이크 어레이(1204))를 이용해 사용자 위치를 감지할 수도 있다. 예를 들어, 복수의 마이크(1202)로 구성되는 마이크 어레이(1204)를 가지는 스마트 디바이스(1000)는 사용자가 발화한 사용자 음성이 각 마이크(1202)에 수신될 때, 마이크(1202) 별로 수신되는 음성 특성이 상이한 것을 이용하여 사용자 위치를 감지할 수도 있다. 예를 들어, 콘트롤러(1060)는 마이크(1202) 별로 수신되는 사용자 음성을 분석하여, 수신된 음성의 크기가 가장 큰 마이크(1202)가 배치된 방향에 사용자가 있는 것으로 판단할 수 있다. 다른 예를 들어, 콘트롤러(1060)는 마이크(1202) 별로 수신되는 사용자 음성을 분석하여, 수신된 음성의 수신 시각이 가장 빠른 마이크(1202)가 배치된 방향에 사용자가 있는 것으로 판단할 수도 있다. 물론, 사용자 위치를 감지하기 위해 이용되는 음성 특성은 음성 크기, 음성 수신 시각 이외에도 다양할 수 있다. Alternatively, the smart device 1000 may detect a user location using the voice input module 1200 (particularly, the microphone array 1204). For example, the smart device 1000 having the microphone array 1204 including the plurality of microphones 1202 may be received for each microphone 1202 when a user voice spoken by the user is received at each microphone 1202. It is also possible to detect the user location by using different voice characteristics. For example, the controller 1060 may analyze the user voice received for each microphone 1202 and determine that the user is in a direction in which the microphone 1202 having the largest loudness of the received voice is disposed. For another example, the controller 1060 may analyze the user voice received for each microphone 1202 and determine that the user is in a direction in which the microphone 1202 having the fastest reception time of the received voice is disposed. Of course, the voice characteristics used to detect the user location may vary in addition to the voice size and the voice reception time.
2.3.2. 지향성 피드백의 출력 2.3.2. Output of directional feedback
스마트 디바이스(1000)는 요청받은 피드백을 사용자를 지향해 출력할 수 있다. 여기서, 사용자 지향이란 단순히 사용자를 향해 출력하는 것은 물론, 사용자가 피드백을 제공받기 적절한 위치나 방향에 피드백을 출력하는 것을 의미할 수 있다. The smart device 1000 may output the requested feedback toward the user. Here, the user orientation may mean not only outputting toward the user, but also outputting the feedback to a location or direction appropriate for the user to receive the feedback.
도 13 및 도 14는 본 발명의 일 실시예에 따른 지향성 피드백의 출력에 관한 도면이다. 13 and 14 illustrate output of directional feedback according to an embodiment of the present invention.
스마트 디바이스(1000)는 사용자를 향해 디스플레이-백을 프로젝션 할 수 있다. 콘트롤러(1060)가 프로젝터(1440)의 프로젝션 방향을 사용자를 향하도록 구동 모듈(1500)을 제어함으로써 디스플레이-백이 사용자를 향해 출력될 수 있다. 예를 들어, 스마트 디바이스(1000)는 프로젝션 영역이 사용자의 주변헤 형성시킬 수 있다. 구체적으로 도 13을 살펴보면 스마트 디바이스(1000)는 사용자와 스마트 디바이스(1000)를 연결하는 가상의 라인 상에서 사용자에 가까운 지점에 프로젝션 영역을 형성할 수 있다. The smart device 1000 may project the display-back toward the user. The display-back may be output toward the user by controlling the driving module 1500 so that the controller 1060 faces the projection direction of the projector 1440. For example, the smart device 1000 may form the projection area around the user. In detail, referring to FIG. 13, the smart device 1000 may form a projection area near a user on a virtual line connecting the user and the smart device 1000.
여기서, 지향성 디스플레이-백이 반드시 사용자를 향한 방향으로 프로젝션 되어야 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)는 벽을 향해 프로젝션 할 때에는, 사용자 위치의 반대측으로 영상을 출력할 수 있다. 구체적으로 도 14를 살펴보면 사용자, 스마트 디바이스(1000) 및 프로젝션 영역이 순서대로 배치되도록 프로젝션 영역을 형성할 수 있다. Here, the directional display-back does not necessarily have to be projected in the direction towards the user. For example, the smart device 1000 may output an image to the opposite side of the user position when projecting toward the wall. In detail, referring to FIG. 14, the projection area may be formed such that the user, the smart device 1000, and the projection area are sequentially arranged.
한편, 스마트 디바이스(1000)가 사용자의 시선 방향을 감지할 수 있는 경우에는 스마트 디바이스(1000)는 사용자의 시선 방향을 더 고려하여 지향성 피드백의 출력 방향 또는 출력 영역을 조절할 수도 있다. 이를 위해 스마트 디바이스(1000)는 시선 방향을 감지하기 위한 구성을 더 구비하거나 콘트롤러(1060)가 각종 정보를 이용해 시선 방향을 판별할 수 있다. Meanwhile, when the smart device 1000 may detect the user's gaze direction, the smart device 1000 may further adjust the output direction or the output area of the directional feedback in consideration of the gaze direction of the user. To this end, the smart device 1000 may further include a configuration for detecting the gaze direction or the controller 1060 may determine the gaze direction using various information.
2.3.3. 사용자 음성에 기반한 지향성 피드백의 출력 2.3.3. Output of directional feedback based on user speech
상술한 사용자 위치의 감지와 지향성 피드백의 출력은 사용자 음성에 기반하여 이루어질 수 있다. The above-described detection of the user position and output of the directional feedback may be made based on the user voice.
일 예에 따르면, 스마트 디바이스(1000)가 스탠바이 모드일 때, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 콘트롤러(1060)가 사용자 음성을 수신한 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단할 수 있다. 사용자 위치가 판단되면, 구동 모듈(1500)은 즉시 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이후 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. According to an example, when the smart device 1000 is in the standby mode, the voice input module 1200 acquires the user voice and the controller 1060 receives the user voice based on voice characteristics for each microphone 1202. The location can be determined. If the user position is determined, the driving module 1500 may immediately adjust the projection direction of the projector 1440 to have user orientation. Thereafter, the projector 1440 of the smart device 1000 may output display-back related to the voice command included in the user's voice input in the listening mode, as the directional feedback.
다른 예에 따르면, 스마트 디바이스(1000)가 스탠바이 모드일 때, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 사용자 음성로부터 웨이크업 워드를 검출할 수 있다. 웨이크업 워드가 검출되면, 콘트롤러(1060)는 사용자 음성을 수신한 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단하고 구동 모듈(1500)은 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이에 따라 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. 여기서, 사용자 위치의 판단과 프로젝션 방향의 조절은 리스닝 모드에 진입하기 전에, 진입한 후에 또는 진입과 동시에 이루어질 수 있다. According to another example, when the smart device 1000 is in the standby mode, the voice input module 1200 may obtain a user voice and detect a wakeup word from the user voice. When the wake-up word is detected, the controller 1060 determines a user position based on a voice characteristic of each microphone 1202 that receives the user's voice, and the driving module 1500 determines a user's directivity in the projection direction of the projector 1440. It can be adjusted to have. Accordingly, the projector 1440 of the smart device 1000 may output the display-back related to the voice command included in the user voice input in the listening mode as the directional feedback. Here, the determination of the user position and the adjustment of the projection direction may be made before entering, after entering, or simultaneously with entering the listening mode.
또 다른 예에 따르면, 스탠바이 모드인 스마트 디바이스(1000)는, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 사용자 음성로부터 웨이크업 워드가 검출되면, 리스닝 모드로 진입할 수 있다. 리스닝 모드에 진입하면, 음성 입력 모듈(1200)은 보이스 커맨드를 담은 사용자 음성을 수신하고, 리스닝 모드에서 수신된 사용자 음성에 따른 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단하고 구동 모듈(1500)은 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이에 따라 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. According to another example, when the voice input module 1200 acquires a user voice and a wakeup word is detected from the user voice, the smart device 1000 in the standby mode may enter the listening mode. When the user enters the listening mode, the voice input module 1200 receives a user voice containing a voice command, determines a user location based on voice characteristics of each microphone 1202 according to the user voice received in the listening mode, and drives the module. The 1500 may adjust the projection direction of the projector 1440 to have user orientation. Accordingly, the projector 1440 of the smart device 1000 may output the display-back related to the voice command included in the user voice input in the listening mode as the directional feedback.
한편, 이상에서는 스마트 디바이스(1000)가 직접 사용자 위치를 판단하는 것으로 설명하였으나, 이와 달리 스마트 디바이스(1000)가 사용자 음성을 보이스 어시스턴트 서버(10)(또는 다른 서버)로 전송하고, 서버에서 사용자 위치를 판단하여 스마트 디바이스(1000)에 전달하는 것도 가능하다. In the above description, the smart device 1000 directly determines the user location. However, the smart device 1000 transmits the user voice to the voice assistant server 10 (or another server), and the user location on the server. It is also possible to determine and deliver to the smart device (1000).
2.4. 지향성 스마트 디바이스의 세부 구성 2.4. Detailed configuration of directional smart devices
이상에서는 지향성 피드백을 출력하는 스마트 디바이스(1000)와 그 동작에 관하여 설명하였다. In the above, the smart device 1000 for outputting the directional feedback and its operation have been described.
이와 관련하여 이하에서는 상술한 도 11 및 도 12에 도시된 지향성 피드백을 출력하는 스마트 디바이스(1000)의 예시에 적용될 수 있는 하우징(1100), 투명 윈도우(1160), 전원 모듈(1600) 및 콘트롤러(1060)의 구조, 형상, 배치 및 구성에 관하여 보다 구체적으로 설명한다. In this regard, hereinafter, the housing 1100, the transparent window 1160, the power module 1600, and the controller may be applied to the example of the smart device 1000 that outputs the directional feedback illustrated in FIGS. 11 and 12. The structure, shape, arrangement and configuration of 1060 will be described in more detail.
2.4.1. 하우징 2.4.1. housing
도 15 내지 도 17는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 몇몇 예에 관한 도면이다. 15 to 17 are diagrams of some examples of the smart device 1000 for outputting directional feedback according to an embodiment of the present invention.
일 예에 따르면, 도 15에 도시된 바와 같이 스마트 디바이스(1000)의 하우징(1100)은 상부 프레임(1140), 하부 프레임(1120) 및 투명 윈도우(1160)가 상하 방향에 따라 순서대로 배치되는 형태로 제공될 수 있다. According to an example, as illustrated in FIG. 15, the housing 1100 of the smart device 1000 is in a form in which the upper frame 1140, the lower frame 1120, and the transparent window 1160 are sequentially arranged in the vertical direction. It may be provided as.
하부 프레임(1120)은 바닥에 거치되는 하면(거치면)과 하면으로부터 상방으로 연장되는 측면을 가질 수 있다. 여기서, 하부 프레임(1120)의 하면은 원판, 타원판 내지는 다각판일 수 있다. 또 하부 프레임(1120)의 상부는 개방된 형태로 제공될 수 있다. 예를 들어, 하부 프레임(1120)은 상부가 개방된 원통형으로 제공될 수 있다. The lower frame 1120 may have a lower surface (rough surface) mounted on the floor and a side surface extending upward from the lower surface. Here, the lower surface of the lower frame 1120 may be a disc, an elliptic plate or a polygonal plate. In addition, the upper portion of the lower frame 1120 may be provided in an open form. For example, the lower frame 1120 may be provided in a cylindrical shape with an open top.
상부 프레임(1140)은 상면(거치면)과 상면으로부터 하방으로 연장되는 측면을 가질 수 있다. 여기서, 하부 프레임(1120)의 상면은 원판, 타원판 내지는 다각판일 수 있다. 또 상부 프레임(1140)의 하부는 개방된 형태로 제공될 수 있다. 예를 들어, 상부 프레임(1140)은 하부가 개방된 원통형으로 제공될 수 있다. The upper frame 1140 may have an upper surface (rough surface) and a side surface extending downward from the upper surface. Here, the upper surface of the lower frame 1120 may be a disc, an elliptic plate or a polygonal plate. In addition, the lower portion of the upper frame 1140 may be provided in an open form. For example, the upper frame 1140 may be provided in a cylindrical shape with an open bottom.
투명 윈도우(1160)는 상부와 하부가 개방된 통 형상으로 측면을 가질 수 있다. 여기서, 상부에서 본 투명 윈도우(1160)는 단면은 원, 타원 내지는 다각형일 수 있다. 예를 들어, 투명 윈도우(1160)는 상하부가 개방된 원형 링이나 원통 형상일 수 있다. The transparent window 1160 may have a side surface in a cylindrical shape in which an upper portion and a lower portion are opened. Here, the transparent window 1160 viewed from above may have a circular cross section, an ellipse, or a polygon. For example, the transparent window 1160 may have a circular ring or a cylindrical shape having upper and lower portions open.
하부 프레임(1120)과 상부 프레임(1140)은 투명 윈도우(1160)를 사이에 두고 배치될 수 있다. 구체적으로 투명 윈도우(1160)의 하부에는 하부 프레임(1120)의 상부가 결합되고, 투명 윈도우(1160)의 상부에는 상부 프레임(1140)의 하부가 결합될 수 있다. 이로써, 하부 프레임(1120), 상부 프레임(1140) 및 투명 윈도우(1160)가 하우징(1100)으로 일체를 이룰 수 있다. The lower frame 1120 and the upper frame 1140 may be disposed with the transparent window 1160 therebetween. In detail, an upper portion of the lower frame 1120 may be coupled to a lower portion of the transparent window 1160, and a lower portion of the upper frame 1140 may be coupled to an upper portion of the transparent window 1160. Accordingly, the lower frame 1120, the upper frame 1140, and the transparent window 1160 may be integrated into the housing 1100.
다른 예에 따르면, 도 15를 참조하여 설명한 바와 같이 하우징(1100)이 상부 프레임(1140), 하부 프레임(1120) 및 투명 윈도우(1160)가 상하 방향에 따라 순서대로 배치되는 형태로 제공되되, 도 16에 도시된 바와 같이 상부 프레임(1140)과 하부 프레임(1120)이 중앙 기둥을 통해 서로 연결될 수 있다. According to another example, as described with reference to FIG. 15, the housing 1100 is provided in a form in which the upper frame 1140, the lower frame 1120, and the transparent window 1160 are sequentially arranged in the vertical direction. As shown in FIG. 16, the upper frame 1140 and the lower frame 1120 may be connected to each other through a central column.
여기서, 상부 프레임(1140), 중앙 기둥 및 하부 프레임(1120)은 단일한 몸체를 이룰 수도 있지만, 상부 프레임(1140), 중앙 기둥 및 하부 프레임(1120) 중 적어도 하나가 분리되는 형태로 제공되는 것도 가능하다. 한편, 여기서 중앙 기둥은 후술할 전력선이나 통신선 등이 그 내부에 수용되도록 그 내부가 빈 실린더 형태로 제공될 수도 있다. Here, the upper frame 1140, the central column and the lower frame 1120 may form a single body, but at least one of the upper frame 1140, the central column and the lower frame 1120 is provided in a form that is separated. It is possible. On the other hand, the central column may be provided in the form of a hollow cylinder so that the power line or communication line to be described later is accommodated therein.
또 다른 예에 따르면, 도 17에 도시된 바와 같이 하우징(1100)은 메인 프레임과 투명 윈도우(1160)를 포함할 수도 있다. 메인 프레임은 상면과 하면, 그리고 상면과 하면을 연결하는 측면을 가질 수 있다. 여기서, 상면과 하면은 원판, 타원판 내지는 다각판일 수 있다. 예를 들어, 메인 프레임은 원 기둥 형상일 수 있다. According to another example, as shown in FIG. 17, the housing 1100 may include a main frame and a transparent window 1160. The main frame may have a top surface and a bottom surface and side surfaces connecting the top surface and the bottom surface. Here, the upper and lower surfaces may be a disc, an elliptic plate or a polygonal plate. For example, the main frame may have a circular columnar shape.
이때, 메인 프레임에는 슬릿이 형성될 수 있다. 슬릿은 하나 또는 복수일 수 있다. 슬릿은 하우징(1100)을 상부에서 볼 때 하우징(1100)의 중심과 슬릿의 양단이 부채꼴을 이루는 형태로 형성될 수 있다. 슬릿의 각도는 30도 내지 360도 내에서 자유로이 설정될 수 있다. 또 슬릿이 복수 개 형성되는 것도 가능하다. 슬릿의 높이 역시 자유로이 설정될 수 있다. In this case, slits may be formed in the main frame. The slit may be one or plural. The slit may be formed in a shape in which a center of the housing 1100 and both ends of the slit form a fan when the housing 1100 is viewed from above. The angle of the slit can be freely set within 30 to 360 degrees. It is also possible to form a plurality of slits. The height of the slit can also be set freely.
투명 윈도우(1160)는 하우징(1100)에 형성된 슬릿에 대응하는 형상으로 제공되며, 슬릿이 삽입된 상태로 하우징(1100)에 체결될 수 있다. The transparent window 1160 may be provided in a shape corresponding to the slit formed in the housing 1100, and may be fastened to the housing 1100 with the slit inserted therein.
2.4.2. 투명 윈도우 2.4.2. Transparent windows
도 18은 본 발명의 일 실시예에 따른 투명 윈도우(1160)의 예시의 사시도이다. 18 is a perspective view of an example of a transparent window 1160 in accordance with an embodiment of the present invention.
투명 윈도우(1160)는 하우징(1100)의 형태에 따라 상부에서 볼 때 원 또는 부채꼴의 단면을 가지는 통 형상으로 제공될 수 있다. 예를 들어, 투명 윈도우(1160)는 도 18에 도시된 바와 같이 링 형상의 통으로 제공될 수 있다. The transparent window 1160 may be provided in a cylindrical shape having a circular or sectoral cross section when viewed from the top according to the shape of the housing 1100. For example, the transparent window 1160 may be provided in a ring-shaped barrel as shown in FIG. 18.
투명 윈도우(1160)는 프로젝터(1440)에서 출광되는 이미지가 통과하는 통로로 기능하므로 가능한한 광 투과율이 높은 재질을 이용하는 것이 바람직하다. 또한, 스마트 디바이스(1000)가 사용되는 중 투명 윈도우(1160)가 외부 충격을 받을 수도 있으므로, 투명 윈도우(1160)의 재질은 충격에 강하고, 흠짐이 잘 나지 않는 것을 사용하는 것이 좋다. 예를 들어, 투명 윈도우(1160)는 투명 플라스틱이나 유리 등의 소재로 제작될 수 있다. Since the transparent window 1160 functions as a passage through which the image emitted from the projector 1440 passes, it is preferable to use a material having a high light transmittance as much as possible. In addition, since the transparent window 1160 may be subjected to an external impact while the smart device 1000 is used, the material of the transparent window 1160 is resistant to impact and may not be easily scratched. For example, the transparent window 1160 may be made of a material such as transparent plastic or glass.
한편, 투명 윈도우(1160)의 측단면을 살펴보면, 투명 윈도우(1160)의 두께는 다양한 형태를 취할 수 있다. 예를 들어, 투명 윈도우(1160)는 그 높이와 무관하게 동일한 두께를 가질 수 있다. 그러나, 다른 에를 들면, 투명 윈도우(1160)는 그 높이에 따라 두께가 상이할 수 있다. Meanwhile, referring to the side cross-section of the transparent window 1160, the thickness of the transparent window 1160 may take various forms. For example, the transparent window 1160 may have the same thickness regardless of its height. However, for another example, the transparent window 1160 may vary in thickness depending on its height.
도 19 및 도 21은 본 발명의 일 실시예에 따른 투명 윈도우(1160)의 몇몇 예시의 단면도이다.19 and 21 are cross-sectional views of some examples of transparent window 1160 in accordance with one embodiment of the present invention.
도 19를 살펴보면, 투명 윈도우(1160)는 하부에서의 두께가 상부에서의 두께보다 작을 수 있다. 예를 들어, 투명 윈도우(1160)는 제1 높이에서의 두께가 제1 높이보다 작은 제2 높이에서의 두께보다 작을 수 있다. Referring to FIG. 19, the transparent window 1160 may have a thickness at a lower portion thereof than a thickness at the upper portion thereof. For example, the transparent window 1160 may be smaller than the thickness at the second height where the thickness at the first height is less than the first height.
스마트 디바이스(1000)의 프로젝터(1440)가 테이블이나 바닥면을 향해 프로젝션 하는 경우에 프로젝터(1440)는 광을 하방으로 출사할 수 있다. 이때 투명 윈도우(1160)의 두께가 높이와 무관하게 일정하다면, 전체 광 경로 중 상부 광경로가 투명 윈도우(1160)를 통과하는 거리보다 하부 광경로가 투명 윈도우(1160)를 통과하는 거리가 더 클 수 있다. 이에 반해 도 19와 같이 하부에서의 두께가 상부에서의 두께보다 큰 투명 윈도우(1160)를 이용하면 상부 광경로와 하부 광경로가 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다. When the projector 1440 of the smart device 1000 projects toward the table or the floor, the projector 1440 may emit light downward. In this case, if the thickness of the transparent window 1160 is constant regardless of the height, the distance of the lower light path through the transparent window 1160 is greater than the distance of the upper light path through the transparent window 1160 of the entire light path. Can be. On the contrary, when the transparent window 1160 having a thickness at the lower portion is larger than the thickness at the upper portion as shown in FIG. 19, the difference between the distance between the upper light path and the lower light path passing through the transparent window 1160 may be reduced or eliminated. Can be. Accordingly, the projection image may be improved.
도 20을 살펴보면, 투명 윈도우(1160)는 하부에서의 두께가 상부에서의 두께보다 클 수 있다. 예를 들어, 투명 윈도우(1160)는 제1 높이에서의 두께가 제1 높이보다 작은 제2 높이에서의 두께보다 클 수 있다. Referring to FIG. 20, the transparent window 1160 may have a thickness at a lower portion thereof than a thickness at the upper portion thereof. For example, the transparent window 1160 may be greater than the thickness at the second height where the thickness at the first height is less than the first height.
스마트 디바이스(1000)의 프로젝터(1440)가 벽면 등을 향해 프로젝션 하는 경우에 프로젝터(1440)는 광을 상방으로 출사할 수 있다. 이때 투명 윈도우(1160)의 두께가 높이와 무관하게 일정하다면, 전체 광 경로 중 상부 광경로가 투명 윈도우(1160)를 통과하는 거리보다 하부 광경로가 투명 윈도우(1160)를 통과하는 거리가 더 작을 수 있다. 이에 반해 도 20과 같이 하부에서의 두께가 상부에서의 두께보다 작은 투명 윈도우(1160)를 이용하면 상부 광경로와 하부 광경로가 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다. When the projector 1440 of the smart device 1000 projects toward a wall or the like, the projector 1440 may emit light upward. In this case, if the thickness of the transparent window 1160 is constant regardless of the height, the distance that the lower light path passes through the transparent window 1160 is smaller than the distance of the upper light path through the transparent window 1160 of the entire light path. Can be. On the contrary, as shown in FIG. 20, when the transparent window 1160 having a lower thickness is smaller than the upper thickness, the difference between the upper light path and the lower light path passing through the transparent window 1160 may be reduced or eliminated. Can be. Accordingly, the projection image may be improved.
도 21을 살펴보면, 투명 윈도우(1160)는 프로젝션 영상이 투명 윈도우(1160)를 수직으로 통과하는 높이에서의 두께보다 그 상부 및/또는 하부에서의 두께가 작을 수 있다. 다시 말해, 투명 윈도우(1160)는 수직 방향상 프로젝터(1440)의 출광부의 높이에 대응되는 지점에서의 두께가 다른 지점보다 클 수 있다. Referring to FIG. 21, the transparent window 1160 may have a thickness above and / or below a thickness at a height at which the projected image vertically passes through the transparent window 1160. In other words, the transparent window 1160 may have a thickness at a point corresponding to the height of the light exit portion of the projector 1440 in a vertical direction than that of other points.
스마트 디바이스(1000)의 프로젝터(1440)가 그 프로젝션 영상을 상하 방향으로 틸팅할 수 있다면, 프로젝터(1440)는 광을 수평 방향, 상방 또는 하방으로 출력할 수 있다. 따라서, 도 21과 같이 프로젝터(1440)에서 출사된 광이 투명 윈도우(1160)를 수직으로 통과하는 지점에 비해 다른 지점들에서의 두께가 작으면, 투명 윈도우(1160)를 통과하는 광경로 별로 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다. If the projector 1440 of the smart device 1000 can tilt the projected image in the vertical direction, the projector 1440 may output light in the horizontal direction, the upper direction, or the lower direction. Therefore, as shown in FIG. 21, when the light emitted from the projector 1440 has a smaller thickness at other points than the point where the light passes through the transparent window 1160 vertically, the light is transparent for each light path passing through the transparent window 1160. The difference in distance through the window 1160 may be reduced or eliminated. Accordingly, the projection image may be improved.
2.4.3. 전원 모듈 구조  2.4.3. Power module structure
도 22 및 23은 본 발명의 일 실시예에 따른 전원 모듈(1600)의 몇몇 예시에 관한 도면이다. 22 and 23 are diagrams of some examples of a power supply module 1600 in accordance with one embodiment of the present invention.
도 22에 도시된 일 예에 따르면, 입력단은 외부로부터 전원을 공급받는 플러그나 포트 형태로 제공될 수 있다. 배터리(배터리 대신 변압기나 정류기 등 전원 회로일 수 있음)는 하우징(1100)의 하부(예를 들어, 하부 프레임(1120)의 바닥면)에 설치될 수 있다. According to the example illustrated in FIG. 22, the input terminal may be provided in the form of a plug or a port that receives power from the outside. The battery (which may be a power circuit such as a transformer or a rectifier instead of the battery) may be installed in the lower portion of the housing 1100 (eg, the bottom surface of the lower frame 1120).
하우징(1100)의 내부에는 프로젝터(1440)를 회전시키기 위한 회전 플레이트(1540)가 설치될 수 있다. 예를 들어, 회전 플레이트(1540)는 하부 프레임(1120)으로부터 미리 정해진 높이만큼 이격된 거리에는 설치될 수 있다. 회전 플레이트(1540)를 회전시키는 회전 모터(1520)는 하부 프레임(1120)에 설치되며, 회전 플레이트(1540)는 회전 모터(1520)의 상부에 직간접적으로 안착될 수 있다. 또 프로젝터(1440)는 회전 플레이트(1540)의 상면에 배치될 수 있다. A rotating plate 1540 for rotating the projector 1440 may be installed in the housing 1100. For example, the rotation plate 1540 may be installed at a distance spaced apart from the lower frame 1120 by a predetermined height. The rotating motor 1520 for rotating the rotating plate 1540 is installed in the lower frame 1120, and the rotating plate 1540 may be directly or indirectly mounted on the upper portion of the rotating motor 1520. In addition, the projector 1440 may be disposed on an upper surface of the rotating plate 1540.
이때, 회전 플레이트(1540)의 중앙부에는 관통홀이 형성되어 있을 수 있다. 관통공은 반드시 회전 플레이트(1540)의 정중앙에 형성되어야 하는 것은 아니다. 예를 들어, 관통공이 형성되는 영역이 회전 플레이트(1540)의 중심축을 지나도록 관통공이 형성될 수 있다. 다른 예를 들어, 관통공이 형성되는 영역이 회전 플레이트(1540)의 중심축으로부터 미리 정해진 거리만큼만 이격된 거리를 지나도록 관통공이 형성될 수도 있다.In this case, a through hole may be formed in the central portion of the rotating plate 1540. The through hole does not necessarily have to be formed in the center of the rotation plate 1540. For example, the through hole may be formed such that a region where the through hole is formed passes through the central axis of the rotating plate 1540. As another example, the through hole may be formed such that an area where the through hole is formed passes through a distance spaced only by a predetermined distance from the central axis of the rotating plate 1540.
출력단에는 배터리로부터 프로젝터(1440)로 연결되는 전력선이 포함될 수 있다. 이때 전력선은 관통공을 통과하여 프로젝터(1440)로 연결될 수 있다. 스마트 디바이스(1000)가 프로젝션 방향을 조절하기 위해 회전 플레이트(1540)를 회전시키면, 하부 프레임(1120)에 고정된 배터리에 대하여 회전 플레이트(1540) 상에 설치된 프로젝터(1440)가 상대적으로 이동할 수 있다. 배터리로부터 프로젝터(1440)로 연결되는 전력선이 관통공을 통과하여 프로젝터(1440)로 연결되면, 배터리에 대하여 프로젝터(1440)가 상대 이동하더라도 전력선이 꼬이는 것이 최대한 방지할 수 있다. The output terminal may include a power line connected from the battery to the projector 1440. In this case, the power line may be connected to the projector 1440 through the through hole. When the smart device 1000 rotates the rotating plate 1540 to adjust the projection direction, the projector 1440 installed on the rotating plate 1540 may move relative to the battery fixed to the lower frame 1120. . When the power line connected from the battery to the projector 1440 passes through the through hole and is connected to the projector 1440, the power line may be prevented from being twisted as much as the projector 1440 moves relative to the battery.
도 23에 도시된 다른 예에 따르면, 출력단은 각각 하부 프레임(1120)과 회전 플레이트(1540)에 서로 삽입되어 연결되는 상부 전극(1620)과 하부 전극(1640)을 포함할 수 있다. According to another example of FIG. 23, the output terminal may include an upper electrode 1620 and a lower electrode 1640 which are inserted into and connected to the lower frame 1120 and the rotating plate 1540, respectively.
하부 전극(1640)은 배터리에 연결되며 하부 프레임(1120)의 상면에 슬릿이나 돌기 형태로 형성될 수 있다. 상부 전극(1620)은 프로젝터(1440)에 연결되며 회전 플레이트(1540)의 하면에 하부 전극(1640)과 상보적인 형태로 형성될 수 있다. 이에 따라 상부 전극(1620)과 하부 전극(1640)이 서로 체결되어 전기적으로 연결될 수 있다. The lower electrode 1640 is connected to the battery and may be formed in the form of a slit or a protrusion on an upper surface of the lower frame 1120. The upper electrode 1620 is connected to the projector 1440 and may be formed on the lower surface of the rotating plate 1540 in a form complementary to the lower electrode 1640. Accordingly, the upper electrode 1620 and the lower electrode 1640 may be fastened to each other and electrically connected to each other.
상부 전극(1620) 및 하부 전극(1640) 중 적어도 하나는 링형으로 형성될 수 있다. 또 상부 전극(1620)과 하부 전극(1640) 중 어느 하나는 링에 끼워져 링을 따라 회전이 가능한 브라켓 형태로 제공될 수 있다. 예를 들어, 하부 전극(1640)은 링 형태의 돌기나 홈으로 제공되고, 상부 전극(1620)은 돌기나 홈에 끼워지는 슬릿이나 슬롯 타입의 브라켓일 수 있다. 다른 예로, 하부 전극(1640)은 링 형태의 돌기나 홈으로 제공되고, 상부 전극(1620)은 하부 전극(1640)이 끼워지는 홈이나 하부 전극(1640)에 끼워지는 돌기로 제공되는 링으로 형성될 수 있다. At least one of the upper electrode 1620 and the lower electrode 1640 may be formed in a ring shape. In addition, any one of the upper electrode 1620 and the lower electrode 1640 may be provided in the form of a bracket that can be inserted into the ring to rotate along the ring. For example, the lower electrode 1640 may be provided as a ring-shaped protrusion or groove, and the upper electrode 1620 may be a slit or slot type bracket fitted into the protrusion or groove. As another example, the lower electrode 1640 is provided as a ring-shaped protrusion or groove, and the upper electrode 1620 is formed by a ring provided by a groove into which the lower electrode 1640 is fitted or a protrusion fitted into the lower electrode 1640. Can be.
도 23에 도시된 전극 구조를 이용하면, 회전 플레이트(1540)가 회전하더라도 상부 전극(1620)과 하부 전극(1640)이 연결된 상태에서 서로 회전하므로 전력선이 꼬이는 것으로 인해 회전에 제약을 받는 문제점을 해결할 수 있다. Using the electrode structure shown in FIG. 23, even if the rotating plate 1540 rotates, since the upper electrode 1620 and the lower electrode 1640 rotate with each other, the power line is twisted to solve the problem of being restricted by rotation. Can be.
한편, 상부 전극(1620) 및 하부 전극(1640) 중 브라켓 형태로 제공되는 전극 측(하부 프레임(1120) 또는 회전 플레이트(1540))에는 더미 브라켓이 추가로 더 마련될 수 있다. 이는 회전 플레이트(1540)가 안정적으로 회전할 수 있도록 하기 위함이다. Meanwhile, a dummy bracket may be further provided on the electrode side (the lower frame 1120 or the rotation plate 1540) provided in the form of a bracket among the upper electrode 1620 and the lower electrode 1640. This is to allow the rotating plate 1540 to rotate stably.
상술한 상부 전극(1620) 및 하부 전극(1640) 간의 전기적 연결은 다양한 단자 형태로 이루어질 수 있다. The electrical connection between the upper electrode 1620 and the lower electrode 1640 may be formed in various terminal forms.
도 24 및 도 25는 본 발명의 일 실시예에 따른 전극의 단자들의 몇몇 예시에 관한 도면이다. 24 and 25 illustrate some examples of terminals of an electrode according to an embodiment of the present invention.
상부 전극(1620)과 하부 전극(1640)은 돌기와 홈 구조로 결합되므로, 세 면을 통해 서로 접촉할 수 있다. 전극의 단자들은 (+) 단자, (-) 단자, 접지 단자 중 적어도 둘을 포함할 수 있으며, 전극의 단자들은 각각 서로 다른 면에 배치될 수 있다. Since the upper electrode 1620 and the lower electrode 1640 are coupled in a protrusion and groove structure, they may contact each other through three surfaces. The terminals of the electrode may include at least two of a positive terminal, a negative terminal, and a ground terminal, and the terminals of the electrode may be disposed on different surfaces.
예를 들어 도 24를 살펴보면, 링 형태의 돌기인 하부 전극(1640)에 브라켓 형태의 상부 전극(1620)이 끼워질 수 있다. 여기서, 하부 전극(1640)의 내측면, 상단면, 외측면에는 (+) 단자, 접지 단자, (-) 단자 중 어느 하나가 각각 마련될 수 있다. 이와 대응하여 상부 전극(1620)에도 하부 전극(1640)의 마주보는 면 별로 (+) 단자, 접지 단자, (-) 단자 중 어느 하나가 각각 마련될 수 있다. 여기서, 단자들 중 하나는 생략되는 것도 가능하다.For example, referring to FIG. 24, a bracket-type upper electrode 1620 may be fitted to the lower electrode 1640, which is a ring-shaped protrusion. Here, any one of a positive terminal, a ground terminal, and a negative terminal may be provided on the inner side, the upper side, and the outer side of the lower electrode 1640, respectively. Correspondingly, any one of a (+) terminal, a ground terminal, and a (−) terminal may be provided on the upper electrode 1620 on the facing surface of the lower electrode 1640, respectively. Here, one of the terminals may be omitted.
이와 달리 전극의 단자들이 모두 동일한 면에 배치되거나 적어도 두 개가 동일한 면에 배치되는 것도 가능하다.Alternatively, all of the terminals of the electrode may be disposed on the same surface or at least two may be disposed on the same surface.
예를 들어 도 25를 살펴보면, 링 형태의 돌기인 하부 전극(1640)에 브라켓 형태의 상부 전극(1620)이 끼워질 수 있다. 여기서, 하부 전극(1640)의 내측면의 서로 다른 높이에 (+) 단자, 접지 단자, (-) 단자 중 적어도 둘 이상이 마련되고, 이와 대응하여 상부 전극(1620)의 상기 내측면과 마주하는 면에도 서로 다른 높이에 (+) 단자, 접지 단자, (-) 단자 중 적어도 둘 이상이 마련될 수 있다. For example, referring to FIG. 25, a bracket-type upper electrode 1620 may be fitted to the lower electrode 1640, which is a ring-shaped protrusion. Here, at least two or more of the (+) terminal, the ground terminal, and the (-) terminal are provided at different heights of the inner surface of the lower electrode 1640, and correspondingly face the inner surface of the upper electrode 1620. At least two or more of the (+) terminal, the ground terminal, and the (-) terminal may be provided at different heights on the surface.
한편, 상술한 단자 구조는 도 24 및 도 25에 의해 한정되는 것은 아니다. 예를 들어, 복수 개의 브라켓을 이용하는 경우에는 브라켓 별로 단자를 분산시킬 수도 있다. 또 링 형상의 전극이 반드시 완전한 링 형상이어야 하는 것은 아니며 불완전한 링 형상일 수도 있다. In addition, the terminal structure mentioned above is not limited by FIG. 24 and FIG. For example, when a plurality of brackets are used, terminals may be distributed for each bracket. In addition, the ring-shaped electrode does not necessarily have to be a complete ring shape, but may be an incomplete ring shape.
2.4.4. 콘트롤러 등의 배치2.4.4. Layout of controllers, etc.
상술한 도 11 및 도 12에 도시된 지향성 피드백을 출력하는 스마트 디바이스(1000)의 예시에서는 회전 플레이트(1540) 상에 배치된 프로젝터(1440)가 하우징(1100)에 대하여 상대적으로 회전할 수 있다. 여기서, 상부 프레임(1140) 또는 마이크 어레이(1204)도 프로젝터(1440)와 함께 회전할 수 있지만, 경우에 따라서 마이크 어레이(1204)는 회전하지 않을 수도 있다. 이때 콘트롤러(1060)가 단일 유닛으로 제공되면, 마이크 어레이(1204)나 프로젝터(1440)와 각각 데이터를 주고 받기 위한 통신선이 회전 플레이트(1540)의 회전에 의해 꼬일 수 있다. In the example of the smart device 1000 that outputs the directional feedback illustrated in FIGS. 11 and 12 described above, the projector 1440 disposed on the rotating plate 1540 may rotate relative to the housing 1100. Here, the upper frame 1140 or the microphone array 1204 may also rotate together with the projector 1440, but in some cases, the microphone array 1204 may not rotate. In this case, when the controller 1060 is provided as a single unit, communication lines for exchanging data with the microphone array 1204 or the projector 1440 may be twisted by the rotation of the rotating plate 1540.
따라서, 본 예에서는 콘트롤러(1060)가 복수 개 제공될 수 있다. 예를 들어, 프로젝터(1440)의 영상 처리를 위한 하나의 콘트롤러(1060)가 회전 플레이트(1540) 상에 설치되고, 마이크 어레이(1204)의 음성 처리를 위한 다른 콘트롤러(1060)는 하우징(1100)에 고정 설치될 수 있다. 여기서, 마이크 어레이(1204)를 위한 콘트롤러(1060)가 상부 프레임(1140)에 설치되고, 추가적으로 스마트 디바이스(1000) 전반을 관리하기 위한 또 다른 콘트롤러(1060)가 하부 프레임(1120)에 설치되는 것도 가능하다. Therefore, in the present example, a plurality of controllers 1060 may be provided. For example, one controller 1060 for image processing of the projector 1440 is installed on the rotating plate 1540, and the other controller 1060 for voice processing of the microphone array 1204 is provided in the housing 1100. Can be fixed to the installation. Here, the controller 1060 for the microphone array 1204 is installed in the upper frame 1140, and another controller 1060 for additionally managing the overall smart device 1000 is also installed in the lower frame 1120. It is possible.
이와 같은 구조에서 각 콘트롤러(1060)는 유선으로 연결될 수도 있지만, 무선 통신 방식으로 연결될 수도 있다. 또는 상술한 도 24 및 도 25에서 전력 또는 전력선을 연결하는 방식과 유사하게 통신선을 연결하는 것도 가능하다. In this structure, each controller 1060 may be connected by wire, but may also be connected by a wireless communication method. Alternatively, communication lines may be connected similarly to the method of connecting power or power lines in FIGS. 24 and 25.
이하에서는 본 발명의 일 실시예에 따른 지향성 피드백 출력 방법에 관하여 설명한다. 이하의 기재에서는 지향성 피드백 출력 방법이 상술한 스마트 디바이스(1000)에 의해 수행되는 것을 기준으로 설명하지만, 이는 설명의 편의를 위한 것에 불과하므로 지향성 피드백 출력 방법은 본 명세서에서 언급된 스마트 디바이스(1000) 이외에도 본 명세서에 언급된 스마트 디바이스(1000)와 유사한 동작을 수행할 수 있는 다른 기기에 의해서도 수행될 수 있음을 밝혀둔다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 스마트 디바이스(1000)가 수행하는 동작들은 콘트롤러(1060)에 의해 수행되는 것으로 또는 콘트롤러(1060)가 스마트 디바이스(1000)의 다른 구성 요소를 제어하는 것을 통해 수행되는 것으로 이해될 수 있다. Hereinafter, a directional feedback output method according to an embodiment of the present invention will be described. In the following description, the directional feedback output method is described on the basis of being performed by the above-described smart device 1000. However, since this is merely for convenience of description, the directional feedback output method is referred to herein as the smart device 1000. In addition, it should be noted that the operation may be performed by other devices that may perform operations similar to the smart device 1000 mentioned herein. Meanwhile, in the following description, unless otherwise specified, operations performed by the smart device 1000 may be performed by the controller 1060, or the controller 1060 may control other components of the smart device 1000. It can be understood to be performed through.
이하에서는 본 발명의 일 실시예에 따른 지향성 피드백 출력 방법에 관하여 설명한다. 이하의 기재에서는 지향성 피드백 출력 방법이 상술한 스마트 디바이스에 의해 수행되는 것을 기준으로 설명하지만, 이는 설명의 편의를 위한 것에 불과하므로 지향성 피드백 출력 방법은 본 명세서에서 언급된 스마트 디바이스 이외에도 본 명세서에 언급된 스마트 디바이스와 유사한 동작을 수행할 수 있는 다른 기기에 의해서도 수행될 수 있음을 밝혀둔다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 스마트 디바이스가 수행하는 동작들은 콘트롤러에 의해 수행되는 것으로 또는 콘트롤러가 스마트 디바이스의 다른 구성 요소를 제어하는 것을 통해 수행되는 것으로 이해될 수 있다. Hereinafter, a directional feedback output method according to an embodiment of the present invention will be described. In the following description, the directional feedback output method is described on the basis of being performed by the above-described smart device, but this is merely for convenience of description, and thus the directional feedback output method is referred to herein in addition to the smart device mentioned herein. It can also be performed by other devices that can perform operations similar to the smart device. Meanwhile, in the following description, unless otherwise stated, the operations performed by the smart device may be understood as being performed by the controller or through the controller controlling other components of the smart device.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or, even if replaced or substituted by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

Claims (11)

  1. 상부가 개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징;A cylindrical lower frame having an upper opening, a cylindrical upper frame having an open lower portion, and a transparent transparent window having an upper and lower portions disposed between the upper frame and the lower frame, wherein the lower frame is transparent A housing in which the window and the upper frame are combined in order to form an integrated body;
    상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재;A rotating member installed inside the housing and rotating about an axis of the housing;
    상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터;A projector installed on the rotating member, the projection direction of which is adjusted according to the rotation of the rotating member, and a light output unit for outputting an image spaced apart from the rotation axis by a predetermined distance from the rotation axis toward an inner surface of the transparent window;
    상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및A microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And
    상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되,The display-back is output through the projector based on the feedback data related to the voice command included in the user voice, and the display-back is changed in consideration of the position of the user predicted based on the user voices received from the plurality of microphones. And a controller for rotating the rotating member to adjust an output projection direction.
    상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 The thickness of the transparent window is different depending on the height direction, characterized in that
    스마트 디바이스.Smart devices.
  2. 제1 항에 있어서,According to claim 1,
    상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 작은 제2 높이에서의 두께가 더 작은 것을 특징으로 하는The transparent window is characterized in that the thickness at the second height is smaller than the thickness at the first height.
    스마트 디바이스.Smart devices.
  3. 제2 항에 있어서,The method of claim 2,
    상기 투명 윈도우는, 그 높이가 작을수록 그 두께가 작아지는 것을 특징으로 하는 The transparent window is characterized in that the smaller the height thereof, the smaller the thickness thereof.
    스마트 디바이스.Smart devices.
  4. 제2 항에 있어서,The method of claim 2,
    상기 프로젝션 방향은 수평보다 아래쪽을 향하고, The projection direction is downward than horizontal,
    상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일한 The distance through which the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height are substantially equal
    스마트 디바이스.Smart devices.
  5. 제1 항에 있어서,According to claim 1,
    상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 큰 제2 높이에서의 두께가 더 작은 것을 특징으로 하는The transparent window is characterized in that the thickness at the second height where the thickness at the first height is greater than the first height is smaller.
    스마트 디바이스.Smart devices.
  6. 제5 항에 있어서,The method of claim 5,
    상기 투명 윈도우는, 그 높이가 클수록 그 두께가 작아지는 것을 특징으로 하는 The transparent window is characterized in that the thickness of the transparent window becomes smaller,
    스마트 디바이스.Smart devices.
  7. 제5 항에 있어서,The method of claim 5,
    상기 프로젝션 방향은 수평보다 윗쪽을 향하고, The projection direction is upward above the horizontal,
    상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일한 The distance through which the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height are substantially equal
    스마트 디바이스.Smart devices.
  8. 제1 항에 있어서,According to claim 1,
    상기 투명 윈도우는, 수평으로 프로젝션되는 빔이 통과하는 특정 지점에서의 두께보다 다른 지점에서의 두께가 더 작은 것을 특징으로 하는The transparent window is characterized in that the thickness at another point is smaller than the thickness at a particular point through which the horizontally projected beam passes.
    스마트 디바이스.Smart devices.
  9. 제1 항에 있어서,According to claim 1,
    상기 투명 윈도우는, 상기 프로젝터의 광을 출력부에 대응하는 높이에서의 두께보다 다른 지점에서의 두께가 더 작은 것을 특징으로 하는The transparent window has a smaller thickness at a different point than the thickness at the height corresponding to the light of the projector.
    스마트 디바이스.Smart devices.
  10. 제1 항에 있어서,According to claim 1,
    상기 투명 윈도우는, 제1 높이에서의 두께보다 상기 제1 지점보다 작거나 큰 제2 높이에서의 두께가 더 작은 것을 특징으로 하는The transparent window is characterized in that the thickness at the second height is less than or greater than the first point than the thickness at the first height.
    스마트 디바이스.Smart devices.
  11. 제10 항에 있어서,The method of claim 10,
    상기 투명 윈도우는, 상기 제1 높이로부터 멀어질수록 그 두께가 점점 작아지는 것을 특징으로 하는The transparent window is characterized in that the thickness becomes smaller as the distance from the first height
    스마트 디바이스.Smart devices.
PCT/KR2018/014220 2018-07-27 2018-11-19 Smart device and method for controlling same WO2020022567A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0087664 2018-07-27
KR1020180087664A KR102136461B1 (en) 2018-07-27 2018-07-27 Smart projector and method for controlling thereof

Publications (1)

Publication Number Publication Date
WO2020022567A1 true WO2020022567A1 (en) 2020-01-30

Family

ID=69181804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014220 WO2020022567A1 (en) 2018-07-27 2018-11-19 Smart device and method for controlling same

Country Status (2)

Country Link
KR (1) KR102136461B1 (en)
WO (1) WO2020022567A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125623A (en) * 2021-09-30 2022-03-01 江苏精仪达科技有限公司 Carry-on safe hidden monitoring equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050088631A1 (en) * 2003-10-23 2005-04-28 Dan Dwyer Projector
US20090189917A1 (en) * 2008-01-25 2009-07-30 Microsoft Corporation Projection of graphical objects on interactive irregular displays
US20150185841A1 (en) * 2013-12-30 2015-07-02 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
KR101632007B1 (en) * 2014-10-29 2016-06-21 엘지전자 주식회사 Watch type control device
KR20160114873A (en) * 2015-03-25 2016-10-06 엘지전자 주식회사 Rotational multimedia device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410134B2 (en) 2014-09-05 2018-10-24 大日本印刷株式会社 Irradiation device, optical module, scanning device, and projection device
KR200490714Y1 (en) * 2015-07-02 2019-12-20 주식회사 엘지유플러스 Image device
JP2018030424A (en) 2016-08-24 2018-03-01 三菱電機株式会社 Display device for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050088631A1 (en) * 2003-10-23 2005-04-28 Dan Dwyer Projector
US20090189917A1 (en) * 2008-01-25 2009-07-30 Microsoft Corporation Projection of graphical objects on interactive irregular displays
US20150185841A1 (en) * 2013-12-30 2015-07-02 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
KR101632007B1 (en) * 2014-10-29 2016-06-21 엘지전자 주식회사 Watch type control device
KR20160114873A (en) * 2015-03-25 2016-10-06 엘지전자 주식회사 Rotational multimedia device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125623A (en) * 2021-09-30 2022-03-01 江苏精仪达科技有限公司 Carry-on safe hidden monitoring equipment

Also Published As

Publication number Publication date
KR102136461B1 (en) 2020-07-21
KR20200012399A (en) 2020-02-05

Similar Documents

Publication Publication Date Title
WO2020022572A1 (en) Smart device and method for controlling same
WO2020022573A1 (en) Smart device and control method therefor
WO2019107945A1 (en) Method of providing service based on location of sound source and speech recognition device therefor
WO2018159864A1 (en) Mobile terminal and control method for mobile terminal
WO2016190505A1 (en) Glass type terminal and control method therefor
WO2021162378A1 (en) Electronic device comprising microphone module
WO2020138840A1 (en) Display device for correcting posture and control method therefor
WO2016195147A1 (en) Head mounted display
WO2019225978A1 (en) Camera and terminal including the same
WO2016175424A1 (en) Mobile terminal and method for controlling same
WO2016122240A1 (en) Electronic apparatus and method of setting network of audio device
WO2017090920A1 (en) Mobile terminal and method for controlling the same
WO2018124355A1 (en) Audio device and control method therefor
WO2020032515A1 (en) Electronic device comprising multiple microphones
WO2020022567A1 (en) Smart device and method for controlling same
WO2019208915A1 (en) Electronic device for acquiring image using plurality of cameras through position adjustment of external device, and method therefor
WO2016013692A1 (en) Head mounted display and control method thereof
WO2019194423A1 (en) Electronic apparatus and operating method thereof
WO2020022568A1 (en) Smart device and control method therefor
WO2022191538A1 (en) Sound outputting apparatus
WO2020022569A1 (en) Smart projector and control method therefor
WO2021210883A1 (en) Camera module and electronic device comprising same
WO2018092990A2 (en) Display device and control method thereof
WO2019022492A1 (en) Camera, and image display apparatus including the same
WO2020235915A1 (en) Foldable electronic apparatus including plurality of audio input devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927958

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927958

Country of ref document: EP

Kind code of ref document: A1