WO2018116556A1 - 情報処理装置、および情報処理方法 - Google Patents

情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2018116556A1
WO2018116556A1 PCT/JP2017/034090 JP2017034090W WO2018116556A1 WO 2018116556 A1 WO2018116556 A1 WO 2018116556A1 JP 2017034090 W JP2017034090 W JP 2017034090W WO 2018116556 A1 WO2018116556 A1 WO 2018116556A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
utterance
recognition
visual effect
control unit
Prior art date
Application number
PCT/JP2017/034090
Other languages
English (en)
French (fr)
Inventor
祐平 滝
邦仁 澤井
真一 河野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17884583.0A priority Critical patent/EP3561653A4/en
Priority to JP2018557542A priority patent/JP6969576B2/ja
Priority to US16/463,178 priority patent/US11183189B2/en
Publication of WO2018116556A1 publication Critical patent/WO2018116556A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • This disclosure relates to an information processing apparatus and an information processing method.
  • Patent Document 1 discloses an information processing apparatus that allows a user to select and correct a character string input by voice recognition in units of sections.
  • an object indicating a state related to recognition may be displayed on the user interface.
  • the object can be used, for example, for the purpose of informing the user that recognition has started.
  • the objects as described above are often arranged at a location different from the area where the recognition result is input. For this reason, the burden of moving the line of sight between the object and the recognition result is not small for the user.
  • the present disclosure proposes a new and improved information processing apparatus and information processing method capable of reducing the load of eye movement in the user interface related to the recognition application.
  • an output control unit that controls display of a user interface related to a recognition application is provided, and the output control unit outputs a visual effect indicating a state related to recognition to an input region in which a recognition result is input.
  • An information processing apparatus is provided.
  • the processor includes controlling the display of the user interface related to the recognition application, and the controlling the display displays a state related to the recognition in the input area where the recognition result is input.
  • an information processing method further including outputting a visual effect to be shown.
  • Embodiment 1.1 Outline of Embodiment 1.2.
  • System configuration example 1.3 Functional configuration example of information processing terminal 10 1.4.
  • the objects as described above may include, for example, an object indicating that recognition is in a start state, an object indicating feedback on the user's speech volume, and the like.
  • the information processing apparatus and the information processing method according to the present disclosure have been conceived by paying attention to the above points, and can greatly reduce the user's line-of-sight movement load on the user interface of the recognition application. For this reason, the information processing apparatus and the information processing method according to the present embodiment are characterized in that a visual effect indicating a state related to recognition is output to an input area where a recognition result is input.
  • the recognition technique according to the present embodiment includes, for example, voice recognition.
  • the recognition technology according to the present embodiment includes lip recognition technology that converts utterances into texts from lip movements, emotion estimation technology that estimates user emotions from voice and biological information, eye gaze recognition, and behavior recognition. Intent estimation technology from the above may be included. In the following description of the embodiment, a case where the recognition technology according to the present embodiment is speech recognition will be described as a main example.
  • 1A to 1F are diagrams for explaining the outline of the present embodiment.
  • 1A to 1F show a user interface UI1 controlled by the information processing apparatus according to the present embodiment.
  • the user interface UI1 can be displayed on, for example, a display unit of an information processing terminal that presents a voice recognition application to the user.
  • the user interface UI1 according to the present embodiment may be configured to include, for example, an input area F1 and buttons b1 to b6.
  • buttons b1 to b6 may be various buttons for controlling the voice recognition application.
  • the button b1 can be a button for switching start and end of voice recognition.
  • the buttons b2 and b3 may be buttons for moving the input position of the character string to the left and right.
  • the button b4 may be a button used for switching a keyboard or the like.
  • the button b5 can be a button for deleting the input character string.
  • the button b6 can be a button for performing an input character string confirmation process, for example.
  • the input area F1 may be an area in which a character string that is a voice recognition result is input.
  • a character string recognized based on the user's utterance is input each time.
  • a visual effect indicating a state related to speech recognition is output to the input area F1 according to the present embodiment.
  • the visual effects described above may include various display objects, for example.
  • the display object there is a position display object indicating a character string input position as shown in FIG. 1A, that is, a caret CA.
  • the information processing apparatus can present various states related to speech recognition to the user by changing the visual effect related to the caret CA, for example.
  • FIG. 1A shows a state where the voice recognition application does not accept the user's speech, that is, a state where the voice recognition function is off.
  • the information processing apparatus when the voice recognition function is turned on and waiting for the user's speech, the information processing apparatus, for example, as shown in FIG. An indicator RI can be displayed. At this time, for example, the information processing apparatus may display the indicator RI and the caret CA in different color expressions so that the user can perceive that the voice recognition has started more intuitively. .
  • the information processing apparatus may indicate, for example, feedback on the user's utterance by the indicator RI.
  • FIG. 1C illustrates an example in which the information processing apparatus indicates feedback on the length of the user's utterance by the indicator RI.
  • the information processing apparatus may perform control such that the indicator RI extends from the caret CA in the input direction, for example, according to the length of the user's utterance.
  • the information processing terminal 10 can display feedback for improving the voice recognition accuracy as a visual effect.
  • a speech recognition engine when a speech recognition engine is not long enough, it may be difficult to exhibit its original performance.
  • FIG. 1D is an example of an indicator RI displayed by the information processing apparatus when the length of the utterance reaches a length sufficient for speech recognition.
  • the indicators RI in FIGS. 1C and 1D are compared, it can be seen that they are indicated by different hatchings.
  • the information processing apparatus according to the present embodiment changes the visual effect related to the indicator RI between a state where the length of the utterance is insufficient and a state where the utterance is insufficient, thereby allowing the user to intuitively relate to the length of the utterance. It is possible to promote perception.
  • the information processing apparatus relates to the length of the utterance due to the change in color, for example. Feedback may be realized.
  • the information processing apparatus displays the indicator RI with a warning color such as red when the length of the utterance is insufficient, and displays the indicator RI with blue when the length of the utterance reaches a sufficient state. It may be changed to.
  • the information processing apparatus can present various states related to voice recognition to the user by repeating the display control as described above based on the user's utterance.
  • FIG. 1E shows a character string In1 recognized based on the utterance made by the user in the state shown in FIGS. 1C and 1D.
  • the information processing apparatus may prompt the user to continue the utterance by displaying again the indicator RI indicating that the voice recognition is in the start state.
  • the information processing apparatus can indicate feedback for the user's utterance with the indicator RI, as shown in FIG. 1F.
  • the information processing apparatus can display various visual effects indicating the voice recognition start state, feedback on speech, and the like in the input area F1.
  • the user can obtain various information related to speech recognition while gazing at the input area F1, reducing the burden of eye movement, It becomes possible to prevent erroneous operations and the like effectively.
  • FIG. 2 is a diagram illustrating a configuration example of the information processing system according to the present embodiment.
  • the information processing system according to the present embodiment includes an information processing terminal 10 and an information processing server 20.
  • the information processing terminal 10 and the information processing server 20 are connected via a network 30 so that they can communicate with each other.
  • the information processing terminal 10 is an information processing apparatus that provides a user with a user interface related to a recognition application. For this reason, the information processing terminal 10 according to the present embodiment has an input function for detecting information related to the user and an output function for outputting a user interface. Furthermore, the information processing terminal 10 according to the present embodiment has a function of performing various controls related to the display of the user interface based on the user's behavior, state, and input operation. At this time, the information processing terminal 10 according to the present embodiment outputs a visual effect indicating a state related to recognition to an input area where a recognition result is input on the user interface.
  • the information processing terminal 10 according to the present embodiment may be various agents such as a smartphone, a tablet, a mobile phone, a PC (Personal Computer), a wearable device, and a game machine.
  • the information processing server 20 is an information processing apparatus that performs recognition processing based on user information input by the information processing terminal 10. Further, the information processing server 20 according to the present embodiment has a function of calculating the length of the user's utterance based on the user's utterance information transmitted from the information processing terminal 10.
  • the network 30 has a function of connecting the information processing terminal 10 and the information processing server 20.
  • the network 30 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like. Further, the network 30 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network). Further, the network 30 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the configuration example of the information processing system according to the present embodiment has been described above. Note that the above-described configuration described with reference to FIG. 2 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to the example.
  • the information processing terminal 10 and the information processing server 20 according to the present embodiment can be realized as the same device. Further, the functions of the information processing terminal 10 and the information processing server 20 according to the present embodiment may be realized by being distributed to a plurality of devices.
  • the configuration of the information processing system according to the present embodiment can be flexibly modified as appropriate according to the specifications of the voice recognition application, the operation of the system, and the like.
  • FIG. 3 is an example of a functional block diagram of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 according to the present embodiment includes an input unit 110, an output unit 120, an output control unit 130, and a server communication unit 140.
  • the input unit 110 has a function of receiving various information inputs used for the recognition application.
  • the input unit 110 according to the present embodiment includes the voice input unit 112, the operation input unit 114, and the sensor unit 116.
  • the voice input unit 112 has a function of detecting a user's utterance. For this reason, the voice input unit 112 according to the present embodiment includes a voice detection device such as a microphone.
  • the operation input unit 114 has a function of detecting various input operations by the user.
  • the operation input unit 114 can detect, for example, a voice recognition start operation, a caret movement operation, a character string deletion operation, and the like by a user.
  • the operation input unit 114 according to the present embodiment includes a mouse, a keyboard, a controller, a touch panel, various buttons, and the like.
  • the sensor unit 116 has a function of collecting various information related to a user who uses the recognition application.
  • the sensor unit 116 can collect, for example, information related to actions including a user's lips and line-of-sight movements and gestures.
  • the sensor unit 116 according to the present embodiment includes an imaging sensor, an infrared sensor, and the like.
  • the sensor part 116 may collect a user's biometric information.
  • the biological information may include, for example, heart rate, pulse, blood pressure, face temperature, body temperature, facial expression, brain wave, respiration, eye movement, and the like.
  • the sensor unit 116 according to the present embodiment may be configured to include various types of biological sensors for collecting the biological information.
  • the output unit 120 has a function of presenting various information to the user based on control by the output control unit 130.
  • the output unit 120 according to the present embodiment includes a display unit 122, an audio output unit 124, and a tactile sense presentation unit 126.
  • the display unit 122 according to the present embodiment has a function of presenting visual information to the user based on control by the output control unit 130.
  • the display unit 122 according to the present embodiment may display a user interface related to the recognition application. Therefore, the display unit 122 according to the present embodiment includes a display device that presents visual information. Examples of the display device include a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a touch panel.
  • CTR Cathode Ray Tube
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the audio output unit 124 has a function of presenting auditory information to the user based on control by the output control unit 130.
  • the voice output unit 124 can read out the recognition result with an artificial voice or output various sound effects provided by the recognition application.
  • the audio output unit 124 according to the present embodiment includes an amplifier, a speaker, and the like.
  • the haptic presentation unit 126 has a function of presenting haptic information to the user based on the control by the output control unit 130.
  • the tactile sense presenting unit 126 may output vibration and the like together with the auditory information from the audio output unit 124, for example.
  • the haptic presentation unit 126 according to the present embodiment includes, for example, a vibration device such as an LRA (Linear Resonant Actuator), a piezoelectric element, an eccentric motor, or an IC (Integrated Circuit) that drives the vibration device. It may be configured to include.
  • the output control unit 130 has a function of controlling various information outputs by the output unit 120.
  • the output control unit 130 according to the present embodiment may control display of a user interface related to the recognition application.
  • the output control unit 130 according to the present embodiment can output a visual effect indicating a state related to recognition to an input area where a recognition result is input on the user interface.
  • the output control unit 130 may output, for example, an icon indicating that recognition has started in the input area.
  • the display object according to the present embodiment includes a position display object such as a caret indicating the input position of the recognition result in the input area. According to the above function of the output control unit 130 according to the present embodiment, it becomes possible for the user to perceive various information related to recognition while gazing at the input position indicated by the caret or the like.
  • the output control unit 130 according to the present embodiment may control the visual effect related to the input area in addition to the display object such as the caret.
  • the output control unit 130 according to the present embodiment can control, for example, the visual effect related to the background of the input area and the area frame.
  • the output control unit 130 may control the visual effect related to the character string corresponding to the recognition result.
  • the output control unit 130 can control the output of various visual effects in the user interface related to the recognition application.
  • the output control unit 130 may change the visual effect based on the state related to recognition.
  • the output control unit 130 can cause the display unit 122 to display a visual effect accompanied by a change in shape, size, color, or the like.
  • Various functions of the output control unit 130 according to the present embodiment will be described in detail separately.
  • the server communication unit 140 has a function of performing information communication with the information processing server 20 via the network 30. Specifically, the server communication unit 140 according to the present embodiment transmits information related to the user's utterance detected by the voice input unit 112 and various sensor information collected by the sensor unit 116 to the information processing server 20. In addition, the server communication unit 140 receives the recognition result for the utterance and the sensor information from the information processing server 20. Further, the server communication unit 140 receives information related to the length of the user's utterance calculated by the information processing server 20.
  • the functional configuration example of the information processing terminal 10 according to the present embodiment has been described above.
  • said structure demonstrated using FIG. 3 is an example to the last, and the function structure of the information processing terminal 10 which concerns on this embodiment is not limited to the example which concerns.
  • the information processing terminal 10 according to the present embodiment may further include a configuration other than those described above.
  • the information processing terminal 10 may include, for example, a storage unit that stores various types of information, or may have a recognition function equivalent to that of the information processing server 20.
  • the functions of the information processing terminal 10 described above can be realized by being distributed to a plurality of devices.
  • the input unit 110, the output unit 120, and the output control unit 130 may be realized by separate devices. In this case, the output control unit 130 may perform output control of the output unit 120 in a plurality of devices.
  • the functional configuration of the information processing terminal 10 according to the present embodiment can be flexibly modified.
  • FIG. 4 is an example of a functional block diagram of the information processing server 20 according to the present embodiment.
  • the information processing server 20 according to the present embodiment includes a recognition unit 210, an utterance length estimation unit 220, and a terminal communication unit 230.
  • the recognition unit 210 has a function of performing speech recognition based on user utterance information transmitted by the information processing terminal 10. Specifically, the recognition unit 210 may convert a voice signal included in the utterance information into character string information. As described above, the recognition unit 210 according to the present embodiment may perform recognition or estimation other than voice recognition. The recognition unit 210 according to the present embodiment may perform, for example, lip recognition (Lip reading) in which utterance content is estimated from the movement of the user's lips and converted into a character string. In this case, the recognition unit 210 can perform the above-described processing based on image information captured by the sensor unit 116 of the information processing terminal 10.
  • lip recognition Lip reading
  • the recognition unit 210 may perform emotion estimation based on utterances and voices.
  • the recognition unit 210 may perform the above estimation based on, for example, the characteristics of the speech waveform, changes in sound quality and volume, utterance, utterance content, filler words, and the like.
  • the recognition unit 210 may perform emotion estimation based on the user's biological information.
  • the recognition unit 210 may extract a feature from various biological information such as an electroencephalogram, a pulse, sweating, and eyeglass movement to estimate an emotion.
  • the recognition unit 210 can also estimate a user's emotion based on a plurality of pieces of biological information.
  • the recognition unit 210 can perform the above estimation based on image information and sensor information collected by the sensor unit 116 of the information processing terminal 10.
  • the recognition unit 210 may perform user intention estimation based on gaze recognition, action recognition, and the like.
  • gesture recognition may be included in said action recognition.
  • Gesture recognition can include various non-verbal motions such as hand gestures, neck gestures, body gestures and the like.
  • the recognition unit 210 according to the present embodiment can perform the above estimation based on image information and sensor information collected by the sensor unit 116 of the information processing terminal 10.
  • the recognition unit 210 may estimate a thought or emotion that the user recalls for a certain event.
  • the above events may include various visual information, auditory information, olfactory information, tactile information, and the like.
  • the recognition unit 210 according to the present embodiment can estimate thoughts and emotions that the user recalls when showing a certain image. Note that the above thought includes words and sentences associated with the image from the user.
  • the recognizing unit 210 according to the present embodiment can estimate thoughts and emotions recalled by a user who is given a smell, sound, tactile stimulus, or the like.
  • the utterance length estimation unit 220 has a function of calculating the length of the user's utterance based on the user's utterance information transmitted by the information processing terminal 10. At this time, for example, the utterance length estimation unit 220 according to the present embodiment may detect an utterance section based on the utterance information and calculate the length of the user's utterance from the utterance volume in the utterance section.
  • FIG. 5 is a diagram for explaining the calculation of the utterance length by the utterance length estimation unit 220 according to the present embodiment.
  • the upper part of FIG. 5 shows the utterance volume included in the user's utterance information transmitted by the information processing terminal 10 in time series, and the lower part of FIG. 5 is calculated based on the above utterance volume.
  • the length of the utterance is shown in time series.
  • the utterance length estimation unit 220 When detecting the length of the utterance, the utterance length estimation unit 220 according to the present embodiment detects the utterance section SS based on the received utterance information. At this time, the utterance length estimation unit 220 may detect the utterance section by a method widely used in the speech recognition field. The utterance length estimation unit 220 may perform, for example, utterance section detection based on amplitude and zero crossing, utterance section detection based on a Gaussian mixture distribution model, decoder-based utterance section detection, and the like.
  • the utterance length estimation unit 220 may calculate the length of the user's utterance based on the value of the utterance volume in the detected utterance section SS. At this time, the utterance length estimation unit 220 can calculate the utterance length by, for example, integrating the utterance length in units of time based on the utterance volume value exceeding the minimum threshold Th_min in the utterance section SS. . Specifically, the utterance length estimation unit 220 may accumulate the absolute value of the utterance volume exceeding the minimum threshold Th_min, or may accumulate the difference between the utterance volume and the minimum threshold Th_min. In addition, the utterance length estimation unit 220 can calculate the amount of change in the utterance volume and perform integration. According to the above function of the utterance length estimation unit 220 according to the present embodiment, it is possible to calculate the utterance length while effectively removing noise.
  • the utterance length estimation unit 220 may perform processing such as rounding the value of the utterance volume exceeding the maximum threshold Th_max during integration. In this case, it is possible to prevent the speech length from rapidly increasing due to a temporary increase in the speech volume, and to prevent the user from feeling uncomfortable when showing feedback related to the speech length as a visual effect. Can be expected.
  • the terminal communication unit 230 has a function of performing information communication with the information processing terminal 10 via the network 30. Specifically, the terminal communication unit 230 according to the present embodiment receives a user's utterance detected by the voice input unit 112 of the information processing terminal 10 and sensor information detected by the sensor unit 116. In addition, the terminal communication unit 230 transmits information related to the recognition result by the recognition unit 210 and the length of the utterance calculated by the utterance length estimation unit 220 to the information processing terminal 10.
  • the function configuration example of the information processing server 20 according to the present embodiment has been described above. Note that the above-described configuration described with reference to FIG. 4 is merely an example, and the functional configuration of the information processing server 20 according to the present embodiment is not limited to the related example.
  • the information processing server 20 according to the present embodiment may further include a configuration other than those described above.
  • the information processing server 20 may further include a configuration corresponding to the output control unit 130 of the information processing terminal 10.
  • the information processing server 20 may include an input unit that detects an input operation, an output unit that outputs various types of information, and the like.
  • Each function of the information processing server 20 can be realized by being distributed to a plurality of devices.
  • the recognition unit 210 and the utterance length estimation unit 220 may be realized by separate devices.
  • the functional configuration of the information processing server 20 according to the present embodiment can be flexibly modified.
  • the output control unit 130 according to the present embodiment can output various visual effects indicating a state related to whether voice recognition is possible. More specifically, the output control unit 130 according to the present embodiment may output a visual effect indicating that voice recognition is possible. According to the above function of the output control unit 130 according to the present embodiment, it is possible for the user to intuitively perceive that voice recognition is possible while gazing at the input area, such as an erroneous operation. Can be effectively prevented.
  • FIGS. 6A to 6F are diagrams for explaining an example of visual effect control indicating a state related to whether or not voice recognition is possible.
  • the output control unit 130 may display a display object RO indicating that voice recognition is possible in the input area F1.
  • the user can intuitively understand that voice recognition is possible by visually recognizing the display object RO displayed in the input area F1.
  • the output control unit 130 may explicitly prompt the user to speak by displaying a message such as “Please speak” together with the display object RO.
  • the output control unit 130 can also display the above message in the input area F1 in a semi-transparent color, for example. In this case, it is possible to expect an effect of further reducing the load of eye movement by the user.
  • the display object according to the present embodiment includes a position display object indicating the input position of the speech recognition result in the input area F1.
  • the position display object may include a caret CA as shown in FIG. 6B, for example.
  • the output control part 130 which concerns on this embodiment may show that it is in the state in which a user can recognize speech by changing the visual effect concerning caret CA, for example.
  • FIG. 6B shows an example in which the output control unit 130 blinks the caret CA with a different brightness or color every 0.7 seconds, for example.
  • the output control unit 130 may indicate that voice recognition is possible by changing the shape of the caret CA as illustrated in FIG. 6C.
  • the output control unit 130 prompts the user to speak by displaying a visual effect that changes over time on the upper part of the caret CA.
  • the visual effect may be, for example, that a round object is filled with time.
  • the output control unit 130 according to the present embodiment can display a visual effect accompanied by a change in at least one of shape, size, and color based on a state related to speech recognition.
  • the output control unit 130 according to the present embodiment may present a state related to whether or not voice recognition is possible to the user by changing the visual effect related to the input area F1. For example, as illustrated in FIG. 6D, the output control unit 130 according to the present embodiment causes the user to perceive that voice recognition is possible by changing the background color of the input area F1 over time. Can do. At this time, the output control unit 130 may change the background of the input area F1 with a different brightness or color every second, for example.
  • the output control unit 130 according to the present embodiment may change the visual effect related to the area frame of the input area F1 with the passage of time.
  • Examples of the visual effect related to the frame area include brightness, color, line type, and the like of the area frame.
  • the output control unit 130 according to the present embodiment can prompt the user to speak by repeating the above display control until the user speaks.
  • the output control unit 130 may control the visual effect related to the display object arranged on the user interface UI.
  • the output control unit 130 blinks the button b1 to indicate to the user that voice recognition is possible.
  • the output control unit 130 may further enhance the user's perceptual effect by controlling the visual effect related to the input area F1 and the caret CA together with the button b1.
  • the output control unit 130 according to the present embodiment can output various visual effects indicating feedback for the utterance being input.
  • the output control unit 130 according to the present embodiment may display feedback related to the length of the utterance and the utterance volume in the input area where the speech recognition result is input.
  • the user can intuitively grasp feedback on the user's utterance while gazing at the input area, which effectively improves the voice recognition accuracy. Can be improved.
  • FIGS. 7A to 7F are diagrams for explaining an example of visual effect control indicating feedback for an utterance.
  • the output control unit 130 may indicate feedback on the user's utterance by changing the shape, color, brightness, and the like of the caret CA.
  • the output control unit 130 displays four circular objects c1 to c4 inside the caret CA, and changes the visual effects of the caret CA and the objects c1 to c4, thereby changing the utterance. Showing feedback.
  • the output control unit 130 according to the present embodiment may indicate feedback on the length of the utterance by painting the objects c1 to c4 sequentially from the left.
  • the output control unit 130 according to the present embodiment can change the visual effect based on the length of the utterance.
  • the output control unit 130 may display a visual effect that serves as a target index for the length of the utterance. Focusing on the upper left end of FIG. 7A, the output control unit 130 displays the objects c1 and c2, and c3 and c4 using different expressions.
  • the objects c1 and c2 may be visual effects that serve as indices indicating the minimum utterance length for the user. In other words, the user can speak while aiming at the objects c1 and c2 being painted.
  • the output control unit 130 may change the visual effect related to the painting of the objects c1 and c2 when the minimum utterance length is exceeded. For example, the output control unit 130 may change the fill color of the objects c1 and c2 from red to white to indicate that the goal has been achieved.
  • the output control unit 130 according to the present embodiment indicates that the utterance length is insufficient or the utterance length has reached a sufficient state by changing the visual effect. Can do.
  • the user can utter while intuitively grasping the required utterance amount, and the speech recognition accuracy is improved by preventing a short utterance. Can be made.
  • the output control unit 130 may display feedback on the utterance volume simultaneously with feedback on the utterance length as described above.
  • the output control unit 130 may change the color and brightness of the background color of the caret CA, the brightness of the fills of the objects c1 to c4, and the like based on the volume of the utterance volume.
  • the output control unit 130 is not limited to the example illustrated in FIG. 7A, and can provide feedback on the utterance by various visual effects related to the caret CA.
  • the output control unit 130 may display an indicator RI indicating feedback on the utterance together with the caret CA.
  • the output control unit 130 indicates feedback with respect to the length of the utterance by extending the indicator RI in the right direction based on the length of the utterance. At this time, the output control unit 130 may guide the user to perform a long utterance by displaying the target point d1 indicating the minimum utterance length.
  • the output control unit 130 changes the color of the indicator RI so that the utterance length is sufficient for the user. May indicate that Further, the output control unit 130 can simultaneously display feedback on the speech volume by changing the brightness of the indicator RI.
  • the shape of the indicator RI according to the present embodiment is not limited to the rod shape as shown in FIG. 7B.
  • the output control unit 130 according to the present embodiment may display feedback on the length of the utterance and the utterance volume using a graph-like indicator RI.
  • a graph indicating the volume of the utterance volume may be used.
  • the output control unit 130 can indicate feedback with respect to the length of the utterance by extending the indicator RI in the right direction based on the length of the utterance.
  • the output control unit 130 changes the color of the indicator RI when the length of the utterance exceeds the target point d1, so that the length of the utterance is sufficient for the user. It may indicate that a state has been reached.
  • the output control unit 130 may indicate a warning to the user by changing the visual effect related to the corresponding portion of the indicator RI.
  • the output control unit 130 may change the color of the indicator RI, for example, as shown at the right end of FIG. 7C.
  • the threshold of the utterance volume used for changing the visual effect may be a predetermined value set in advance, or a value dynamically acquired from a microphone or the like included in the voice input unit 112. There may be.
  • the output control unit 130 may indicate feedback for the utterance by controlling the visual effect related to the input area F1.
  • the output control unit 130 changes the brightness of the background color of the input area F1 based on the speech volume.
  • the output control unit 130 changes the background color of the input area F1 to a different color, thereby allowing the user to The above state can be shown.
  • FIG. 7E shows an example in which the output control unit 130 changes the area frame of the input area F1 based on the user's utterance.
  • the output control unit 130 according to the present embodiment may change the brightness related to the area frame of the input area F1, based on the utterance volume, as illustrated on the upper left side of FIG. 7E. Further, as shown in the upper right side of FIG. 7E, the output control unit 130 according to the present embodiment changes the area frame of the input area F1 to a different color when the length of the utterance reaches a sufficient state. Thus, the above state can be shown to the user.
  • the output control unit 130 may indicate feedback for the utterance by controlling the visual effect related to the display object arranged in the user interface UI.
  • the output control unit 130 displays a feedback for the utterance by controlling the visual effect related to the button b1.
  • the output control unit 130 may indicate feedback on the length of the utterance by painting the background of the button b1 in the right direction according to the length of the utterance.
  • the output control unit 130 has reached a state where the utterance length is sufficient for the user by changing the fill color when the utterance length exceeds the target point d1. You may show that.
  • the output control unit 130 can also indicate feedback on the speech volume by changing the lightness of the fill, as shown on the upper left side of FIG. 7F.
  • the output control unit 130 according to the present embodiment can provide feedback to the user regarding the length of the utterance and the utterance volume by controlling various visual effects based on the user's utterance.
  • the visual effect control described above is merely an example, and the visual control according to the present embodiment is not limited to such an example.
  • the control function of the output control unit 130 according to the present embodiment can be flexibly modified.
  • the output control unit 130 according to the present embodiment can output a visual effect related to feedback on the utterance together with the voice recognition result.
  • the output control unit 130 according to the present embodiment may display a visual effect indicating that the length of the utterance is insufficient together with the voice recognition result. According to the above function of the output control unit 130 according to the present embodiment, the user can intuitively understand the relationship between the length of the utterance and the recognition accuracy, and can be used for future utterances.
  • FIG. 8A to 8E are diagrams for explaining an example of control of the visual effect displayed together with the voice recognition result.
  • the output control unit 130 according to the present embodiment displays underlined visual effects u1 to u7 below the character string in2 input to the input area F1 by voice recognition. Feedback on the utterance may be indicated.
  • the output control unit 130 according to the present embodiment may display the underlined visual effects u1 to u7 in units of groups such as recognized phrases and words.
  • the output control unit 130 can change the expression related to the underlined visual effects u1 to u7 based on the length of the utterance at the time of speech recognition. For example, in the example shown in FIG. 8A, the output control unit 130 displays the underlined visual effects u1 to u3 and u6 to u7 by straight lines at the lower part of the group unit in which the utterance length is sufficient. The underlined visual effects u4 and u5 by the chain line are displayed at the bottom of the group unit in which the utterance length is insufficient. Note that the output control unit 130 may perform feedback based on a color difference in addition to the above line type difference.
  • the output control unit 130 displays the feedback with respect to the utterance length together with the voice recognition result, so that the user can understand the relationship between the recognition accuracy and the utterance length.
  • FIG. 8A shows an example in which the user speaks, “It is a sport game, not a puzzle, that I played today”.
  • the recognition accuracy is poor when the utterance length is short. I can understand that.
  • FIG. 8B is a diagram for explaining the correction of the speech recognition result according to the present embodiment.
  • FIG. 8B shows an image when the user selects a character string by operating the caret CA.
  • the output control unit 130 according to the present embodiment may perform control so that the group unit is selected by changing the shape of the caret CA by animation.
  • FIG. 8B shows an example of display control when the user moves the caret CA in the right direction when the caret CA exists on the left side of the character string “PAZ”.
  • the output control unit 130 may change the size of the caret CA so as to gradually surround the entire character string “Pazu” while deforming the caret CA into a frame shape. The user can correct the erroneously recognized speech recognition result by performing the utterance again after the entire character string “Pazu” is selected.
  • the output control unit 130 may display the visual effects p1 to p6 in a segmented manner between the group units. At this time, the output control unit 130 may change the extension direction of the segmented visual effects p1 to p6 based on the length of the utterance. In the case of the example shown in FIG. 8C, the output control unit 130 indicates that the group unit whose utterance length is insufficient is surrounded by the segmented visual effects p3 to p5 extending downward from the ruled line r. For the group units other than, the delimiters are shown by using demarcated visual effects p1, p2, and p6 extending upward from the ruled line r.
  • the output control unit 130 may indicate the group unit by the visual effects m1 to m6 by the marker type. Similarly, in this case, the output control unit 130 can change the expression of the marker-type visual effects m1 to m6 based on the length of the utterance. In the case of the example shown in FIG. 8D, the output control unit 130 indicates a group unit whose utterance length is insufficient by surrounding it with black marker-type visual effects m3 to m5. Indicates a break by using white marker-type visual effects m1, m2, and m6.
  • the output control unit 130 can indicate a break by changing the background color of the character string In2 for each group.
  • the output control unit 130 indicates a break by alternately decorating the group unit using the background-type visual effects b1 to b4.
  • the output control unit 130 displays the character strings In2 4 and In2 5 whose utterance length is insufficient in a typeface different from other group units, thereby allowing the user to set the utterance length. Feedback may be indicated.
  • the visual effect according to the present embodiment may include the visual effect related to the character string corresponding to the voice recognition result.
  • FIG. 9 is a flowchart showing an operation flow of the information processing terminal 10.
  • FIG. 9 shows a flow of operations of the information processing terminal 10 when the information processing server 20 according to the present embodiment performs voice recognition.
  • the server communication unit 140 of the information processing terminal 10 acquires information related to speech recognition from the information processing server 20 (S1101).
  • the output control unit 130 determines whether or not speech recognition is possible based on the information related to speech recognition received in step S1101 (S1102).
  • the information processing terminal 10 ends the display control process of the visual effect indicating the state related to the voice recognition.
  • the output control unit 130 determines that the voice recognition is possible (S1102: YES)
  • the output control unit 130 subsequently adds the utterance volume and the utterance to the information related to the voice recognition received in step S1101. It is determined whether information relating to the length exists (S1103).
  • the output control unit 130 determines that the information related to the speech recognition does not include the information related to the utterance volume or the length of the utterance (S1103: NO)
  • the output control unit 130 then performs the speech recognition. Display control for displaying a visual effect indicating a possible state is performed (S1104).
  • the output control unit 130 determines that the information related to the speech recognition includes information related to the utterance volume and the length of the utterance (S1103: YES), the output control unit 130 subsequently received in step S1101. It is determined whether or not a voice recognition result exists in the information related to voice recognition (S1105).
  • the output control unit 130 determines that there is no voice recognition result in the information related to the voice recognition (S1105: NO)
  • the output control unit 130 indicates feedback on the utterance volume and the utterance length. Display control for displaying the visual effect is performed (S1106).
  • the information processing terminal 10 ends the series of processes.
  • the output control unit 130 determines that there is a voice recognition result in the information related to voice recognition (S1105: YES)
  • the output control unit 130 then visually displays the feedback on the voice recognition result and the utterance length. Display control for displaying the effect is performed (S1107).
  • the information processing terminal 10 ends the series of processes.
  • FIG. 10 is a block diagram illustrating a hardware configuration example of the information processing terminal 10 and the information processing server 20 according to the present disclosure.
  • the information processing terminal 10 and the information processing server 20 include, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, and an input device 878. , Output device 879, storage 880, drive 881, connection port 882, and communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the output device 879 according to the present disclosure includes various vibration devices that can output a tactile stimulus.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the output control unit 130 according to the present disclosure can display various visual effects indicating the state related to recognition in the input area where the recognition result is input. More specifically, the output control unit 130 according to the present disclosure can display a visual effect indicating that recognition is possible in the input area. Further, the output control unit 130 according to the present disclosure can display a visual effect indicating feedback on the length of the utterance or the utterance volume in the input area. According to such a configuration, it is possible to reduce the load of eye movement in the user interface related to the recognition application.
  • each step in the processing of the information processing terminal 10 in this specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the information processing terminal 10 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • An output control unit for controlling display of a user interface related to the recognition application With The output control unit causes a visual effect indicating a state related to recognition to be output to an input area where a recognition result is input, Information processing device.
  • the visual effect includes a display object displayed in the input area, The information processing apparatus according to (1).
  • the display object includes a position display object indicating an input position of the recognition result in the input area.
  • the visual effect includes a visual effect related to a background of the input area, The information processing apparatus according to any one of (1) to (3).
  • the visual effect includes a visual effect related to a region frame of the input region, The information processing apparatus according to any one of (1) to (4).
  • the visual effect includes a visual effect relating to a character string corresponding to the recognition result, The information processing apparatus according to any one of (1) to (5).
  • the output control unit changes the visual effect based on the state related to the recognition.
  • the output control unit displays a visual effect accompanied by a change in at least one of a shape, a size, and a color based on the state related to the recognition.
  • the information processing apparatus according to any one of (1) to (7).
  • the state of recognition includes feedback on the utterance; The information processing apparatus according to any one of (1) to (8).
  • the feedback for the utterance includes feedback for the utterance being input, The information processing apparatus according to (9).
  • (11) Feedback for the utterance includes feedback for the length of the utterance; The information processing apparatus according to (9) or (10).
  • (12) The output control unit changes the visual effect based on the length of the utterance.
  • the output control unit displays a visual effect indicating that the length of the utterance is insufficient;
  • the output control unit outputs the visual effect based on the length of the utterance calculated from the utterance volume in the utterance section.
  • the information processing apparatus according to any one of (11) to (13).
  • the output control unit outputs a visual effect related to feedback on the utterance together with the recognition result.
  • the information processing apparatus according to any one of (9) to (13).
  • the output control unit displays a visual effect indicating that the length of the utterance is insufficient together with the recognition result.
  • the information processing apparatus according to any one of (9) to (14).
  • the state relating to recognition includes a state relating to whether or not recognition is possible, The information processing apparatus according to any one of (1) to (16).
  • the output control unit displays a visual effect indicating that recognition is possible.
  • the information processing apparatus according to (17).
  • the processor controls display of a user interface associated with the recognition application; Including Controlling the display further includes outputting a visual effect indicating a state related to recognition to an input area where a recognition result is input. Information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】認識アプリケーションに係るユーザインタフェースにおいて、視線移動の負荷を軽減する。 【解決手段】認識アプリケーションに係るユーザインタフェースの表示を制御する出力制御部、を備え、前記出力制御部は、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させる、情報処理装置が提供される。また、プロセッサが、認識アプリケーションに係るユーザインタフェースの表示を制御すること、を含み、前記表示を制御することは、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させること、をさらに含む、情報処理方法が提供される。

Description

情報処理装置、および情報処理方法
　本開示は、情報処理装置、および情報処理方法に関する。
　近年、ユーザの行動や状態に基づく認識を行い、認識結果に対応する処理を実行する種々の装置が普及している。また、上記のような装置において、認識プロセスに係るユーザの利便性を向上させるための技術が多く提案されている。例えば、特許文献１には、ユーザが音声認識により入力された文字列を区分単位で選択し修正することを可能とする情報処理装置が開示されている。
国際公開第２０１５／０５９９７６号
　ところで、上記のような認識を行う装置では、ユーザインタフェース上に認識に係る状態を示すオブジェクトなどが表示される場合がある。当該オブジェクトは、例えば、認識が開始されたことをユーザに知らしめる用途などに用いられ得る。しかし、上記のようなオブジェクトは、認識結果が入力される領域とは異なる場所に配置される場合が多い。このため、ユーザにとっては、オブジェクトと認識結果との間で視線を移動させる負担が小さくない。
　そこで、本開示では、認識アプリケーションに係るユーザインタフェースにおいて、視線移動の負荷を軽減することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
　本開示によれば、認識アプリケーションに係るユーザインタフェースの表示を制御する出力制御部、を備え、前記出力制御部は、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させる、情報処理装置が提供される。
　また、本開示によれば、プロセッサが、認識アプリケーションに係るユーザインタフェースの表示を制御すること、を含み、前記表示を制御することは、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させること、をさらに含む、情報処理方法が提供される。
　以上説明したように本開示によれば、認識アプリケーションに係るユーザインタフェースにおいて、視線移動の負荷を軽減することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態の概要について説明するための図である。 本開示の一実施形態の概要について説明するための図である。 本開示の一実施形態の概要について説明するための図である。 本開示の一実施形態の概要について説明するための図である。 本開示の一実施形態の概要について説明するための図である。 本開示の一実施形態の概要について説明するための図である。 同実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係る情報処理端末の機能ブロック図の一例である。 同実施形態に係る情報処理サーバの機能ブロック図の一例である。 同実施形態に係る発話長推定部による発話の長さの算出について説明するための図である。 同実施形態に係る音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。 同実施形態に係る発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。 同実施形態に係る発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。 同実施形態に係る発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。 同実施形態に係る発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。 同実施形態に係る発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。 同実施形態に係る発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識結果と共に表示される視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識結果と共に表示される視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識結果と共に表示される視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識結果と共に表示される視覚効果の制御例について説明するための図である。 同実施形態に係る音声認識結果と共に表示される視覚効果の制御例について説明するための図である。 同実施形態に係る情報処理端末の動作の流れを示すフローチャートである。 本開示に係るハードウェア構成例である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．実施形態の概要
　　１．２．システム構成例
　　１．３．情報処理端末１０の機能構成例
　　１．４．情報処理サーバ２０の機能構成例
　　１．５．出力制御部１３０による出力制御の詳細
　　１．６．情報処理端末１０の動作の流れ
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．実施形態の概要＞＞
　まず、本開示に係る一実施形態の概要について説明する。上述したとおり、近年においては、種々の認識技術に基づく動作を行う種々の装置が開発されている。また、認識アプリケーションに係るユーザインタフェースも多く存在する。しかし、上記のようなユーザインタフェースでは、多くの場合、認識結果が入力される入力領域と認識の状態を示すオブジェクトとが異なる場所に配置されている。上記のようなオブジェクトには、例えば、認識が開始状態にあることを示すオブジェクトや、ユーザの発話音量などに対するフィードバックを示すオブジェクトなどが含まれ得る。
　このため、ユーザが認識結果に注視する場合、上記のようなオブジェクトが示す情報を見逃しやすく、例えば、認識の開始動作を行わないまま発話などを行ってしまう、などの誤操作を誘発していた。また、例えば、認識技術がゲームなどにおける一機能として用いられる場合には、誤操作によりゲーム体験を大きく損ねてしまうなどの懸念も生じる。さらには、例えば、認識技術がカーナビゲーションシステムなどの車載器において用いられる場合、誤操作による焦りなどから事故を誘発する可能性も無視できない。
　本開示に係る情報処理装置および情報処理方法は、上記の点に着目して発想されたものであり、認識アプリケーションのユーザインタフェース上におけるユーザの視線移動負荷を大幅に軽減することを可能とする。このために、本実施形態に係る情報処理装置および情報処理方法は、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させることを特徴の一つとする。なお、本実施形態に係る認識技術には、例えば、音声認識が挙げられる。また、本実施形態に係る認識技術には、上記の他、唇の動きから発話をテキスト化する唇認識技術、声や生体情報などからユーザの感情を推定する感情推定技術、視線認識や行動認識からの意図推定技術などが含まれてよい。以下の実施形態の説明においては、本実施形態に係る認識技術が音声認識である場合を主な例として説明する。
　図１Ａ～図１Ｆは、本実施形態の概要について説明するための図である。図１Ａ～図１Ｆには、本実施形態に係る情報処理装置により制御されるユーザインタフェースＵＩ１が示されている。ユーザインタフェースＵＩ１は、例えば、音声認識アプリケーションをユーザに提示する情報処理端末の表示部などに表示され得る。図１Ａ～図１Ｆに示すように、本実施形態に係るユーザインタフェースＵＩ１は、例えば、入力領域Ｆ１とボタンｂ１～ｂ６などを含んで構成されてよい。
　ここで、ボタンｂ１～ｂ６は、音声認識アプリケーションを制御するための種々のボタンであってよい。例えば、ボタンｂ１は、音声認識の開始、終了を切り替えるためのボタンであり得る。また、ボタンｂ２およびｂ３は、文字列の入力位置を左右に移動するためのボタンであり得る。また、ボタンｂ４は、キーボードなどを切り替えるために用いられるボタンであり得る。また、ボタンｂ５は、入力された文字列の削除を行うためのボタンであり得る。また、ボタンｂ６は、例えば、入力された文字列の確定処理を行うためのボタンであり得る。
　また、入力領域Ｆ１は、音声認識結果である文字列が入力される領域であってよい。入力領域Ｆ１には、ユーザの発話に基づいて認識された文字列が都度入力される。また、本実施形態に係る入力領域Ｆ１には、音声認識に係る状態を示す視覚効果が出力される。上記の視覚効果には、例えば、種々の表示オブジェクトが含まれてよい。表示オブジェクトの一例としては、図１Ａに示すような文字列の入力位置を示す位置表示オブジェクト、すなわちキャレットＣＡが挙げられる。
　この際、本実施形態に係る情報処理装置は、例えば、キャレットＣＡに係る視覚効果を変化させることで、音声認識に係る様々な状態をユーザに提示することができる。
　図１Ａに示す一例は、音声認識アプリケーションがユーザの発話を受け付けていない状態、すなわち音声認識機能がオフとなっている状態を示している。
　ここで、音声認識機能がオンに移行し、ユーザの発話待ちの状態となった場合、情報処理装置は、例えば、図１Ｂに示すように、キャレットＣＡの下部に音声認識が開始状態であることを示すインジケータＲＩを表示させることができる。この際、情報処理装置は、例えば、インジケータＲＩとキャレットＣＡとを異なる色表現で表示させることで、ユーザがより直観的に音声認識が開始されたことを知覚できるように制御を行ってもよい。
　また、本実施形態に係る情報処理装置は、例えば、ユーザの発話に対するフィードバックなどをインジケータＲＩにより示してもよい。図１Ｃは、情報処理装置がインジケータＲＩにより、ユーザの発話の長さに対するフィードバックを示す場合の例を示している。図１Ｃに示すように、情報処理装置は、例えば、ユーザの発話の長さに応じて、インジケータＲＩがキャレットＣＡから入力方向に延長するように制御を行ってもよい。
　また、本実施形態に係る情報処理端末１０は、音声認識精度を向上させるためのフィードバックを視覚効果として表示させることができる。一般的に、音声認識エンジンは、発話の長さが十分でない場合、本来の性能を発揮することが困難な場合がある。一方、多くの音声認識アプリケーションでは、発話の長さに対するフィードバックをユーザに提示する手段が設けられていない。このため、ユーザは、音声認識精度が想定より低い場合であっても、原因が自身の発話の長さにあることに気づけない場合が多い。
　このことから、本実施形態に係る情報処理装置は、発話の長さに応じてインジケータＲＩの視覚効果を切り替えることで、ユーザに発話の長さが十分な状態に達したことを提示してもよい。図１Ｄは、発話の長さが音声認識に十分な長さに達した場合に、情報処理装置が表示させるインジケータＲＩの一例である。ここで、図１Ｃおよび図１ＤにおけるインジケータＲＩを比較すると、それぞれ異なるハッチングにより示されていることがわかる。このように、本実施形態に係る情報処理装置は、発話の長さが不十分な状態と十分な状態とでインジケータＲＩに係る視覚効果を変化させることで、ユーザに発話の長さに係る直観的な知覚を促すことが可能である。
　なお、図１Ｃおよび図１Ｄの一例では、インジケータＲＩに係る視覚効果の変化をハッチングの差により説明したが、本実施形態に係る情報処理装置は、例えば、色の変化により発話の長さに係るフィードバックを実現してもよい。例えば、情報処理装置は、発話の長さが不十分である場合には赤色などの警告色でインジケータＲＩを表示させ、発話の長さが十分な状態に達した場合にはインジケータＲＩを青色などに変化させてもよい。
　本実施形態に係る情報処理装置は、ユーザの発話に基づいて上記のような表示制御を繰り返すことで、ユーザに音声認識に係る種々の状態を提示することができる。図１Ｅには、図１Ｃおよび図１Ｄの状態においてユーザが発話に行った発話に基づいて認識された文字列Ｉｎ１が示されている。この際、情報処理装置は、音声認識が開始状態であることを示すインジケータＲＩを再び表示させることで、ユーザに発話の続行を促してよい。また、発話が再び開始された場合には、情報処理装置は、図１Ｆに示すように、ユーザの発話に対するフィードバックをインジケータＲＩにより示すことができる。
　以上説明したように、本実施形態に係る情報処理装置は、音声認識の開始状態や発話に対するフィードバックなどを示す種々の視覚効果を入力領域Ｆ１に表示させることができる。本実施形態に係る情報処理装置が有する上記の機能によれば、ユーザは、入力領域Ｆ１に注視しながら、音声認識に係る様々な情報を得ることができ、視線移動の負担を軽減すると共に、誤操作などを効果的に防止することが可能となる。
　＜＜１．２．システム構成例＞＞
　次に、本実施形態に係る情報処理システムのシステム構成例について説明する。図２は、本実施形態に係る情報処理システムの構成例を示す図である。図２を参照すると、本実施形態に係る情報処理システムは、情報処理端末１０および情報処理サーバ２０を備える。また、情報処理端末１０および情報処理サーバ２０は、互いに通信が行えるようにネットワーク３０を介して接続される。
　（情報処理端末１０）
　本実施形態に係る情報処理端末１０は、認識アプリケーションに係るユーザインタフェースをユーザに提供する情報処理装置である。このため、本実施形態に係る情報処理端末１０は、ユーザに係る情報を検出する入力機能と、ユーザインタフェースを出力するための出力機能とを有する。さらには、本実施形態に係る情報処理端末１０は、ユーザの行動や状態、入力操作に基づいて、ユーザインタフェースの表示に係る種々の制御を行う機能を有する。この際、本実施形態に係る情報処理端末１０は、ユーザインタフェース上において、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させることを特徴の一つとする。本実施形態に係る情報処理端末１０は、例えば、スマートフォン、タブレット、携帯電話、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ウェアラブルデバイス、ゲーム機などの各種のエージェントであり得る。
　（情報処理サーバ２０）
　本実施形態に係る情報処理サーバ２０は、情報処理端末１０により入力されたユーザの情報に基づいて認識処理を行う情報処理装置である。また、本実施形態に係る情報処理サーバ２０は、情報処理端末１０から送信されるユーザの発話情報に基づいて、ユーザの発話の長さを算出する機能を有する。
　（ネットワーク３０）
　ネットワーク３０は、情報処理端末１０と情報処理サーバ２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０と情報処理サーバ２０とは、同一の装置として実現することも可能である。また、本実施形態に係る情報処理端末１０や情報処理サーバ２０が有する機能は、複数の装置に分散して実現されてもよい。本実施形態に係る情報処理システムの構成は、音声認識アプリケーションの仕様や、システムの運用などに応じて適宜柔軟に変形され得る。
　＜＜１．３．情報処理端末１０の機能構成例＞＞
　次に、本実施形態に係る情報処理端末１０の機能構成例について説明する。図３は、本実施形態に係る情報処理端末１０の機能ブロック図の一例である。図３を参照すると、本実施形態に係る情報処理端末１０は、入力部１１０、出力部１２０、出力制御部１３０、およびサーバ通信部１４０を備える。
　（入力部１１０）
　本実施形態に係る入力部１１０は、認識アプリケーションに用いられる種々の情報入力を受け付ける機能を有する。このために、本実施形態に係る入力部１１０は、入力部１１０は、音声入力部１１２、操作入力部１１４、およびセンサ部１１６を含んで構成される。
　（（音声入力部１１２））
　本実施形態に係る音声入力部１１２は、ユーザの発話を検出する機能を有する。このために、本実施形態に係る音声入力部１１２は、マイクロフォンなどの音声検出デバイスを含んで構成される。
　（（操作入力部１１４））
　本実施形態に係る操作入力部１１４は、ユーザによる種々の入力操作を検出する機能を有する。操作入力部１１４は、例えば、ユーザによる音声認識の開始操作やキャレットの移動操作、文字列の削除操作などを検出することができる。このために、本実施形態に係る操作入力部１１４は、マウス、キーボード、コントローラ、タッチパネル、各種のボタンなどを含んで構成される。
　（（センサ部１１６））
　本実施形態に係るセンサ部１１６は、認識アプリケーションを利用するユーザに係る種々の情報を収集する機能を有する。センサ部１１６は、例えば、ユーザの唇や視線の動き、ジェスチャを含む行動に係る情報などを収集することができる。このために、本実施形態に係るセンサ部１１６は、撮像センサや赤外線センサなどを含んで構成される。また、センサ部１１６は、ユーザの生体情報を収集してよい。上記の生体情報には、例えば、心拍、脈拍、血圧、顔面温度、体温、表情、脳波、呼吸、眼球運動などが含まれ得る。このため、本実施形態に係るセンサ部１１６は、上記の生体情報を収集するための各種の生体センサを含んで構成されてよい。
　（出力部１２０）
　本実施形態に係る出力部１２０は、出力制御部１３０による制御に基づいて、ユーザに対し様々な情報提示を行う機能を有する。このために、本実施形態に係る出力部１２０は、表示部１２２、音声出力部１２４、および触覚提示部１２６を含んで構成される。
　（（表示部１２２））
　本実施形態に係る表示部１２２は、出力制御部１３０による制御に基づいて、ユーザに視覚情報を提示する機能を有する。特に、本実施形態に係る表示部１２２は、認識アプリケーションに係るユーザインタフェースを表示してよい。このために、本実施形態に係る表示部１２２は、視覚情報を提示する表示デバイスを含んで構成される。上記の表示デバイスには、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置、タッチパネルなどが挙げられる。
　（（音声出力部１２４））
　本実施形態に係る音声出力部１２４は、出力制御部１３０による制御に基づいて、ユーザに聴覚情報を提示する機能を有する。音声出力部１２４は、例えば、認識結果を人工音声により読み上げたり、認識アプリケーションにより提供される各種の効果音などを出力したりすることができる。このために、本実施形態に係る音声出力部１２４は、アンプやスピーカなどを含んで構成される。
　（（触覚提示部１２６））
　本実施形態に係る触覚提示部１２６は、出力制御部１３０による制御に基づいて、ユーザに触覚情報を提示する機能を有する。触覚提示部１２６は、例えば、音声出力部１２４による聴覚情報と共に振動などを出力してもよい。このために、本実施形態に係る触覚提示部１２６は、例えば、ＬＲＡ（Ｌｉｎｅａｒ　Ｒｅｓｏｎａｎｔ　Ａｃｔｕａｔｏｒ：リニア・バイブレータ）、ピエゾ素子、偏心モーターなどの振動デバイスや当該振動デバイスを駆動するＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んで構成され得る。
　（出力制御部１３０）
　本実施形態に係る出力制御部１３０は、出力部１２０による各種の情報出力を制御する機能を有する。特に、本実施形態に係る出力制御部１３０は、認識アプリケーションに係るユーザインタフェースの表示を制御してよい。この際、本実施形態に係る出力制御部１３０は、上記のユーザインタフェース上において認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させることができる。
　ここで、上記の視覚効果には、入力領域内に表示される種々の表示オブジェクトが含まれてよい。本実施形態に係る出力制御部１３０は、例えば、入力領域に認識が開始されていることを示すアイコンなどを出力させてもよい。
　なお、上述したように、本実施形態に係る表示オブジェクトには、入力領域において認識結果の入力位置を示すキャレットなどの位置表示オブジェクトが含まれる。本実施形態に係る出力制御部１３０が有する上記の機能によれば、ユーザがキャレットなどにより示される入力位置に注視しながらも、認識に係る種々の情報を知覚することが可能となる。
　また、本実施形態に係る出力制御部１３０は、キャレットなどの表示オブジェクトの他、入力領域に係る視覚効果を制御してもよい。本実施形態に係る出力制御部１３０は、例えば、入力領域の背景や領域枠に係る視覚効果を制御することができる。
　また、本実施形態に係る出力制御部１３０は、認識結果に対応する文字列に係る視覚効果を制御してもよい。
　以上説明したように、本実施形態に係る出力制御部１３０は、認識アプリケーションに係るユーザインタフェースにおいて、種々の視覚効果の出力を制御することができる。この際、出力制御部１３０は、認識に係る状態に基づいて、視覚効果を変化させてよい。出力制御部１３０は、例えば、形状、大きさ、または色などの変化を伴う視覚効果を表示部１２２に表示させることができる。なお、本実施形態に係る出力制御部１３０が有する各種機能については、別途詳細に説明する。
　（サーバ通信部１４０）
　本実施形態に係るサーバ通信部１４０は、ネットワーク３０を介して情報処理サーバ２０との情報通信を行う機能を有する。具体的には、本実施形態に係るサーバ通信部１４０は、音声入力部１１２が検出したユーザの発話に係る情報やセンサ部１１６が収集した種々のセンサ情報を情報処理サーバ２０に送信する。また、サーバ通信部１４０は、上記の発話やセンサ情報に対する認識結果を情報処理サーバ２０から受信する。また、サーバ通信部１４０は、情報処理サーバ２０が算出したユーザの発話の長さに係る情報を受信する。
　以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は係る例に限定されない。本実施形態に係る情報処理端末１０は、上記に示した以外の構成をさらに備えてもよい。情報処理端末１０は、例えば、各種の情報を格納する記憶部などを備えてもよいし、情報処理サーバ２０と同等の認識機能を有してもよい。また、一方で、上記で説明した情報処理端末１０が有する各機能は、複数の装置に分散して実現することも可能である。例えば、入力部１１０および出力部１２０と、出力制御部１３０とは、それぞれ別途の装置により実現されてもよい。この場合、出力制御部１３０は、複数の装置における出力部１２０の出力制御を行ってもよい。本実施形態に係る情報処理端末１０の機能構成は、柔軟に変形され得る。
　＜＜１．４．情報処理サーバ２０の機能構成例＞＞
　次に、本実施形態に係る情報処理サーバ２０の機能構成例について説明する。図４は、本実施形態に係る情報処理サーバ２０の機能ブロック図の一例である。図４を参照すると、本実施形態に係る情報処理サーバ２０は、認識部２１０、発話長推定部２２０、および端末通信部２３０を備える。
　（認識部２１０）
　本実施形態に係る認識部２１０は、情報処理端末１０により送信されるユーザの発話情報に基づいて音声認識を行う機能を有する。具体的には、認識部２１０は、上記の発話情報に含まれる音声信号を文字列情報に変換してよい。また、上述したとおり、本実施形態に係る認識部２１０は、音声認識以外の認識や推定を行ってもよい。本実施形態に係る認識部２１０は、例えば、ユーザの唇の動きから発話内容を推定し文字列化を行う唇認識（Ｌｉｐ　ｒｅａｄｉｎｇ）などを行ってもよい。この場合、認識部２１０は、情報処理端末１０のセンサ部１１６が撮像した画像情報に基づいて上記の処理を行うことができる。
　また、本実施形態に係る認識部２１０は、発話や声に基づく感情推定を行ってもよい。認識部２１０は、例えば、音声波形の特徴や、音質や音量の変化、発話の間、発話内容、フィラー語などに基づいて、上記の推定を行ってもよい。
　また、本実施形態に係る認識部２１０は、ユーザの生体情報に基づく感情推定を行ってもよい。認識部２１０は、例えば、脳波や脈拍、発汗、眼鏡運動などの種々の生体情報から特徴を抽出し感情を推定してもよい。この際、認識部２１０は、複数の生体情報に基づいてユーザの感情を推定することもできる。認識部２１０は、情報処理端末１０のセンサ部１１６が収集する画像情報やセンサ情報に基づいて、上記の推定を行うことができる。
　また、本実施形態に係る認識部２１０は、視線認識や行動認識などに基づくユーザの意図推定を行ってもよい。なお、上記の行動認識には、ジェスチャ認識が含まれてよい。ジェスチャ認識には、ハンドジェスチャ、ネックジェスチャ、ボディジェスチャなど種々のノンバーバル動作が含まれ得る。本実施形態に係る認識部２１０は、情報処理端末１０のセンサ部１１６が収集する画像情報やセンサ情報に基づいて、上記の推定を行うことができる。
　また、本実施形態に係る認識部２１０は、ある事象に対してユーザが想起する思考や感情を推定してもよい。上記の事象には、種々の視覚情報、聴覚情報、嗅覚情報、触覚情報などが含まれてよい。例えば、本実施形態に係る認識部２１０は、ある画像を見せた際に、ユーザが想起する思考や感情を推定することができる。なお、上記の思考には、ユーザが画像から連想する単語や文章なども含まれる。同様に、本実施形態に係る認識部２１０は、匂い、音、触覚刺激などを与えられたユーザが想起する思考や感情を推定することが可能である。
　（発話長推定部２２０）
　本実施形態に係る発話長推定部２２０は、情報処理端末１０により送信されるユーザの発話情報に基づいて、ユーザの発話の長さを算出する機能を有する。この際、本実施形態に係る発話長推定部２２０は、例えば、上記の発話情報に基づいて発話区間を検出し、当該発話区間における発話音量からユーザの発話の長さを算出してもよい。
　図５は、本実施形態に係る発話長推定部２２０による発話の長さの算出について説明するための図である。図５の上部には、情報処理端末１０により送信されるユーザの発話情報に含まれる発話音量が時系列に示されており、図５の下部には、上記の発話音量に基づいて算出される発話の長さが時系列に示されている。
　発話の長さを検出する際、本実施形態に係る発話長推定部２２０は、受信した発話情報に基づいて発話区間ＳＳの検出を行う。この際、発話長推定部２２０は、音声認識分野において広く用いられる手法により発話区間検出を行ってよい。発話長推定部２２０は、例えば、振幅と零交差に基づく発話区間検出やガウス混合分布モデルに基づく発話区間検出、デコーダベースの発話区間検出などを行ってよい。
　また、本実施形態に係る発話長推定部２２０は、検出した発話区間ＳＳにおける発話音量の値に基づいて、ユーザの発話の長さを算出してよい。この際、発話長推定部２２０は、例えば、発話区間ＳＳにおいて最小閾値Ｔｈ＿ｍｉｎを超える発話音量の値に基づいて時間単位の発話の長さを積算することで発話の長さを算出することができる。具体的には、発話長推定部２２０は、最小閾値Ｔｈ＿ｍｉｎを超えた発話音量の絶対値を積算してもよいし、発話音量と最小閾値Ｔｈ＿ｍｉｎとの差分を積算してもよい。また、発話長推定部２２０は、発話音量の変化量を算出し積算を行うこともできる。本実施形態に係る発話長推定部２２０が有する上記の機能によれば、ノイズを効果的に除去しながら発話の長さを算出することができる。
　また、発話長推定部２２０は、最大閾値Ｔｈ＿ｍａｘを超える発話音量の値については、積算時に値をまるめるなどの処理を行ってもよい。この場合、一時的に発話音量が上がったことにより発話の長さが急激に伸びることを防止することができ、発話の長さに係るフィードバックを視覚効果として示す際、ユーザの違和感を防止する効果が期待できる。
　（端末通信部２３０）
　本実施形態に係る端末通信部２３０は、ネットワーク３０を介して情報処理端末１０との情報通信を行う機能を有する。具体的には、本実施形態に係る端末通信部２３０は、情報処理端末１０の音声入力部１１２が検出したユーザの発話や、センサ部１１６が検出したセンサ情報を受信する。また、端末通信部２３０は、認識部２１０による認識結果と発話長推定部２２０により算出される発話の長さに係る情報を情報処理端末１０に送信する。
　以上、本実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。本実施形態に係る情報処理サーバ２０は、上記に示した以外の構成をさらに備えてもよい。情報処理サーバ２０は、例えば、情報処理端末１０の出力制御部１３０に相当する構成をさらに備えてもよい。また、情報処理サーバ２０は、入力操作を検出する入力部や各種の情報を出力する出力部などを備えてもよい。また、情報処理サーバ２０が有する各機能は、複数の装置に分散して実現することも可能である。例えば、認識部２１０と発話長推定部２２０とは、それぞれ別途の装置により実現されてもよい。本実施形態に係る情報処理サーバ２０の機能構成は、柔軟に変形され得る。
　＜＜１．５．出力制御部１３０による出力制御の詳細＞＞
　次に、本実施形態に係る情報処理端末１０の出力制御部１３０による出力制御の詳細について説明する。以下では、本実施形態に係る認識部２１０が音声認識を行う場合を例に説明する。この際、本実施形態に係る出力制御部１３０は、音声認識アプリケーションに係るユーザインタフェース上において、音声認識結果が入力される入力領域に、音声認識に係る状態を示す種々の視覚効果を出力させることができる。以下、出力制御部１３０により制御される上記の視覚効果について、具体例を挙げながら説明する。
　（音声認識の可否に係る状態を示す視覚効果の制御）
　まず、本実施形態に係る出力制御部１３０による音声認識の可否に係る状態を示す視覚効果の制御について詳細に説明する。本実施形態に係る出力制御部１３０は、音声認識の可否に係る状態を示す様々な視覚効果を出力させることができる。より具体的には、本実施形態に係る出力制御部１３０は、音声認識が可能な状態であることを示す視覚効果を出力させてよい。本実施形態に係る出力制御部１３０が有する上記の機能によれば、ユーザが入力領域を注視しながらも、音声認識が可能な状態であることを直観的に知覚することが可能となり、誤操作などを効果的に防止することができる。
　図６Ａ～図６Ｆは、音声認識の可否に係る状態を示す視覚効果の制御例について説明するための図である。本実施形態に係る出力制御部１３０は、例えば、図６Ａに示すように、入力領域Ｆ１に音声認識が可能な状態であることを示す表示オブジェクトＲＯを表示させてもよい。この場合、ユーザは入力領域Ｆ１に表示される表示オブジェクトＲＯを視認することで、音声認識が可能な状態であることを直観的に把握することが可能である。
　また、出力制御部１３０は、図６Ａに示すように、表示オブジェクトＲＯと共に、「お話しください」、などのメッセージを表示することで、ユーザに明示的に発話を促してもよい。なお、図６Ａ～図６Ｆには図示していないが、出力制御部１３０は、上記のようなメッセージを、例えば、半透明色で入力領域Ｆ１中に表示させることもできる。この場合、ユーザによる視線移動の負荷をより軽減する効果が期待できる。
　また、上述したとおり、本実施形態に係る表示オブジェクトには、入力領域Ｆ１において音声認識結果の入力位置を示す位置表示オブジェクトが含まれる。上記の位置表示オブジェクトには、例えば、図６Ｂに示すようなキャレットＣＡが含まれ得る。このため、本実施形態に係る出力制御部１３０は、例えば、キャレットＣＡに係る視覚効果を変化させることで、ユーザに音声認識が可能な状態であることを示してもよい。図６Ｂには、出力制御部１３０が、例えば、０．７秒ごとに異なる明度や色でキャレットＣＡを明滅させる場合の例が示されている。
　また、本実施形態に係る出力制御部１３０は、図６Ｃに示すように、キャレットＣＡの形状を変化させることで、音声認識が可能な状態であることを示してもよい。図６Ｃに示す一例の場合、出力制御部１３０は、キャレットＣＡの上部に時間経過と共に変化する視覚効果を表示させることで、ユーザに発話を促している。上記の視覚効果は、例えば、時間経過と共に丸型のオブジェクトが塗りつぶされていくようなものあってもよい。このように、本実施形態に係る出力制御部１３０は、音声認識に係る状態に基づいて、形状、大きさ、または色のうち少なくともいずれかの変化を伴う視覚効果を表示させることができる。
　さらには、本実施形態に係る出力制御部１３０は、入力領域Ｆ１に係る視覚効果を変化させることで、ユーザに音声認識の可否に係る状態を提示してもよい。例えば、本実施形態に係る出力制御部１３０は、図６Ｄに示すように、入力領域Ｆ１の背景色を時間経過と共に変化させることで、音声認識が可能な状態であることをユーザに知覚させることができる。この際、出力制御部１３０は、例えば、１秒ごとに異なる明度や色で入力領域Ｆ１の背景を変化させてもよい。
　また、本実施形態に係る出力制御部１３０は、図６Ｅに示すように、入力領域Ｆ１の領域枠に係る視覚効果を時間経過と共に変化させてもよい。上記の枠領域に係る視覚効果には、例えば、領域枠の明度や色、線種などが挙げられる。本実施形態に係る出力制御部１３０は、ユーザが発話を行うまで、上記のような表示制御を繰り返すことで、ユーザに発話を促すことができる。
　また、本実施形態に係る出力制御部１３０は、ユーザインタフェースＵＩに配置される表示オブジェクトに係る視覚効果を制御してもよい。図６Ｆに示す一例の場合、出力制御部１３０は、ボタンｂ１を明滅させることで、音声認識が可能な状態であることをユーザに示している。出力制御部１３０は、ボタンｂ１と共に入力領域Ｆ１やキャレットＣＡに係る視覚効果を制御することで、ユーザの知覚効果をさらに高めてもよい。
　（発話に対するフィードバックを示す視覚効果の制御）
　次に、本実施形態に係る出力制御部１３０による発話に対するフィードバックを示す視覚効果の制御について詳細に説明する。本実施形態に係る出力制御部１３０は、入力中の発話に対するフィードバックを示す様々な視覚効果を出力させることができる。特に、本実施形態に係る出力制御部１３０は、発話の長さや発話音量に係るフィードバックを、音声認識結果が入力される入力領域に表示させてよい。本実施形態に係る出力制御部１３０が有する上記の機能によれば、ユーザが入力領域を注視しながらも、自身の発話に対するフィードバックを直観的に把握することが可能となり、音声認識精度を効果的に向上させることができる。
　図７Ａ～図７Ｆは、発話に対するフィードバックを示す視覚効果の制御例について説明するための図である。本実施形態に係る出力制御部１３０は、例えば、図７Ａに示すように、キャレットＣＡの形状や色、明度などを変化させることで、ユーザの発話に対するフィードバックを示してもよい。
　図７Ａに示す一例の場合、出力制御部１３０は、キャレットＣＡの内側に４つの丸型のオブジェクトｃ１～ｃ４を表示させ、キャレットＣＡやオブジェクトｃ１～ｃ４の視覚効果を変化させることで、発話に対するフィードバックを示している。この際、本実施形態に係る出力制御部１３０は、図７Ａに示すように、発話の長さに対するフィードバックを、オブジェクトｃ１～ｃ４を左から順に塗りつぶしていくことで示してもよい。このように、本実施形態に係る出力制御部１３０は、発話の長さに基づいて視覚効果を変化させることができる。
　また、この際、出力制御部１３０は、発話の長さの目標の指標となるような視覚効果を表示させてよい。図７Ａの上部左端に着目すると、出力制御部１３０は、オブジェクトｃ１およびｃ２と、ｃ３とｃ４とを異なる表現を用いて表示させている。ここで、オブジェクトｃ１およびｃ２は、ユーザに対し最低限の発話の長さを示す指標となる視覚効果であってよい。すなわち、ユーザは、オブジェクトｃ１およびｃ２が塗りつぶされることを目標に、発話を行うことができる。また、出力制御部１３０は、図７Ａの上部右端に示すように、最低限の発話の長さを超えた場合には、オブジェクトｃ１およびｃ２の塗りつぶしに係る視覚効果を変化させてもよい。出力制御部１３０は、例えば、目標が達成したことを示すために、オブジェクトｃ１およびｃ２の塗りつぶし色を赤から白に変化させてもよい。
　このように、本実施形態に係る出力制御部１３０は、発話の長さが不十分であることや、発話の長さが十分な状態に達したことを、視覚効果を変化させることで示すことができる。本実施形態に係る出力制御部１３０が有する上記の機能によれば、ユーザが必要な発話量を直観的に把握しながら発話を行うことができ、短い発話を防止することで音声認識精度を向上させることができる。
　また、本実施形態に係る出力制御部１３０は、上記のような発話の長さに対するフィードバックと同時に発話音量に対するフィードバックを表示させてもよい。図７Ａに示す一例の場合、出力制御部１３０は、例えば、キャレットＣＡの背景色の色や明度、オブジェクトｃ１～ｃ４の塗りつぶしの明度などを発話音量の大きさに基づいて変化させてもよい。
　また、出力制御部１３０は、図７Ａに示す一例に限らず、キャレットＣＡに係る様々な視覚効果により発話に対するフィードバックを示すことができる。出力制御部１３０は、例えば、図７Ｂに示すように、キャレットＣＡと共に発話に対するフィードバックを示すインジケータＲＩを表示させてもよい。
　図７Ｂに示す一例の場合、出力制御部１３０は、発話の長さに基づいて、インジケータＲＩを右方向に延長することで、発話の長さに対するフィードバックを示している。また、この際、出力制御部１３０は、最低限の発話の長さを示す目標ポイントｄ１を表示させることで、長い発話を行うよう、ユーザを誘導してもよい。
　また、図７Ａの場合と同様、出力制御部１３０は、発話の長さが目標ポイントｄ１を超えた場合には、インジケータＲＩの色を変化せることで、ユーザに発話の長さが十分な状態に達したことを示してもよい。また、出力制御部１３０は、インジケータＲＩの明度を変化させることで、発話音量に対するフィードバックを同時に表示させることも可能である。
　また、本実施形態に係るインジケータＲＩの形状は、図７Ｂに示すような棒状に限定されない。本実施形態に係る出力制御部１３０は、例えば、図７Ｃに示すように、グラフ状のインジケータＲＩを用いて発話の長さや発話音量に対するフィードバックを表示させてもよい。ここで、図７Ｃに示すインジケータＲＩには、発話音量の大きさを示すグラフが用いられてよい。この場合も、出力制御部１３０は、発話の長さに基づいて、インジケータＲＩを右方向に延長することで、発話の長さに対するフィードバックを示すことができる。また、出力制御部１３０は、図７Ｂの場合と同様に、発話の長さが目標ポイントｄ１を超えた場合には、インジケータＲＩの色を変化せることで、ユーザに発話の長さが十分な状態に達したことを示してもよい。
　さらに、本実施形態に係る出力制御部１３０は、発話音量が大きすぎる場合には、インジケータＲＩの該当する箇所に係る視覚効果を変化させることで、ユーザに警告を示してもよい。この際、出力制御部１３０は、例えば、図７Ｃの右端に示すように、インジケータＲＩの色を変化させてもよい。出力制御部１３０が有する上記の機能によれば、音声認識精度に影響を与える音量の発話をユーザに知覚させることが可能となる。なお、この際、視覚効果を変化させるために用いられる発話音量の閾値は予め設定される所定の値であってもよいし、音声入力部１１２が含むマイクロフォンなどから動的に取得される値であってもよい。
　また、音声認識の可否を示す視覚効果の場合と同様に、出力制御部１３０は、入力領域Ｆ１に係る視覚効果を制御することで、発話に対するフィードバックを示してもよい。図７Ｄの上部左側には、出力制御部１３０が発話音量に基づいて、入力領域Ｆ１の背景色の明度を変化させる場合の例が示されている。また、図７Ｄの上部右側に示すように、発話の長さが十分な状態に達した場合には、出力制御部１３０は、入力領域Ｆ１の背景色を異なる色に変化させることで、ユーザに上記の状態を示すことができる。
　また、図７Ｅには、出力制御部１３０がユーザの発話に基づいて、入力領域Ｆ１の領域枠を変化させる場合の例が示されている。本実施形態に係る出力制御部１３０は、図７Ｅの上部左側に示すように、発話音量に基づいて、入力領域Ｆ１の領域枠に係る明度を変化させてもよい。また、本実施形態に係る出力制御部１３０は、図７Ｅの上部右側に示すように、発話の長さが十分な状態に達した場合には、入力領域Ｆ１の領域枠を異なる色に変化させることで、ユーザに上記の状態を示すことができる。
　また、本実施形態に係る出力制御部１３０は、ユーザインタフェースＵＩに配置される表示オブジェクトに係る視覚効果を制御することで発話に対するフィードバックを示してもよい。図７Ｆに示す一例の場合、出力制御部１３０は、ボタンｂ１に係る視覚効果を制御することで、発話に対するフィードバクを表示させている。この際、出力制御部１３０は、例えば、図７Ｆの上部右側に示すように、ボタンｂ１の背景を発話の長さに応じて右方向に塗りつぶすことで発話の長さに対するフィードバックを示してもよい。また、この場合においても、出力制御部１３０は、発話の長さが目標ポイントｄ１を超えた場合には、塗りつぶしの色を変化せることで、ユーザに発話の長さが十分な状態に達したことを示してもよい。また、出力制御部１３０は、図７Ｆの上部左側に示すように、塗りつぶしの明度を変化させることで、発話音量に対するフィードバックを示すこともできる。
　以上説明したように、本実施形態に係る出力制御部１３０は、ユーザの発話に基づいて、種々の視覚効果を制御することで、ユーザに発話の長さや発話音量に対するフィードバックを示すことができる。なお、上記で説明した視覚効果の制御はあくまで一例であり、本実施形態に係る視覚制御は係る例に限定されない。本実施形態に係る出力制御部１３０の制御機能は柔軟に変形され得る。
　（音声認識結果と共に表示される視覚効果の制御）
　次に、本実施形態に係る音声認識結果と共に表示される視覚効果の制御について詳細に説明する。本実施形態に係る出力制御部１３０は、声認識結果と共に発話に対するフィードバックに係る視覚効果を出力させることができる。特に、本実施形態に係る出力制御部１３０は、音声認識結果と共に発話の長さが不十分であることを示す視覚効果を表示させてよい。本実施形態に係る出力制御部１３０が有する上記の機能によれば、ユーザが発話の長さと認識精度の関係を直観的に把握することができ、今後の発話に活かすことが可能となる。
　図８Ａ～図８Ｅは、音声認識結果と共に表示される視覚効果の制御例について説明するための図である。本実施形態に係る出力制御部１３０は、例えば、図８Ａに示すように、音声認識により入力領域Ｆ１に入力される文字列ｉｎ２の下部に下線状の視覚効果ｕ１～ｕ７を表示させることで、発話に対するフィードバックを示してもよい。この際、本実施形態に係る出力制御部１３０は、下線状の視覚効果ｕ１～ｕ７を認識された文節や単語などのグループ単位で表示させてもよい。
　また、出力制御部１３０は、音声認識時の発話の長さに基づいて、下線状の視覚効果ｕ１～ｕ７に係る表現を変化させることができる。例えば、図８Ａに示す一例の場合、出力制御部１３０は、発話の長さが十分であったグループ単位の下部には、直線による下線状の視覚効果ｕ１～ｕ３、およびｕ６～ｕ７を表示させており、発話の長さが不十分であったグループ単位の下部には、鎖線による下線状の視覚効果ｕ４、およびｕ５を表示させている。なお、出力制御部１３０は、上記のような線種の違いの他、色の違いによるフィードバックを行ってもよい。
　このように、本実施形態に係る出力制御部１３０が音声認識結果と共に発話の長さに対するフィードバックを表示させることで、ユーザが認識精度と発話の長さとの関係を理解することが可能となる。例えば、図８Ａには、ユーザは、「今日私が遊んだのは、パズル、ではなく、スポーツのゲームです」、と発話した場合の例が示されている。この際、ユーザは、誤認識された文字列「ぱず」と、当該文字列と共に表示される下線状の視覚効果ｕ４を視認することで、発話の長さが短い場合には、認識精度が悪いことを把握することができる。
　また、この際、ユーザは、キャレットＣＡを操作し、文字列「ぱず」を選択した後、再び発話を行うことで、音声認識結果の修正を行ってもよい。図８Ｂは、本実施形態に係る音声認識結果の修正について説明するための図である。図８Ｂには、ユーザが、キャレットＣＡを操作して文字列を選択する際のイメージが示されている。この際、本実施形態に係る出力制御部１３０は、図８Ｂに示すように、キャレットＣＡの形状をアニメーションにより変化させることで、グループ単位の選択が行われるように、制御を行ってもよい。
　図８Ｂには、文字列「ぱず」の左側にキャレットＣＡが存在する際に、ユーザがキャレットＣＡを右方向に移動させた場合の表示制御例が示されている。この場合、出力制御部１３０は、キャレットＣＡを枠状に変形させながら、徐々に文字列「ぱず」全体を囲うようにキャレットＣＡの大きさを変化させてよい。ユーザは、文字列「ぱず」全体が選択された後、再度発話を行うことで、誤認識された音声認識結果を修正することができる。
　また、音声認識結果と共に表示される視覚効果は、図８Ａに示した下線状に限定されない。本実施形態に係る出力制御部１３０は、例えば、図８Ｃに示すように、グループ単位の間に区切り状の視覚効果ｐ１～ｐ６を表示させてもよい。この際、出力制御部１３０は、発話の長さに基づいて、区切り状の視覚効果ｐ１～ｐ６の延長方向を変化させてもよい。図８Ｃに示す一例の場合、出力制御部１３０は、発話の長さが不十分であったグループ単位を、罫線ｒから下方に延長する区切り状の視覚効果ｐ３～ｐ５により囲うことで示し、上記以外のグループ単位に関しては、罫線ｒから上方に延長する区切り状の視覚効果ｐ１、ｐ２、およびｐ６を用いて区切りを示している。
　また、本実施形態に係る出力制御部１３０は、図８Ｄに示すように、マーカ型による視覚効果ｍ１～ｍ６によりグループ単位を示してもよい。この場合も同様に、出力制御部１３０は、発話の長さに基づいて、マーカ型の視覚効果ｍ１～ｍ６の表現を変化させることができる。図８Ｄに示す一例の場合、出力制御部１３０は、発話の長さが不十分であったグループ単位を、黒色のマーカ型の視覚効果ｍ３～ｍ５により囲うことで示し、上記以外のグループ単位については、白色のマーカ型の視覚効果ｍ１、ｍ２、およびｍ６を用いることで区切りを示している。
　また、本実施形態に係る出力制御部１３０は、図８Ｅに示すように、文字列Ｉｎ２の背景色をグループ単位ごとに変化させることで区切りを示すことができる。図８Ｅに示す一例の場合、出力制御部１３０は、グループ単位を背景型の視覚効果ｂ１～ｂ４を用いて交互に装飾することで区切りを示している。また、この際、出力制御部１３０は、発話の長さが不十分であった文字列Ｉｎ２４およびＩｎ２５を、他のグループ単位とは異なる書体で表示させることで、ユーザに発話の長さに対するフィードバックを示してもよい。このように、本実施形態に係る視覚効果には、音声認識結果に対応する文字列に係る視覚効果が含まれてよい。
　＜＜１．６．情報処理端末１０の動作の流れ＞＞
　次に、本実施形態に係る情報処理端末１０の動作の流れについて詳細に説明する。図９は、情報処理端末１０の動作の流れを示すフローチャートである。なお、図９には、本実施形態に係る情報処理サーバ２０が音声認識を行う場合における情報処理端末１０の動作の流れが示されている。
　図９を参照すると、まず、情報処理端末１０のサーバ通信部１４０は、情報処理サーバ２０から音声認識に係る情報を取得する（Ｓ１１０１）。
　次に、本実施形態に係る出力制御部１３０は、ステップＳ１１０１で受信した音声認識に係る情報に基づいて、音声認識が可能な状態であるか否かを判定する（Ｓ１１０２）。
　ここで、出力制御部１３０により音声認識が可能な状態ではないと判定された場合（Ｓ１１０２：ＮＯ）、情報処理端末１０は、音声認識に係る状態を示す視覚効果の表示制御処理を終了する。
　一方、出力制御部１３０が、音声認識が可能な状態であると判定した場合（Ｓ１１０２：ＹＥＳ）、続いて出力制御部１３０は、ステップＳ１１０１で受信した音声認識に係る情報に発話音量や発話の長さに係る情報が存在するか否かを判定する（Ｓ１１０３）。
　ここで、出力制御部１３０が、音声認識に係る情報に発話音量や発話の長さに係る情報が存在しないと判定した場合（Ｓ１１０３：ＮＯ）、続いて、出力制御部１３０は、音声認識が可能な状態であることを示す視覚効果を表示させる表示制御を行う（Ｓ１１０４）。
　一方、出力制御部１３０が、音声認識に係る情報に発話音量や発話の長さに係る情報が存在すると判定した場合（Ｓ１１０３：ＹＥＳ）、続いて、出力制御部１３０は、ステップＳ１１０１で受信した音声認識に係る情報に音声認識結果が存在するか否かを判定する（Ｓ１１０５）。
　ここで、出力制御部１３０が、音声認識に係る情報に音声認識結果が存在しないと判定した場合（Ｓ１１０５：ＮＯ）、続いて、出力制御部１３０は、発話音量と発話長さに対するフィードバックを示す視覚効果を表示させる表示制御を行い（Ｓ１１０６）。情報処理端末１０は一連の処理を終了する。
　一方、出力制御部１３０が、音声認識に係る情報に音声認識結果が存在すると判定した場合（Ｓ１１０５：ＹＥＳ）、続いて、出力制御部１３０は、音声認識結果と発話長さに対するフィードバックを示す視覚効果を表示させる表示制御を行い（Ｓ１１０７）。情報処理端末１０は一連の処理を終了する。
　＜２．ハードウェア構成例＞
　次に、本開示に係る情報処理端末１０および情報処理サーバ２０に共通するハードウェア構成例について説明する。図１０は、本開示に係る情報処理端末１０および情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１０を参照すると、情報処理端末１０および情報処理サーバ２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示に係る出力制御部１３０は、認識に係る状態を示す種々の視覚効果を、認識結果が入力される入力領域に表示させることができる。より具体的には、本開示に係る出力制御部１３０は、認識が可能な状態であることを示す視覚効果を上記の入力領域に表示させることができる。また、本開示に係る出力制御部１３０は、発話の長さや発話音量に対するフィードバックを示す視覚効果を上記の入力領域に表示させることができる。係る構成によれば、認識アプリケーションに係るユーザインタフェースにおいて、視線移動の負荷を軽減することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書の情報処理端末１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理端末１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　認識アプリケーションに係るユーザインタフェースの表示を制御する出力制御部、
　を備え、
　前記出力制御部は、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させる、
情報処理装置。
（２）
　前記視覚効果は、前記入力領域内に表示される表示オブジェクトを含む、
前記（１）に記載の情報処理装置。
（３）
　前記表示オブジェクトは、前記入力領域において前記認識結果の入力位置を示す位置表示オブジェクトを含む、
前記（２）に記載の情報処理装置。
（４）
　前記視覚効果は、前記入力領域の背景に係る視覚効果を含む、
前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
　前記視覚効果は、前記入力領域の領域枠に係る視覚効果を含む、
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記視覚効果は、前記認識結果に対応する文字列に係る視覚効果を含む、
前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記出力制御部は、前記認識に係る状態に基づいて、前記視覚効果を変化させる、
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記出力制御部は、前記認識に係る状態に基づいて、形状、大きさ、または色のうち少なくともいずれかの変化を伴う視覚効果を表示させる、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記認識に係る状態は、発話に対するフィードバックを含む、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記発話に対するフィードバックは、入力中の発話に対するフィードバックを含む、
前記（９）に記載の情報処理装置。
（１１）
　前記発話に対するフィードバックは、前記発話の長さに対するフィードバックを含む、
前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、前記発話の長さに基づいて前記視覚効果を変化させる、
前記（１１）に記載の情報処理装置。
（１３）
　前記出力制御部は、前記発話の長さが不十分であることを示す視覚効果を表示させる、
前記（１１）または（１２）に記載の情報処理装置。
（１４）
　前記出力制御部は、発話区間における発話音量から算出された前記発話の長さに基づいて、前記視覚効果を出力させる、
前記（１１）～（１３）のいずれかに記載の情報処理装置。
（１５）
　前記出力制御部は、前記認識結果と共に前記発話に対するフィードバックに係る視覚効果を出力させる、
前記（９）～（１３）のいずれかに記載の情報処理装置。
（１６）
　前記出力制御部は、前記認識結果と共に前記発話の長さが不十分であることを示す視覚効果を表示させる、
前記（９）～（１４）のいずれかに記載の情報処理装置。
（１７）
　前記認識に係る状態は、認識の可否に係る状態を含む、
前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
　前記出力制御部は、認識が可能な状態であることを示す視覚効果を表示させる、
前記（１７）に記載の情報処理装置。
（１９）
　ユーザの発話を検出する入力部、
　をさらに備える、
前記（１）～（１８）のいずれかに記載の情報処理装置。
（２０）
　プロセッサが、認識アプリケーションに係るユーザインタフェースの表示を制御すること、
　を含み、
　前記表示を制御することは、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させること、をさらに含む、
情報処理方法。
　１０　　　情報処理端末
　１１０　　入力部
　１１２　　音声入力部
　１１４　　操作入力部
　１１６　　センサ部
　１２０　　出力部
　１２２　　表示部
　１２４　　音声出力部
　１２６　　触覚提示部
　１３０　　出力制御部
　１４０　　サーバ通信部
　２０　　　情報処理サーバ
　２１０　　認識部
　２２０　　発話長推定部
　２３０　　端末通信部

Claims (20)

  1. 　認識アプリケーションに係るユーザインタフェースの表示を制御する出力制御部、
    　を備え、
    　前記出力制御部は、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させる、
    情報処理装置。
  2. 　前記視覚効果は、前記入力領域内に表示される表示オブジェクトを含む、
    請求項１に記載の情報処理装置。
  3. 　前記表示オブジェクトは、前記入力領域において前記認識結果の入力位置を示す位置表示オブジェクトを含む、
    請求項２に記載の情報処理装置。
  4. 　前記視覚効果は、前記入力領域の背景に係る視覚効果を含む、
    請求項１に記載の情報処理装置。
  5. 　前記視覚効果は、前記入力領域の領域枠に係る視覚効果を含む、
    請求項１に記載に情報処理装置。
  6. 　前記視覚効果は、前記認識結果に対応する文字列に係る視覚効果を含む、
    請求項１に記載の情報処理装置。
  7. 　前記出力制御部は、前記認識に係る状態に基づいて、前記視覚効果を変化させる、
    請求項１に記載の情報処理装置。
  8. 　前記出力制御部は、前記認識に係る状態に基づいて、形状、大きさ、または色のうち少なくともいずれかの変化を伴う視覚効果を表示させる、
    請求項１に記載の情報処理装置。
  9. 　前記認識に係る状態は、発話に対するフィードバックを含む、
    請求項１に記載の情報処理装置。
  10. 　前記発話に対するフィードバックは、入力中の発話に対するフィードバックを含む、
    請求項９に記載の情報処理装置。
  11. 　前記発話に対するフィードバックは、前記発話の長さに対するフィードバックを含む、
    請求項９に記載の情報処理装置。
  12. 　前記出力制御部は、前記発話の長さに基づいて前記視覚効果を変化させる、
    請求項１１に記載の情報処理装置。
  13. 　前記出力制御部は、前記発話の長さが不十分であることを示す視覚効果を表示させる、
    請求項１１に記載の情報処理装置。
  14. 　前記出力制御部は、発話区間における発話音量から算出された前記発話の長さに基づいて、前記視覚効果を出力させる、
    請求項１１に記載の情報処理装置。
  15. 　前記出力制御部は、前記認識結果と共に前記発話に対するフィードバックに係る視覚効果を出力させる、
    請求項９に記載の情報処理装置。
  16. 　前記出力制御部は、前記認識結果と共に前記発話の長さが不十分であることを示す視覚効果を表示させる、
    請求項９に記載の情報処理装置。
  17. 　前記認識に係る状態は、認識の可否に係る状態を含む、
    請求項１に記載の情報処理装置。
  18. 　前記出力制御部は、認識が可能な状態であることを示す視覚効果を表示させる、
    請求項１７に記載の情報処理装置。
  19. 　ユーザの発話を検出する入力部、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  20. 　プロセッサが、認識アプリケーションに係るユーザインタフェースの表示を制御すること、
    　を含み、
    　前記表示を制御することは、認識結果が入力される入力領域に、認識に係る状態を示す視覚効果を出力させること、をさらに含む、
    情報処理方法。
PCT/JP2017/034090 2016-12-22 2017-09-21 情報処理装置、および情報処理方法 WO2018116556A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17884583.0A EP3561653A4 (en) 2016-12-22 2017-09-21 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP2018557542A JP6969576B2 (ja) 2016-12-22 2017-09-21 情報処理装置、および情報処理方法
US16/463,178 US11183189B2 (en) 2016-12-22 2017-09-21 Information processing apparatus and information processing method for controlling display of a user interface to indicate a state of recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016249485 2016-12-22
JP2016-249485 2016-12-22

Publications (1)

Publication Number Publication Date
WO2018116556A1 true WO2018116556A1 (ja) 2018-06-28

Family

ID=62627264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034090 WO2018116556A1 (ja) 2016-12-22 2017-09-21 情報処理装置、および情報処理方法

Country Status (4)

Country Link
US (1) US11183189B2 (ja)
EP (1) EP3561653A4 (ja)
JP (1) JP6969576B2 (ja)
WO (1) WO2018116556A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137607A1 (ja) * 2018-12-27 2020-07-02 ソニー株式会社 音声発話に基いてアイテムを選択する表示制御装置
KR20210022434A (ko) * 2019-08-20 2021-03-03 주식회사 포켓메모리 음성인식 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075534A (en) * 1998-03-26 2000-06-13 International Business Machines Corporation Multiple function graphical user interface minibar for speech recognition
JP2001166860A (ja) * 1999-12-07 2001-06-22 Canon Inc 情報処理装置、カーソル表示方法、及び記憶媒体
JP2002116792A (ja) * 2000-10-11 2002-04-19 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2014203207A (ja) * 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2015059976A1 (ja) 2013-10-24 2015-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016103988A1 (ja) * 2014-12-26 2016-06-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965863B1 (en) * 1998-11-12 2005-11-15 Microsoft Corporation Speech recognition user interface
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
JP5790238B2 (ja) * 2011-07-22 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
US20140337788A1 (en) * 2013-05-08 2014-11-13 Tencent Technology (Shenzhen) Company Limited Method and device for text message input
US9430186B2 (en) * 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US20160163331A1 (en) * 2014-12-04 2016-06-09 Kabushiki Kaisha Toshiba Electronic device and method for visualizing audio data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075534A (en) * 1998-03-26 2000-06-13 International Business Machines Corporation Multiple function graphical user interface minibar for speech recognition
JP2001166860A (ja) * 1999-12-07 2001-06-22 Canon Inc 情報処理装置、カーソル表示方法、及び記憶媒体
JP2002116792A (ja) * 2000-10-11 2002-04-19 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
JP2014203207A (ja) * 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2015059976A1 (ja) 2013-10-24 2015-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016103988A1 (ja) * 2014-12-26 2016-06-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3561653A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137607A1 (ja) * 2018-12-27 2020-07-02 ソニー株式会社 音声発話に基いてアイテムを選択する表示制御装置
US11941322B2 (en) 2018-12-27 2024-03-26 Saturn Licensing Llc Display control device for selecting item on basis of speech
KR20210022434A (ko) * 2019-08-20 2021-03-03 주식회사 포켓메모리 음성인식 방법 및 장치
KR102330496B1 (ko) 2019-08-20 2021-11-24 주식회사 포켓메모리 음성인식 방법 및 장치

Also Published As

Publication number Publication date
EP3561653A1 (en) 2019-10-30
EP3561653A4 (en) 2019-11-20
US11183189B2 (en) 2021-11-23
JPWO2018116556A1 (ja) 2019-10-31
US20200066269A1 (en) 2020-02-27
JP6969576B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
US8903176B2 (en) Systems and methods using observed emotional data
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20130325482A1 (en) Estimating congnitive-load in human-machine interaction
JP6841239B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6897677B2 (ja) 情報処理装置及び情報処理方法
JP6545716B2 (ja) 改善された音声認識を容易にする視覚的コンテンツの修正
Pandey et al. Acceptability of speech and silent speech input methods in private and public
KR20210137118A (ko) 대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억 네트워크를 위한 시스템 및 방법
JP6841232B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7405093B2 (ja) 情報処理装置および情報処理方法
JP6969576B2 (ja) 情報処理装置、および情報処理方法
CN113448433A (zh) 情绪响应型虚拟个人助理
KR20200059112A (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
JP7468360B2 (ja) 情報処理装置および情報処理方法
US20200234187A1 (en) Information processing apparatus, information processing method, and program
WO2018198447A1 (ja) 情報処理装置および情報処理方法
Goetze et al. Multimodal human-machine interaction for service robots in home-care environments
US11935449B2 (en) Information processing apparatus and information processing method
US20240038225A1 (en) Gestural prompting based on conversational artificial intelligence
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6897678B2 (ja) 情報処理装置及び情報処理方法
JP2021136547A (ja) 制御装置、制御方法、オペレーターの提示装置、オペレーターへの提示方法、ユーザーの提示装置、ユーザーへの提示方法、プログラム及び通信システム
JP2023032038A (ja) 制御装置、制御方法、提示装置、提示方法、プログラム及び通信システム
JP2022052816A (ja) 制御装置、制御方法、オペレーターの提示装置、オペレーターへの提示方法、ユーザーの提示装置、ユーザーへの提示方法、プログラム及び通信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884583

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018557542

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017884583

Country of ref document: EP

Effective date: 20190722