JP2020028046A - Information processing device and program - Google Patents
Information processing device and program Download PDFInfo
- Publication number
- JP2020028046A JP2020028046A JP2018152468A JP2018152468A JP2020028046A JP 2020028046 A JP2020028046 A JP 2020028046A JP 2018152468 A JP2018152468 A JP 2018152468A JP 2018152468 A JP2018152468 A JP 2018152468A JP 2020028046 A JP2020028046 A JP 2020028046A
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- sound
- information
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、情報処理装置、及びプログラムに関する。 The present invention relates to an information processing device and a program.
従来、視覚や聴覚等に障害があるユーザへ情報提示するための手法や装置の研究等が行われている。例えば、特許文献１には、触覚情報を含む感覚情報を個々のコンテンツに対応させてユーザに提示することにより、多種の感覚で情報を提供する（マルチモーダル）手法が提案されている。 2. Description of the Related Art Conventionally, research has been conducted on methods and devices for presenting information to a user having a visual or hearing impairment. For example, Patent Literature 1 proposes a method of providing information with various kinds of senses (multimodal) by presenting sensory information including tactile information to a user in association with individual contents.
一方、特許文献２には、利用者の感覚を定量的に分析し、利用者の感覚に応じた情報を特定するクロスモーダルデータを提示する技術も提案されている。 On the other hand, Patent Literature 2 proposes a technique of quantitatively analyzing a user's sense and presenting cross-modal data for specifying information according to the user's sense.
また、特許文献３には、放送波により提供される放送サービスと通信ネットワークを介して提供される通信サービスとを融合した放送通信連携サービスにおいて、視覚および聴覚以外の感覚の情報を、コンテンツに同期させて触覚情報として提供する技術が提案されている。 Patent Literature 3 discloses a broadcast / communication cooperative service that combines a broadcast service provided by a broadcast wave and a communication service provided via a communication network to synchronize information of sensation other than visual and auditory sense with content. There has been proposed a technique for providing the information as tactile information.
しかしながら、各ユーザの障害の程度に応じて複数の装置を適切に調整し、ユーザごとに最適な情報の提示が行えないという問題がある。そこで、本発明は、上述した問題点に鑑みなされたものであり、視覚または聴覚等に障害をもつユーザに適合するようにコンテンツを含む情報の提示を行うことができる技術を提供することを目的とする。 However, there is a problem that it is not possible to appropriately adjust a plurality of devices according to the degree of trouble of each user and to present optimal information for each user. Therefore, the present invention has been made in view of the above-described problems, and has as its object to provide a technology capable of presenting information including content so as to be adapted to a user having a visual or hearing impairment or the like. And
一つの態様では、入力されたコンテンツの画像及び音の少なくとも一方を、視覚または聴覚に障害をもつユーザに適合するように変換し、提示する情報処理装置が、前記ユーザを認識するユーザ認識部と、前記コンテンツに含まれる画像、及び音の少なくとも一方を取得する取得部と、前記ユーザ認識部により認識された前記ユーザの情報が登録されていない場合、前記ユーザの視覚特性、または聴覚特性を判定する判定部と、前記判定部により判定されたユーザ毎の視覚特性を示す情報、または聴覚特性を示す情報を含む感覚特性情報を記憶する記憶部と、前記ユーザ認識部により認識された前記ユーザに対する前記感覚特性情報に基づいて、前記取得部により取得された画像、及び音の少なくとも一方を前記ユーザに適合するように調整する調整部と、を有する。 In one aspect, at least one of the image and sound of the input content is converted so as to be suitable for a user who has visual or hearing impairment, and an information processing apparatus for presenting the user includes a user recognition unit that recognizes the user. An acquisition unit that acquires at least one of an image and a sound included in the content, and if the information of the user recognized by the user recognition unit is not registered, determine a visual characteristic or an auditory characteristic of the user. A storage unit that stores information indicating visual characteristics of each user determined by the determination unit, or sensory characteristic information including information indicating auditory characteristics, and a storage unit that stores information on the user recognized by the user recognition unit. Based on the sensory characteristic information, adjust at least one of the image and the sound acquired by the acquiring unit so as to be suitable for the user. That has an adjustment unit, the.
開示の技術によれば、ユーザにとってより適切な態様で情報提示を行うことができる。 According to the disclosed technology, it is possible to present information in a more appropriate manner for a user.
以下、図面を参照しながら本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜システム構成＞
図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、情報処理装置１０、テレビジョン受像機である出力装置２０−１、触覚提示装置である出力装置２０−２、・・・（以下で、それぞれを区別する必要がない場合は、単に「出力装置２０」と称する。）、及びコンテンツ提供装置３０を有する。
<System configuration>
FIG. 1 is a diagram illustrating a configuration example of an information processing system 1 according to the embodiment. In FIG. 1, an information processing system 1 includes an information processing apparatus 10, an output apparatus 20-1 as a television receiver, an output apparatus 20-2 as a tactile presentation apparatus,... In the case where there is no such information, it is simply referred to as “output device 20”.) And a content providing device 30.
コンテンツ提供装置３０は、例えば、放送波により提供される放送サービスと通信ネットワークを介して提供される通信サービスとを融合したサービスにおいて、視覚および聴覚を含むコンテンツの他に、視覚および聴覚以外の感覚の情報を、コンテンツに同期させて提供する。具体的には、放送局の放送装置およびインターネット等の通信網に接続されたサーバを用い、手話ＣＧ、触覚提示用のデータ、動画像、及び音声等を含むコンテンツを提供する装置である。コンテンツ提供装置３０は、例えば、テレビジョン放送、またはインターネット等の通信網４０を介して、視覚特性または聴覚特性に応じた信号調整処理を行うための情報処理装置１０または出力装置２０に、当該コンテンツデータを送信する。なお、触覚提示用のデータとは、例えば、触覚提示装置の駆動部を制御するための制御データでもよい。 For example, in a service in which a broadcast service provided by a broadcast wave and a communication service provided via a communication network are combined, the content providing apparatus 30 may provide a sensation other than visual and auditory in addition to content including visual and auditory. Is provided in synchronization with the content. Specifically, it is a device that provides contents including sign language CG, data for haptic presentation, moving images, audio, and the like using a broadcasting device of a broadcasting station and a server connected to a communication network such as the Internet. The content providing device 30 transmits the content to the information processing device 10 or the output device 20 for performing signal adjustment processing according to visual characteristics or auditory characteristics via a communication network 40 such as television broadcasting or the Internet. Send data. Note that the tactile presentation data may be, for example, control data for controlling a driving unit of the tactile presentation device.
出力装置２０は、例えば、テレビジョン受像機、ディスプレイ、スピーカー、タブレット（携帯）端末、触覚提示装置、字幕表示装置、手話ＣＧ提示装置等を含む出力装置であり、コンテンツ提供装置３０から送信されたコンテンツを情報処理装置１０による調整結果に基づいて出力する。触覚提示装置は、例えば、振動によりユーザに触覚を提示する装置でもよい。この場合、触覚提示装置は、スマートフォン等の振動装置を有する携帯端末でもよい。 The output device 20 is an output device including, for example, a television receiver, a display, a speaker, a tablet (portable) terminal, a tactile presentation device, a subtitle display device, a sign language CG presentation device, and the like. The content is output based on the adjustment result by the information processing device 10. The tactile presentation device may be, for example, a device that presents a tactile sense to a user by vibration. In this case, the tactile presentation device may be a mobile terminal having a vibration device such as a smartphone.
情報処理装置１０は、例えば、パーソナルコンピュータ等の情報処理装置である。情報処理装置１０は、コンテンツ提供装置３０から送信されたコンテンツを各ユーザの感覚の特性に応じて、信号を適切に調整して、テレビジョン受像機、ディスプレイ、スピーカー、タブレット端末、触覚提示装置、字幕表示装置、手話ＣＧ提示装置等を含む出力装置２０に出力させる。 The information processing device 10 is, for example, an information processing device such as a personal computer. The information processing device 10 appropriately adjusts a signal of the content transmitted from the content providing device 30 in accordance with the characteristics of each user's sensation, and outputs a television receiver, a display, a speaker, a tablet terminal, a tactile presentation device, An output device 20 including a caption display device, a sign language CG presentation device, and the like is output.
＜機能構成＞
図２は、実施形態に係る情報処理装置１０の機能構成を示す機能ブロック図である。次に、図２を参照し、実施形態に係る情報処理装置１０の機能構成について説明する。
<Functional configuration>
FIG. 2 is a functional block diagram illustrating a functional configuration of the information processing apparatus 10 according to the embodiment. Next, a functional configuration of the information processing apparatus 10 according to the embodiment will be described with reference to FIG.
情報処理装置１０は、記憶部１１、ユーザ認識部１２、視覚特性判定部１３、聴覚特性判定部１４、取得部１５、調整部１６、及び出力制御部１７を有する。 The information processing device 10 includes a storage unit 11, a user recognition unit 12, a visual characteristic determination unit 13, an auditory characteristic determination unit 14, an acquisition unit 15, an adjustment unit 16, and an output control unit 17.
記憶部１１は、ユーザ毎の視覚特性を示す情報、及び聴覚特性を示す情報を含む感覚特性情報１１１を記憶するものである。ユーザ認識部１２は、情報処理装置１０の各ユーザを、例えば、ユーザにより入力される認証番号や公知の顔認証等により認識（識別）するものである。 The storage unit 11 stores sensory characteristic information 111 including information indicating visual characteristics and information indicating auditory characteristics for each user. The user recognizing unit 12 recognizes (identifies) each user of the information processing apparatus 10 by, for example, an authentication number input by the user or a known face authentication.
ユーザ認識部１２は、手話ＣＧ表示手段を含み、ユーザが入力した認証番号または顔認証により認証できなかった場合には、ユーザに対し、第一言語が日本語または手話のいずれかを選択するよう画面にて提示する。そして、第一言語が日本語と入力された場合には、以後の案内を日本語で提示し、手話ＣＧと選択した場合には、後述する設定案内を手話ＣＧにて提示する。手話ＣＧの提示には、例えば、特開２０１５−２３０６４０号公報の技法により文脈に合った適切な顔表情のキャラクタにより手話ＣＧを提供してもよい。 The user recognizing unit 12 includes a sign language CG display unit, and when the user cannot be authenticated by the authentication number input by the user or the face authentication, selects the first language of Japanese or sign language for the user. Present on the screen. Then, when the first language is input as Japanese, the subsequent guidance is presented in Japanese, and when the sign language CG is selected, the setting guidance described later is presented in the sign language CG. For the presentation of the sign language CG, for example, the sign language CG may be provided by a character having an appropriate facial expression suitable for the context by the technique disclosed in JP-A-2015-230640.
視覚特性判定部１３は、ユーザ認識部１２により認識されたユーザの情報が、感覚特性情報１１１に登録されていない場合、ユーザの視覚特性を予め定めた判定基準に基づいて判定し、判定した視覚特性を示す情報を感覚特性情報１１１に登録する。聴覚特性判定部１４は、ユーザ認識部１２により認識されたユーザの情報が、感覚特性情報１１１に登録されていない場合、ユーザの聴覚特性を予め定めた判定基準に基づいて判定し、判定した聴覚特性を示す情報を感覚特性情報１１１に登録する。 When the user information recognized by the user recognizing unit 12 is not registered in the sensory characteristic information 111, the visual characteristic determining unit 13 determines the visual characteristics of the user based on a predetermined determination criterion, and determines the determined visual characteristics. Information indicating the characteristic is registered in the sensory characteristic information 111. When the information of the user recognized by the user recognizing unit 12 is not registered in the sensory characteristic information 111, the auditory characteristic determining unit 14 determines the user's auditory characteristic based on a predetermined determination criterion, and determines the determined auditory characteristic. Information indicating the characteristic is registered in the sensory characteristic information 111.
取得部１５は、コンテンツ提供装置３０から送信された静止画、及び動画を含む画像、音声、及び字幕等を含むコンテンツを取得する。 The acquisition unit 15 acquires a content including an image including a still image and a moving image, a sound, a caption, and the like transmitted from the content providing apparatus 30.
調整部１６は、ユーザ認識部１２にて認識されたユーザに対応付けて感覚特性情報１１１に登録されている情報に基づいて、取得部１５により取得された画像、及び音声等を調整する。なお、感覚特性情報１１１の詳細については後述する。 The adjustment unit 16 adjusts the image, sound, and the like acquired by the acquisition unit 15 based on the information registered in the sensory characteristic information 111 in association with the user recognized by the user recognition unit 12. The details of the sensory characteristic information 111 will be described later.
出力制御部１７は、ユーザ認識部１２にて認識されたユーザに対応付けて感覚特性情報１１１に登録されている情報に基づいて、テレビジョン受像機、ディスプレイ、スピーカー、タブレット端末、触覚提示装置、字幕表示装置、及び手話ＣＧ提示装置等の出力装置２０のうち、コンテンツを提示する１以上の出力装置２０を選択する。そして、出力制御部１７は、選択した出力装置２０に、調整部１６により調整されたコンテンツ、及び触覚提示装置用のデータを出力する。 The output control unit 17 is a television receiver, a display, a speaker, a tablet terminal, a tactile sensation presentation device, based on information registered in the sensory characteristic information 111 in association with the user recognized by the user recognition unit 12. Among output devices 20 such as a caption display device and a sign language CG presentation device, one or more output devices 20 for presenting content are selected. Then, the output control unit 17 outputs the content adjusted by the adjustment unit 16 and the data for the tactile sense presentation device to the selected output device 20.
＜処理＞
次に、図３を参照し、情報処理装置１０の処理について説明する。図３は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図４は、実施形態に係る感覚特性情報１１１の一例を示す図である。
<Process>
Next, the processing of the information processing apparatus 10 will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of a process of the information processing apparatus 10 according to the embodiment. FIG. 4 is a diagram illustrating an example of the sensory characteristic information 111 according to the embodiment.
ステップＳ１において、ユーザ認識部１２は、過去に登録された個々のユーザの感覚特性情報１１１を即座に利用できるようにユーザを認識する。ここで、ユーザ認識部１２は、例えば、カメラにより撮影されたユーザの画像に基づいて、公知の顔認識技術等を用いてユーザを認識してもよい。また、ユーザ認識部１２は、例えば、リモコン等におけるユーザを指定するためのボタン操作により、認証番号を入力することによりユーザの認識をしてもよい。 In step S1, the user recognizing unit 12 recognizes a user so that the sensory characteristic information 111 of each user registered in the past can be used immediately. Here, the user recognizing unit 12 may recognize the user using a known face recognition technique or the like based on the image of the user captured by the camera, for example. Further, the user recognition unit 12 may recognize a user by inputting an authentication number by operating a button on a remote controller or the like for specifying a user.
続いて、ステップＳ２において、ユーザ認識部１２は、当該ユーザに対する感覚特性の情報が感覚特性情報１１１に登録されているか否かを判定する。図４の例では、感覚特性情報１１１には、ユーザＩＤに対応付けて、視覚特性を示す情報、及び聴覚特性を示す情報が記憶されている。 Subsequently, in step S2, the user recognizing unit 12 determines whether or not information on sensory characteristics for the user is registered in the sensory characteristic information 111. In the example of FIG. 4, the sensory characteristic information 111 stores information indicating visual characteristics and information indicating auditory characteristics in association with the user ID.
当該ユーザに対する視覚や聴覚を含む感覚特性の情報が登録されている場合（ステップＳ２でＹＥＳ）、後述するステップＳ６の処理に進む。 If the information of the sensory characteristics including the sight and hearing for the user is registered (YES in step S2), the process proceeds to step S6 described below.
ステップＳ３において、当該ユーザに対する感覚特性の情報が登録されている場合（ステップＳ２でＮＯ）、視覚特性判定部１３は、当該ユーザの視覚特性を判定する。ステップＳ３については、後で詳述する。 In step S3, when the information of the sensory characteristics for the user is registered (NO in step S2), the visual characteristics determination unit 13 determines the visual characteristics of the user. Step S3 will be described later in detail.
続いて、ステップＳ４において、聴覚特性判定部１４は、当該ユーザの聴覚特性を判定する。 Subsequently, in step S4, the hearing characteristic determination unit 14 determines the hearing characteristics of the user.
続いて、ステップＳ５において、記憶部１１は、視覚特性判定部１３、及び聴覚特性判定部１４により判定された、視覚特性を示す情報、及び聴覚徳性を示す情報を、当該ユーザのユーザＩＤに対応付けて、感覚特性情報１１１に登録する。 Subsequently, in step S5, the storage unit 11 stores the information indicating the visual characteristic and the information indicating the auditory value determined by the visual characteristic determining unit 13 and the auditory characteristic determining unit 14 in correspondence with the user ID of the user. In addition, the information is registered in the sensory characteristic information 111.
続いて、ステップＳ６において、調整部１６は、感覚特性情報１１１に登録されている、視覚特性を示す情報に基づいて、取得部１５により取得された動画像、字幕、及び手話ＣＧ等の画像を調整する。続いて、ステップＳ７において、調整部１６は、感覚特性情報１１１に登録されている、聴覚特性を示す情報に基づいて、取得部１５により取得された音を調整する。 Subsequently, in step S6, the adjusting unit 16 converts the image such as the moving image, the caption, and the sign language CG acquired by the acquiring unit 15 based on the information indicating the visual characteristics registered in the sensory characteristic information 111. adjust. Subsequently, in step S7, the adjustment unit 16 adjusts the sound acquired by the acquisition unit 15 based on the information indicating the auditory characteristics registered in the sensory characteristic information 111.
続いて、ステップＳ８において、出力制御部１７は、調整部１６により調整された画像、及び音を出力装置２０に出力させる。ここで、出力制御部１７は、ユーザ認識部１２により認識されたユーザの視覚特性、及び聴覚特性を示す情報に基づいて、出力装置２０−１、２０−２、・・・のうち、コンテンツを出力させる１以上の出力装置２０を選択し、選択した出力装置２０にコンテンツを出力してもよい。この場合、出力制御部１７は、聴覚に障がいのあるユーザに対しては、例えば、ユーザからの設定に応じて、字幕を字幕表示装置に表示させる、または手話ＣＧ（Computer Graphics）を手話ＣＧ提示装置に表示させてもよい。また、出力制御部１７は、視覚に障がいのあるユーザに対しては、例えば、周知の触覚提示装置等を用いて、点字等をユーザに伝達してもよい。 Subsequently, in step S8, the output control unit 17 causes the output device 20 to output the image and the sound adjusted by the adjustment unit 16. Here, the output control unit 17 outputs the content of the output devices 20-1, 20-2,... Based on the information indicating the visual characteristics and the auditory characteristics of the user recognized by the user recognition unit 12. One or more output devices 20 to be output may be selected, and the content may be output to the selected output device 20. In this case, the output control unit 17 displays subtitles on a subtitle display device or presents a sign language CG (Computer Graphics) to a user with hearing impairment, for example, according to a setting from the user. The information may be displayed on a device. In addition, the output control unit 17 may transmit Braille or the like to a user having visual impairment using, for example, a well-known tactile presentation device.
≪視覚特性の判定処理≫
次に、図３のステップＳ３の、視覚特性判定部１３によるユーザの視覚特性を判定する処理について説明する。
≪ Judgment processing of visual characteristics ≫
Next, the process of determining the visual characteristics of the user by the visual characteristics determination unit 13 in step S3 of FIG. 3 will be described.
視覚特性判定部１３は、盲、弱視、近視、及び色覚異常を検査するための検査画像を出力装置２０に表示させ、ユーザからのリモコン等の操作により、当該検査画像に対する回答を取得する。視覚特性判定部１３は、例えば、予め定めた調整法を用いて、ユーザの視覚特性を判定してもよい。この場合、視覚特性判定部１３は、検査画像に対するユーザの回答に基づいて、予め用意した表示用の検査画像を順次に決定し、当該検査画像を出力装置２０に表示させる、そして、視覚特性判定部１３は、ユーザからの音声やリモコン等の操作により、検査画像に対する回答を取得する処理を、繰り返してもよい。なお、検査画像は、例えば、文字の大きさや色、背景色と文字色の組み合わせ等が異なる画像でもよい。 The visual characteristic determination unit 13 causes the output device 20 to display an inspection image for inspecting blindness, amblyopia, myopia, and color vision abnormality, and acquires a response to the inspection image by a user's operation of a remote controller or the like. The visual characteristic determination unit 13 may determine the visual characteristics of the user using, for example, a predetermined adjustment method. In this case, the visual characteristic determination unit 13 sequentially determines a prepared inspection image for display based on the user's response to the inspection image, and causes the output device 20 to display the inspection image. The unit 13 may repeat the process of acquiring a response to the inspection image by a user's voice or operation of a remote controller or the like. The inspection image may be, for example, an image in which the size and color of the character, the combination of the background color and the character color, and the like are different.
図５は、実施形態に係る検査画像の一例について説明する図である。図５は、色覚異常を検査するための検査画像であり、それぞれ色の濃さが異なる複数の赤色の円により構成するものである。ここで、数字の「６」の領域５０１と、それぞれ色の濃さが異なる複数の茶色の円により構成される背景の領域５０２とを有する画像である。視覚特性判定部１３は、図５の検査画像、及び「何の数字が見えますか？」等の質問文を出力装置２０に表示する。そして、ユーザから音声やリモコン操作等により「６」が入力された場合は、当該ユーザが赤と茶とを区別して認識できると判定する。なお、視覚特性判定部１３は、近視、及び弱視を検査する場合、検査画像のサイズを徐々に大きくして表示させ、ユーザからの回答が正解となった際の当該検査画像における文字のサイズを、ユーザが認識できる文字のサイズであると判定してもよい。この場合、視覚特性判定部１３は、例えば、図５の検査画像に対して正解である「６」が入力されなかった場合、当該検査画像の表示サイズを一定程度（例えば、１０％）ずつ大きくして表示させ、正解である「６」が入力された際の「６」の大きさを、ユーザが認識できる文字のサイズであると判定する。 FIG. 5 is a diagram illustrating an example of an inspection image according to the embodiment. FIG. 5 shows an inspection image for inspecting color vision abnormality, which is constituted by a plurality of red circles having different color intensities. Here, the image has an area 501 with a number “6” and a background area 502 formed by a plurality of brown circles having different color densities. The visual characteristic determination unit 13 displays the inspection image of FIG. 5 and a question sentence such as “What number do you see?” On the output device 20. Then, when “6” is input from the user by voice, remote control operation, or the like, it is determined that the user can recognize red and brown separately. Note that, when inspecting for myopia and amblyopia, the visual characteristic determination unit 13 gradually increases the size of the inspection image and causes the image to be displayed. Alternatively, it may be determined that the size of the character can be recognized by the user. In this case, for example, when the correct answer “6” is not input for the inspection image in FIG. 5, the visual characteristic determination unit 13 increases the display size of the inspection image by a certain amount (for example, 10%). The size of “6” when the correct answer “6” is input is determined to be a character size that can be recognized by the user.
図６は、実施形態に係る、所定のユーザに対する色覚に関する視覚特性を示す情報の一例について説明する図である。図６の例は、所定のユーザの視覚特性の一例を示す情報であり、当該所定のユーザが識別可能な色の組み合わせの情報を含むものである。図６の例では、当該所定のユーザが、色Ａ（例えば、赤）と色１（例えば、茶色）とを識別できることが○で示されている。また、当該所定のユーザが、色Ｃ（例えば、オレンジ色）と色１とを識別できないことが×で示されている。 FIG. 6 is a diagram illustrating an example of information indicating visual characteristics related to color vision for a predetermined user according to the embodiment. The example in FIG. 6 is information indicating an example of a visual characteristic of a predetermined user, and includes information on a combination of colors that can be identified by the predetermined user. In the example of FIG. 6, a circle indicates that the predetermined user can distinguish between the color A (for example, red) and the color 1 (for example, brown). Further, x indicates that the predetermined user cannot distinguish between the color C (for example, orange) and the color 1.
≪視覚特性に応じた調整処理≫
図７は、実施形態に係る視覚特性に応じた調整処理の一例を示すフローチャートである。図８は、実施形態に係る視覚特性に応じた調整処理の一例について説明する図である。
調整 Adjustment processing according to visual characteristics≫
FIG. 7 is a flowchart illustrating an example of the adjustment processing according to the visual characteristics according to the embodiment. FIG. 8 is a diagram illustrating an example of an adjustment process according to the visual characteristics according to the embodiment.
図７、及び図８を参照し、図３のステップＳ６の、調整部１６による感覚特性情報１１１に登録されている視覚特性を示す情報に基づいて、画像を調整する処理について説明する。 The process of adjusting the image based on the information indicating the visual characteristics registered in the sensory characteristic information 111 by the adjustment unit 16 in step S6 in FIG. 3 will be described with reference to FIGS. 7 and 8.
ステップＳ１０１において、調整部１６は、取得部１５により取得された画像における所定の種別のオブジェクトを検出する。ここで、調整部１６は、例えば、周知の動き検出処理等により、当該画像における文字（情景文字）、及び背景に対して動く物体を検出してもよい。情景文字の検出には、例えば、特開２０１７−２１１９７６に開示される画像処理装置を用いることができる。調整部１６は、文字として、例えば、当該画像中の字幕（テロップ）の文字、及び当該画像中の被写体である看板等における文字等を検出する。また、調整部１６は、背景に対して動く物体として、例えば、スポーツ競技の映像におけるボール等を検出する。 In step S101, the adjusting unit 16 detects a predetermined type of object in the image acquired by the acquiring unit 15. Here, the adjustment unit 16 may detect a character (scene character) in the image and an object that moves with respect to the background, for example, by a known motion detection process. For the detection of scene characters, for example, an image processing device disclosed in JP-A-2017-211976 can be used. The adjustment unit 16 detects, for example, characters of a caption (telop) in the image, characters on a signboard or the like as a subject in the image, and the like. In addition, the adjustment unit 16 detects, for example, a ball or the like in a video image of a sports game as an object that moves with respect to the background.
なお、ステップＳ１０１において、調整部１６が所定の種別のオブジェクトが複数検出された場合は、以下の処理において、検出された各オブジェクトに対してそれぞれ実行されてもよい。 In the case where the adjustment unit 16 detects a plurality of objects of the predetermined type in step S101, the adjustment may be performed on each of the detected objects in the following processing.
続いて、ステップＳ１０２において、調整部１６は、図６の色覚に関する視覚特性を示す情報を参照し、所定のユーザが、当該オブジェクトの色と、当該オブジェクトの背景の色とを識別できるか否かを判定する。 Subsequently, in step S102, the adjustment unit 16 refers to the information indicating the visual characteristics related to color vision in FIG. 6 and determines whether or not a predetermined user can identify the color of the object and the color of the background of the object. Is determined.
所定のユーザが、当該オブジェクトの色と、当該オブジェクトの背景の色とを識別できる場合（ステップＳ１０２でＹＥＳ）、処理を終了する。 If the predetermined user can identify the color of the object and the color of the background of the object (YES in step S102), the process ends.
所定のユーザが、当該オブジェクトの色と、当該オブジェクトの背景の色とを識別できない場合（ステップＳ１０２でＮＯ）、ステップＳ１０３において、調整部１６は、当該オブジェクトの色と、当該オブジェクトの背景の色との少なくとも一方の色を変更し、処理を終了する。ここで、調整部１６は、例えば、図６の色覚に関する視覚特性を示す情報において、背景の色に対して、当該所定のユーザが識別可能な色のうち、当該オブジェクトの色に近い色を決定する。そして、調整部１６は、テロップの文字の色を、決定した色に変換した画像のデータを生成する。これにより、当該所定のユーザに対して、背景の印象を変更せずに、当該文字を認識させることができる。 If the predetermined user cannot distinguish the color of the object from the color of the background of the object (NO in step S102), in step S103, the adjustment unit 16 determines the color of the object and the color of the background of the object. Is changed, and the process is terminated. Here, the adjustment unit 16 determines, for example, in the information indicating the visual characteristics related to the color vision of FIG. I do. Then, the adjusting unit 16 generates image data in which the color of the text of the telop is converted into the determined color. This allows the predetermined user to recognize the character without changing the background impression.
例えば、テロップの背景の色が「薄い青」であり、テロップの文字が「薄い緑」であり、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが、「薄い青」と「薄い緑」とを識別できないことが記憶されている場合であるとする。この場合、調整部１６は、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが、背景の色である「薄い青」に対して識別可能な色のうち、テロップの文字の色である「薄い緑」に近い色を決定する。この場合、調整部１６は、例えば、図８に示すように、国際照明委員会（ＣＩＥ; Commission Internationale de l'Eclairage）が定める表色系であるｘｙ色度図等において、当該所定のユーザがテロップの文字の色である「薄い緑」に対して識別可能な色のうち、当該「薄い緑」に最も近い色を決定してもよい。 For example, the background color of the telop is “light blue”, the character of the telop is “light green”, and in the information indicating the visual characteristics related to the color vision of FIG. It is assumed that it is stored that “light green” cannot be identified. In this case, in the information indicating the visual characteristics related to the color vision in FIG. 6, the adjustment unit 16 determines the color of the text of the telop among the colors that can be identified by the predetermined user with respect to the background color “light blue”. Is determined to be a color close to “light green”. In this case, for example, as illustrated in FIG. 8, the adjustment unit 16 determines that the predetermined user is an xy chromaticity diagram or the like that is a color system defined by the Commission Internationale de l'Eclairage (CIE). The color closest to the “light green” may be determined from the colors that can be distinguished from the “light green” which is the color of the text of the telop.
例えば、図６の色覚に関する視覚特性を示す情報において、図８のｘｙ色度図で示される「薄い青」８０１に対して当該所定のユーザが識別可能な色として、図８のｘｙ色度図で示される「緑」８０２、「黄色」８０３、「紫」８０４等が記憶されているものとする。この場合、調整部１６は、テロップの文字である「薄い緑」８０５から、「緑」８０２、「黄色」８０３、及び「紫」８０４等までの図８のｘｙ色度図上の距離８１１乃至距離８１３等をそれぞれ算出する。そして、調整部１６は、「緑」８０２、「黄色」８０３、及び「紫」８０４等のうち、テロップの文字である「薄い緑」８０５から図８のｘｙ色度図上で最も距離が近い「緑」８０２を、背景の色に対して識別可能な色のうち当該オブジェクトの色に近い色として決定する。そして、調整部１６は、取得部１５により取得された画像におけるテロップの文字の内部（内側）の領域を「薄い緑」から「緑」に変換した画像のデータを生成する。 For example, in the information indicating the visual characteristics related to the color vision of FIG. 6, the “xy blue” 801 shown in the xy chromaticity diagram of FIG. "Green" 802, "yellow" 803, "purple" 804, etc. are stored. In this case, the adjustment unit 16 determines the distances 811 to 811 on the xy chromaticity diagram in FIG. 8 from the characters “light green” 805 of the telop to “green” 802, “yellow” 803, “purple” 804, and the like. The distance 813 and the like are calculated respectively. Then, the adjustment unit 16 has the closest distance on the xy chromaticity diagram in FIG. 8 from the “light green” 805, which is the character of the telop, among “green” 802, “yellow” 803, “purple” 804, and the like. “Green” 802 is determined as a color that is close to the color of the object among colors that can be distinguished from the background color. Then, the adjustment unit 16 generates image data in which the area inside (inside) the character of the telop in the image acquired by the acquisition unit 15 is converted from “light green” to “green”.
また、例えば、スポーツ中継の映像において、ボールの背景の色が、「明るい茶色」であり、当該ボールの色が、「暗い茶色」であり、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが、「明るい茶色」と「暗い茶色」とを識別できないことが記憶されている場合であるとする。この場合、調整部１６は、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが背景の色である「明るい茶色」に対して識別可能な色のうち、当該ボールの色である「暗い茶色」に近い色を決定する。そして、調整部１６は、当該ボールの色を、決定した色に変換した画像のデータを生成する。これにより、当該所定のユーザに対して、背景の印象を変更せずに、当該ボールを認識させることができる。 Also, for example, in the video of a sports broadcast, the background color of the ball is “light brown”, the color of the ball is “dark brown”, and in the information indicating the visual characteristics related to color vision in FIG. It is assumed that it is stored that a predetermined user cannot distinguish between “light brown” and “dark brown”. In this case, the adjustment unit 16 determines the color of the ball among the colors that the predetermined user can identify from the background color “bright brown” in the information indicating the visual characteristics related to the color vision of FIG. Determine a color close to "dark brown". Then, the adjusting unit 16 generates image data in which the color of the ball is converted into the determined color. This allows the predetermined user to recognize the ball without changing the background impression.
≪聴覚特性の判定処理≫
次に、図３のステップＳ４の、聴覚特性判定部１４によるユーザの聴覚特性を判定する処理について説明する。
判定 Judgment processing of auditory characteristics ≫
Next, the process of determining the user's hearing characteristics by the hearing characteristics determination unit 14 in step S4 of FIG. 3 will be described.
聴覚特性判定部１４は、聴覚を検査するための検査音を出力装置２０に出力させ、ユーザからのリモコン等の操作により、当該検査音に対する回答を取得する。聴覚特性判定部１４は、例えば、複数の周波数の音について、それぞれ、音の音量を徐々に大きくし、ユーザが所定の操作を行った際の音量を、当該ユーザが当該音の周波数において認識できる（聞き取れる）音量であると判定する。 The hearing characteristic determination unit 14 causes the output device 20 to output a test sound for testing the hearing, and obtains an answer to the test sound by a user operation of a remote controller or the like. For example, the auditory characteristic determination unit 14 gradually increases the sound volume of each of the sounds having a plurality of frequencies, and the user can recognize the sound volume when the user performs a predetermined operation at the frequency of the sound. It is determined that the volume is (audible).
図９は、実施形態に係る、所定のユーザに対する周波数に関する聴覚特性を示す情報の一例について説明する図である。図９の例では、所定のユーザが、周波数が１００Ｈｚの音は１０ｄＢ以上で認識できることが示されている。また、当該所定のユーザが、周波数が１ｋＨｚの音は２０ｄＢ以上で認識できること等が示されている。 FIG. 9 is a diagram illustrating an example of information indicating an auditory characteristic regarding a frequency for a predetermined user according to the embodiment. The example of FIG. 9 shows that a predetermined user can recognize a sound having a frequency of 100 Hz at 10 dB or more. It also shows that the predetermined user can recognize a sound with a frequency of 1 kHz at 20 dB or more.
また、聴覚特性判定部１４は、例えば、所定の音量（例えば、６０ｄＢ）で所定の語句が発話された音声における背景の背景音の音量を徐々に大きくし、ユーザが当該所定の語句を聞き取れなくなった際の背景音の音量を、当該ユーザが発話を聞き取れなくなる背景音の音量であると判定する。なお、背景音とは、例えば、人の発話による音声以外の音のことである。 In addition, the auditory characteristic determination unit 14 gradually increases the volume of the background sound of the background in the voice in which the predetermined phrase is uttered at a predetermined volume (for example, 60 dB), so that the user cannot hear the predetermined phrase. It is determined that the volume of the background sound at that time is the volume of the background sound at which the user cannot hear the utterance. The background sound is, for example, a sound other than a voice generated by a human utterance.
この場合、聴覚特性判定部１４は、例えば、背景音の音量が４２ｄＢの際にリモコン等によりユーザから所定の操作を受け付けた場合、当該ユーザが、所定の音量の音声を、背景音（騒音）が４２ｄＢ未満の場合は聞き取れ、４２ｄＢ以上の場合は聞き取れないと判定する。そして、聴覚特性判定部１４は、感覚特性情報１１１の聴覚特性を示す情報に、所定の操作を受け付けた際の、背景音の音量である４２ｄＢを、ユーザが発話を聞き取れなくなる背景音の音量として記憶しておく。 In this case, for example, when a predetermined operation is received from a user by a remote controller or the like when the volume of the background sound is 42 dB, the auditory characteristic determination unit 14 outputs the sound of the predetermined volume to the background sound (noise). Is less than 42 dB, it is determined that the sound cannot be heard. Then, the auditory characteristic determining unit 14 sets the information indicating the auditory characteristic of the sensory characteristic information 111 to 42 dB, which is the volume of the background sound when a predetermined operation is received, as the volume of the background sound at which the user cannot hear the utterance. Remember.
なお、聴覚特性判定部１４は、予め定めた調整法を用いて、ユーザの聴覚特性を判定してもよい。この場合、聴覚特性判定部１４は、検査音に対するユーザの回答に基づいて、次に表示させる検査音を決定し、当該検査音を出力装置２０に出力させ、ユーザからのリモコン等の操作により、検査音に対する回答を取得する処理を繰り返してもよい。例えば、一の周波数において、小さい音量から検査し、「聞こえない」旨の回答をユーザから受け付けると、同じ周波数で少し音量を上げて検査し、「聞こえる」旨の回答をユーザから受け付けると、次の周波数に対する検査を行うようにしてもよい。 Note that the auditory characteristic determining unit 14 may determine the user's auditory characteristics using a predetermined adjustment method. In this case, the auditory characteristic determination unit 14 determines the test sound to be displayed next based on the user's answer to the test sound, causes the output device 20 to output the test sound, and operates the remote control or the like from the user. The process of acquiring the answer to the test sound may be repeated. For example, at one frequency, when checking from a low volume and receiving an answer of "inaudible" from the user, when slightly increasing the volume at the same frequency and checking, and receiving an answer of "audible" from the user, The inspection may be performed for the frequency of.
≪聴覚特性に応じた調整処理≫
次に、図１０乃至図１１を参照し、図３のステップＳ７の、調整部１６による感覚特性情報１１１に登録されている聴覚特性を示す情報に基づいて、画像を調整する処理について説明する。図１０は、実施形態に係る聴覚特性に応じた調整処理の一例を示すフローチャートである。図１１は、実施形態に係る、所定のユーザに対する周波数に関する聴覚特性を示す情報の一例について説明する図である。図１２は、実施形態に係る聴覚特性に応じた調整処理の一例について説明する図である。
調整 Adjustment processing according to hearing characteristics≫
Next, with reference to FIGS. 10 and 11, the process of adjusting the image based on the information indicating the auditory characteristics registered in the sensory characteristic information 111 by the adjustment unit 16 in step S7 in FIG. 3 will be described. FIG. 10 is a flowchart illustrating an example of an adjustment process according to the auditory characteristics according to the embodiment. FIG. 11 is a diagram illustrating an example of information indicating an auditory characteristic regarding a frequency for a predetermined user according to the embodiment. FIG. 12 is a diagram illustrating an example of an adjustment process according to the auditory characteristics according to the embodiment.
ステップＳ２０１において、調整部１６は、感覚特性情報１１１の聴覚特性を示す情報に記憶されている、図９の周波数に関する聴覚特性を示す情報に基づいて、取得部１５により取得された音における各周波数の音量を調整する。これにより、例えば、所定の周波数帯域が聞こえ難いユーザに対して、当該所定の周波数帯域の音量を大きくして出力装置２０に出力させることができる。 In step S201, the adjustment unit 16 determines each frequency in the sound acquired by the acquisition unit 15 based on the information indicating the auditory characteristics related to the frequency in FIG. 9 stored in the information indicating the auditory characteristics of the sensory characteristic information 111. Adjust the volume of. Thereby, for example, for a user who is difficult to hear the predetermined frequency band, the volume of the predetermined frequency band can be increased and output to the output device 20.
ここで、調整部１６は、例えば、取得部１５により取得された音の各周波数の音量を、図９の周波数に関する聴覚特性を示す情報に基づいて、各周波数の音に対してユーザが認識できる音量以上に調整する。図１１の例では、図９の周波数に関する聴覚特性を示す情報に含まれる各周波数に対するユーザが認識できる音量が、横軸を音の各周波数の対数とし、縦軸をユーザが認識できる音量とした座標系における点１１０１乃至点１１０４として示されている。また、図１１の例では、調整部１６により算出された、点１１０１乃至点１１０４を通る滑らかな曲線（スプライン曲線）１１１０が示されている。 Here, the adjustment unit 16 can, for example, allow the user to recognize the volume of each frequency of the sound acquired by the acquisition unit 15 based on the information indicating the auditory characteristics related to the frequency in FIG. 9. Adjust the volume to a higher level. In the example of FIG. 11, the volume that can be recognized by the user for each frequency included in the information indicating the auditory characteristics related to the frequency in FIG. 9 is such that the horizontal axis is the logarithm of each frequency of the sound and the vertical axis is the volume that the user can recognize. Points 1101 to 1104 in the coordinate system are shown. In the example of FIG. 11, a smooth curve (spline curve) 1110 passing through the points 1101 to 1104 calculated by the adjustment unit 16 is shown.
調整部１６は、図１２の曲線１２０１に示すように、図１１の曲線１１１０において、縦軸の値が所定値（例えば、２０ｄＢ）以下となる周波数に対する倍率を１とする。また、図１１の曲線１１１０において、縦軸の値が当該所定値を超える周波数に対する倍率を、曲線１１１０の縦軸の値を、当該所定値で除算した値とする。図１１及び図１２に示すように、例えば、１０ｋＨｚの周波数に対する曲線１１１０の縦軸の値が４０ｄＢの場合、１０ｋＨｚの周波数に対する倍率は２（＝４０ｄＢ／２０ｄＢ）となる。 As indicated by a curve 1201 in FIG. 12, the adjustment unit 16 sets a magnification to 1 for a frequency at which the value on the vertical axis is equal to or less than a predetermined value (for example, 20 dB) in the curve 1110 in FIG. Further, in the curve 1110 in FIG. 11, the magnification for the frequency whose value on the vertical axis exceeds the predetermined value is a value obtained by dividing the value on the vertical axis of the curve 1110 by the predetermined value. As shown in FIGS. 11 and 12, for example, when the value of the vertical axis of the curve 1110 for the frequency of 10 kHz is 40 dB, the magnification for the frequency of 10 kHz is 2 (= 40 dB / 20 dB).
次に、調整部１６は、例えば、取得部１５により取得された音の各周波数に対する音量を算出する。そして、調整部１６は、例えば、一の周波数に対する音量が、所定の閾値（例えば、２０ｄＢ）以上であり、当該一の周波数に対する曲線１０１０上の音量より小さい場合、図１２に示す曲線１２０１に基づいて、当該一の周波数に対する音量を、当該一の周波数に対する曲線１０１０上の音量以上に変更する。この場合、調整部１６は、例えば、取得部１５により取得された音の１０ｋＨｚの周波数に対する音量が２０ｄＢである場合、当該音量に、図１２に示す曲線１２０１の１０ｋＨｚの周波数に対する倍率である「２」を乗算し、４０ｄＢに変更する。また、調整部１６は、例えば、取得部１５により取得された音の１０ｋＨｚの周波数に対する音量が３０ｄＢである場合、当該音量を、同様に２倍に変更し、６０ｄＢに変更する。これにより、例えば、所定の周波数帯域が聞こえ難いユーザに対して、テレビ等の音声を、通常のユーザが感じる音量と同様の音量で感じられるようにすることができる。 Next, the adjustment unit 16 calculates, for example, the volume of each frequency of the sound acquired by the acquisition unit 15 for each frequency. Then, for example, when the volume for one frequency is equal to or more than a predetermined threshold (for example, 20 dB) and smaller than the volume on the curve 1010 for the one frequency, the adjustment unit 16 determines based on the curve 1201 shown in FIG. Then, the volume for the one frequency is changed to be equal to or higher than the volume on the curve 1010 for the one frequency. In this case, for example, when the volume of the sound acquired by the acquisition unit 15 with respect to the frequency of 10 kHz is 20 dB, the adjustment unit 16 determines that the volume is the magnification with respect to the frequency of 10 kHz of the curve 1201 shown in FIG. ”And change it to 40 dB. Further, for example, when the volume of the sound acquired by the acquisition unit 15 with respect to the frequency of 10 kHz is 30 dB, the adjustment unit 16 similarly doubles the volume and changes the volume to 60 dB. Thereby, for example, it is possible to allow a user who has difficulty in hearing a predetermined frequency band to feel the sound of a television or the like at the same volume as that of a normal user.
続いて、ステップＳ２０２において、調整部１６は、感覚特性情報１１１の聴覚特性を示す情報に記憶されている、ユーザが発話を聞き取れなくなる背景音の音量に基づいて、取得部１５により取得された音における、背景音の音量、及び音声の音量の少なくとも一方を調整する。これにより、例えば、背景音と人の音声とを判別し難いユーザに対して、背景音の音量を小さくして、または人の音声の音量を大きくして出力装置２０に出力させることができる。ここで、調整部１６は、例えば、取得部１５により取得された音に含まれる背景音の音量を、ユーザが所定の音量の音声を認識できない背景音の音量未満に調整する。 Subsequently, in step S202, the adjustment unit 16 determines the sound acquired by the acquisition unit 15 based on the volume of the background sound that prevents the user from hearing the utterance stored in the information indicating the auditory characteristics of the sensory characteristic information 111. , At least one of the volume of the background sound and the volume of the voice is adjusted. Accordingly, for example, for a user who has difficulty in distinguishing the background sound from the human voice, the output device 20 can output the volume of the background sound low or the volume of the human voice high. Here, the adjustment unit 16 adjusts, for example, the volume of the background sound included in the sound acquired by the acquisition unit 15 to be lower than the volume of the background sound in which the user cannot recognize the sound of the predetermined volume.
まず、調整部１６は、取得部１５により取得された音における音声の音量を算出する。この場合、調整部１６は、例えば、番組の音声信号と背景音信号とが混合された信号から背景音信号の大きさを調整する特許第６３１３６１９号公報における音声処理装置などを用いて当該音に含まれる音声を抽出し、抽出した音声の音量を判定してもよいし、当該音に含まれる人間音声の特徴量を算出し、音声を検出してもよい。 First, the adjusting unit 16 calculates the sound volume of the sound acquired by the acquiring unit 15. In this case, the adjusting unit 16 adjusts the sound using, for example, an audio processing device in Japanese Patent No. 6313619 that adjusts the size of the background sound signal from a signal in which the audio signal of the program and the background sound signal are mixed. The included voice may be extracted and the volume of the extracted voice may be determined, or the feature amount of the human voice included in the voice may be calculated to detect the voice.
そして、調整部１６は、取得部１５により取得された音における音声の音量が所定の音量（例えば、６０ｄＢ）以上であり、かつ、当該音における背景音が、感覚特性情報１１１の聴覚特性を示す情報に記憶されている、ユーザが発話を聞き取れなくなる背景音の音量以上である場合、当該音における背景音を、ユーザが発話を聞き取れなくなる背景音の音量未満に変更する。この場合、調整部１６は、例えば、ＡＩ等を用いて当該音に含まれる音声と、背景音とを分離し、当該背景音を、ユーザが発話を聞き取れなくなる背景音の音量未満に変更してもよい。または、調整部１６は、例えば、当該音に含まれる人間の声の周波数帯域以外の周波数の音量を、ユーザが発話を聞き取れなくなる背景音の音量未満に変更してもよい。 Then, the adjustment unit 16 determines that the sound volume of the sound acquired by the acquisition unit 15 is equal to or higher than a predetermined volume (for example, 60 dB), and the background sound of the sound indicates the auditory characteristics of the sensory characteristic information 111. If the volume of the background sound stored in the information is higher than the volume of the background sound at which the user cannot hear the utterance, the background sound of the sound is changed to be lower than the volume of the background sound at which the user cannot hear the utterance. In this case, the adjusting unit 16 separates the sound included in the sound from the background sound using, for example, an AI, and changes the background sound to a volume lower than the background sound at which the user cannot hear the utterance. Is also good. Alternatively, the adjustment unit 16 may change, for example, the volume of a frequency other than the frequency band of the human voice included in the sound to be lower than the volume of the background sound that prevents the user from hearing the utterance.
≪触覚特性の判定処理≫
触覚情報は、触覚提示装置２０−２により番組コンテンツ（放送番組）と連動して提示されるため、聴覚特性判定部１４が、聴覚を検査するための検査音を出力装置２０に出力させると同時に、触覚提示装置２０−２にも触覚情報をユーザに提示し、ユーザからのリモコン等の操作により、当該触覚情報に対する回答を取得する。触覚特性判定部（図示せず）は、例えば、ピンディスプレイのピンの出具合（高さ）を徐々に大きくし、ユーザが所定の操作を行った際の出具合（高さ）を、当該ユーザがピンが出たと認識可能な高さと判定し、感覚特性情報１１１の当該ユーザに対応付けられた触覚特性を示す情報に記憶する。
判定 Judgment processing of tactile characteristics ≫
Since the tactile information is presented in conjunction with the program content (broadcast program) by the tactile presentation device 20-2, the auditory characteristic determination unit 14 causes the output device 20 to output an inspection sound for inspecting hearing to the output device 20 at the same time. Also, the tactile information is presented to the user also to the tactile presentation device 20-2, and the response to the tactile information is acquired by the operation of the remote control or the like from the user. The tactile characteristic determination unit (not shown), for example, gradually increases the output level (height) of the pins of the pin display, and determines the output level (height) when the user performs a predetermined operation. Is determined to be a height at which a pin can be recognized, and stored in the sensory characteristic information 111 as information indicating a tactile characteristic associated with the user.
＜情報処理装置のハードウェア構成＞
上述した情報処理装置１０の各部は、情報処理装置１０にインストールした１以上のプログラムが、情報処理装置１０のＣＰＵに実行させることより実現することができる。
<Hardware configuration of information processing device>
Each unit of the information processing apparatus 10 described above can be realized by causing the CPU of the information processing apparatus 10 to execute one or more programs installed in the information processing apparatus 10.
情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等の揮発性の記憶媒体、ＲＯＭ（Read Only Memory）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像、データを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成することができる。 The information processing apparatus 10 includes, for example, a volatile storage medium such as a CPU (Central Processing Unit) and a RAM (Random Access Memory), a nonvolatile storage medium such as a ROM (Read Only Memory), a mouse, a keyboard, a pointing device, and the like. , A display unit that displays images and data, and a computer having an interface for communicating with the outside.
したがって、情報処理装置１０が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。 Therefore, each function of the information processing apparatus 10 can be realized by causing the CPU to execute a program describing these functions. In addition, these programs can be stored in a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, and distributed.
＜変形例＞
情報処理装置１０の各機能部は、例えば複数のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１０、及び出力装置２０を、例えば、同一の筐体内に収容し、一体の装置として構成してもよい。
<Modification>
Each functional unit of the information processing apparatus 10 may be realized by, for example, cloud computing including a plurality of computers. Further, the information processing device 10 and the output device 20 may be housed in, for example, the same housing and configured as an integrated device.
情報処理装置１０の各機能部における処理の少なくとも一部を、出力装置２０にて実行させるようにしてもよい。この場合、例えば、調整部１６を、出力装置２０に設けた構成としてもよい。この場合、情報処理装置１０の出力制御部１７は、例えば、視覚特性判定部１３、及び聴覚特性判定部１４により判定した情報を、出力装置２０にコマンドとして送信し、出力装置２０の調整部１６が、受信した情報に基づいて、画像、及び音を調整するようにしてもよい。 At least a part of the processing in each functional unit of the information processing device 10 may be executed by the output device 20. In this case, for example, the adjustment unit 16 may be provided in the output device 20. In this case, the output control unit 17 of the information processing device 10 transmits, for example, the information determined by the visual characteristic determination unit 13 and the auditory characteristic determination unit 14 to the output device 20 as a command, and outputs the information to the adjustment unit 16 of the output device 20. However, the image and the sound may be adjusted based on the received information.
なお、視覚特性判定部１３、及び聴覚特性判定部１４は、「判定部」の一例である。 Note that the visual characteristic determination unit 13 and the auditory characteristic determination unit 14 are examples of a “determination unit”.
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。 Although the preferred embodiment of the present invention has been described in detail, the present invention is not limited to the specific embodiment, and various modifications and changes can be made within the scope of the present invention described in the appended claims. Changes are possible. Moreover, it is also possible to combine some or all of the embodiments described above.
１ 情報処理システム
１０ 情報処理装置
１１ 記憶部
１１１ 感覚特性情報
１２ ユーザ認識部
１３ 視覚特性判定部
１４ 聴覚特性判定部
１５ 取得部
１６ 調整部
１７ 出力制御部
２０ 出力装置
３０ コンテンツ提供装置
REFERENCE SIGNS LIST 1 information processing system 10 information processing device 11 storage unit 111 sensory characteristic information 12 user recognition unit 13 visual characteristic determination unit 14 auditory characteristic determination unit 15 acquisition unit 16 adjustment unit 17 output control unit 20 output device 30 content providing device
Claims (8)
前記ユーザを認識するユーザ認識部と、
前記コンテンツに含まれる画像、及び音の少なくとも一方を取得する取得部と、
前記ユーザ認識部により認識された前記ユーザの情報が登録されていない場合、前記ユーザの視覚特性、または聴覚特性を判定する判定部と、
前記判定部により判定されたユーザ毎の視覚特性を示す情報、または聴覚特性を示す情報を含む感覚特性情報を記憶する記憶部と、
前記ユーザ認識部により認識された前記ユーザに対する前記感覚特性情報に基づいて、前記取得部により取得された画像、及び音の少なくとも一方を前記ユーザに適合するように調整する調整部と、を有する情報処理装置。 An information processing device that converts at least one of the input image and sound of the content so as to be suitable for a user with visual or hearing impairment,
A user recognition unit that recognizes the user,
An acquisition unit that acquires at least one of an image and a sound included in the content,
When the information of the user recognized by the user recognition unit is not registered, the visual characteristics of the user, or a determination unit that determines the auditory characteristics,
A storage unit that stores information indicating visual characteristics of each user determined by the determination unit, or sensory characteristic information including information indicating auditory characteristics,
An adjustment unit that adjusts at least one of the image acquired by the acquisition unit and the sound to match the user, based on the sensory characteristic information for the user recognized by the user recognition unit. Processing equipment.
前記ユーザが日本語または手話ＣＧのいずれかを選択するように提示し、
当該ユーザ認識部にて認識された前記ユーザに対する前記感覚特性情報に基づいて出力装置を選択し、選択した出力装置に、前記調整部により調整された日本語の字幕または手話ＣＧを出力する出力制御部を有する、
請求項１に記載の情報処理装置。 The user recognition unit,
Presenting the user to select either Japanese or Sign Language CG,
Output control for selecting an output device based on the sensory characteristic information for the user recognized by the user recognition unit and outputting Japanese subtitles or sign language CG adjusted by the adjustment unit to the selected output device. Having a part,
The information processing device according to claim 1.
前記出力制御部は、前記ユーザ認識部にて認識された前記ユーザに対する前記感覚特性情報に基づいて、テレビジョン受像機、ディスプレイ、スピーカー、タブレット端末、触覚提示装置、字幕表示装置、及び手話ＣＧ提示装置の少なくとも一つの出力装置を選択し、選択した出力装置に、前記調整部により調整されたコンテンツ、及び前記触覚提示用のデータの少なくとも一つを出力する、
請求項２に記載の情報処理装置。 The acquisition unit acquires tactile presentation data included in the content,
The output control unit is configured to display a television receiver, a display, a speaker, a tablet terminal, a tactile presentation device, a subtitle display device, and a sign language CG presentation based on the sensory characteristic information for the user recognized by the user recognition unit. Select at least one output device of the device, to the selected output device, output at least one of the content adjusted by the adjustment unit, and the data for the tactile presentation,
The information processing device according to claim 2.
前記調整部は、前記取得部により取得された画像に含まれる、文字、及び背景に対して動く物体の少なくとも一方を含む所定のオブジェクトの色を、前記ユーザが前記所定のオブジェクトの背景の色と識別可能な色に変更する、
請求項１乃至３のいずれか一項に記載の情報処理装置。 The visual characteristics include information on a combination of colors that can be identified by the user,
The adjusting unit is configured to include, in the image acquired by the acquiring unit, a color of a predetermined object including at least one of a character and an object moving with respect to a background, the user sets the background color of the predetermined object to Change to identifiable colors,
The information processing device according to claim 1.
請求項４に記載の情報処理装置。 The adjusting unit changes the color of the predetermined object to a color closest to the color of the predetermined object among colors that the user can identify from the color of the predetermined object,
The information processing device according to claim 4.
前記調整部は、前記取得部により取得された音の前記各周波数の音量を、前記各周波数の音に対して前記ユーザが認識できる音量以上に調整する、
請求項１乃至５のいずれか一項に記載の情報処理装置。 The auditory characteristics include information on a volume that can be recognized by the user for each frequency sound,
The adjusting unit adjusts the volume of each of the frequencies of the sound obtained by the obtaining unit to be equal to or higher than the volume that the user can recognize for the sound of each of the frequencies,
The information processing apparatus according to claim 1.
前記調整部は、前記取得部により取得された音に含まれる背景音の音量を、前記ユーザが前記所定の音量の音声を認識できない背景音の音量未満に調整する、
請求項１乃至６のいずれか一項に記載の情報処理装置。 The auditory characteristics include information on the volume of a background sound in which the user cannot recognize a voice of a predetermined volume,
The adjusting unit adjusts the volume of the background sound included in the sound acquired by the acquiring unit to be lower than the volume of the background sound in which the user cannot recognize the sound of the predetermined volume.
The information processing apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018152468A JP7208740B2 (en) | 2018-08-13 | 2018-08-13 | Information processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018152468A JP7208740B2 (en) | 2018-08-13 | 2018-08-13 | Information processing device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020028046A true JP2020028046A (en) | 2020-02-20 |
| JP7208740B2 JP7208740B2 (en) | 2023-01-19 |
Family
ID=69620410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018152468A Active JP7208740B2 (en) | 2018-08-13 | 2018-08-13 | Information processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7208740B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001331164A (en) * | 2000-05-23 | 2001-11-30 | Information-Technology Promotion Agency Japan | Image processor capable of being processed by visually handicapped person, recording medium, image diagnostic method for object, and digital color chart file |
| JP2016071096A (en) * | 2014-09-30 | 2016-05-09 | 株式会社第一興商 | Communication karaoke system |
-
2018
- 2018-08-13 JP JP2018152468A patent/JP7208740B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001331164A (en) * | 2000-05-23 | 2001-11-30 | Information-Technology Promotion Agency Japan | Image processor capable of being processed by visually handicapped person, recording medium, image diagnostic method for object, and digital color chart file |
| JP2016071096A (en) * | 2014-09-30 | 2016-05-09 | 株式会社第一興商 | Communication karaoke system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7208740B2 (en) | 2023-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10726062B2 (en) | System and method for converting image data into a natural language description | |
| US11462213B2 (en) | Information processing apparatus, information processing method, and program | |
| US20160014476A1 (en) | Intelligent closed captioning | |
| JP2017518691A (en) | System and method for providing haptic feedback to assist in image capture | |
| KR102193029B1 (en) | Display apparatus and method for performing videotelephony using the same | |
| US20240202770A1 (en) | Content output system, terminal device, content output method, and recording medium | |
| US20210168460A1 (en) | Electronic device and subtitle expression method thereof | |
| CN112601120B (en) | Subtitle display method and device | |
| US20200194003A1 (en) | Meeting minute output apparatus, and control program of meeting minute output apparatus | |
| US20230316685A1 (en) | Information processing apparatus, information processing method, and program | |
| US20200388284A1 (en) | Presentation of audio and visual content at live events based on user accessibility | |
| US20190026265A1 (en) | Information processing apparatus and information processing method | |
| US20230206811A1 (en) | Electronic apparatus and control method thereof | |
| US20210217407A1 (en) | Audio video translation into multiple languages for respective listeners | |
| US11113850B2 (en) | Electronic apparatus and control method thereof | |
| JP7208740B2 (en) | Information processing device and program | |
| WO2010140254A1 (en) | Image/sound output device and sound localizing method | |
| JP7467636B2 (en) | User terminal, broadcasting device, broadcasting system including same, and control method thereof | |
| US20210174823A1 (en) | System for and Method of Converting Spoken Words and Audio Cues into Spatially Accurate Caption Text for Augmented Reality Glasses | |
| KR102178175B1 (en) | User device and method of controlling thereof | |
| US20150128185A1 (en) | System and method for personalization of an applicance by using context information | |
| JP7505491B2 (en) | Information processing device, information processing method, and program | |
| KR20220164222A (en) | Electronic apparatus and the method thereof | |
| KR20220117057A (en) | Method and apparatus for video quality assessment according to the presence and absence of audio | |
| EP2733954A1 (en) | Display apparatus and method for delivering message thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7208740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |