JP2023501536A

JP2023501536A - 人工知能型マルチメディア装置の制御方法及びシステム

Info

Publication number: JP2023501536A
Application number: JP2022527149A
Authority: JP
Inventors: ヨプク、スン; ウクイ、ドン; グホ、ジュン; ジュジャン、ヨン; ジュンペク、スン; ジョンキム、ヨン; ウンキム、ヨン; ウソ、ジ
Original assignee: 1Thefull Platform Ltd
Current assignee: 1Thefull Platform Ltd
Priority date: 2020-01-20
Filing date: 2020-11-03
Publication date: 2023-01-18
Also published as: US20230016799A1; KR20210094177A; KR102355713B1; WO2021149898A1

Abstract

人工知能型マルチメディア装置の制御方法及びシステムに関する。マルチメディア装置の音信号とユーザーの音声信号とが同時に人工知能型ケア装置に印加されることによって、人工知能型ケア装置がユーザーの音声信号を正確に把握できないとき、人工知能型ケア装置が自らマルチメディア装置のボリュームを調節したり、又はユーザーにボリューム調節に対する案内音声を送り出し、ユーザーがマルチメディア装置のボリュームを調節できるようになり、その結果、ユーザーの音声命令把握及び解釈の正確性を確保できるという効果がある。【選択図】図３

Description

本発明は、人工知能型マルチメディア装置の制御方法及びシステムに関する。

本出願は、２０２０年１月２０日に出願された韓国特許出願第１０－２０２０－０００７１８０号に基づいた優先権を主張し、該当出願の明細書及び図面に記載した全ての内容は本出願に援用される。

全世界的な高齢化速度の加速化に伴い、高齢者のためのＩＴ技術分野に対する関心が高まっている。

そして、近年、ユーザーの音声命令を把握し、ユーザーが要請する各情報（天気、音楽、ニュースなど）を音声で知らせるスマートスピーカーなどの人工知能型電子装置の開発が加速化されている。

特に、老人などの高齢者、独居老人の場合、このようなスマートスピーカーなどの人工知能型電子装置の効用性が次第に大きくなっている。

ただ、近年開発されているスマートスピーカーなどの人工知能型電子装置の場合にも、ユーザー（老人などの高齢者、独居老人など）の音声命令と外部騒音（ＴＶ音など）とが同時に印加される場合、ユーザーの音声命令を正確に認識できないので、ユーザーが所望の動作を行えないという問題がある。

一方、このようなスマートスピーカーと関連して、特許文献１：韓国登録特許第１０－２０５３５３４号には、人工知能スピーカーを通じて鬱病などの疾病を診断及び防止し、位置基盤で施設情報を知らせ、収集された情報を基にして一定時間に合わせてユーザが質問する前にユーザに情報を提供する「人工知能スピーカーを用いた老人ケア提供方法」が開示されている。

韓国登録特許第１０－２０５３５３４号

本発明が達成しようとする技術的課題は、マルチメディア装置の音信号とユーザーの音声信号とが同時に人工知能型ケア装置に印加されることによって、人工知能型ケア装置がユーザーの音声信号を正確に把握できないとき、人工知能型ケア装置が自らマルチメディア装置のボリュームを調節したり、ユーザーにボリューム調節に対する案内音声を送り出し、ユーザーがマルチメディア装置のボリュームを調節できるようになり、その結果、ユーザーの音声命令把握及び解釈の正確性を確保できる人工知能型マルチメディア装置の制御方法及びシステムを提供することを目的とする。

前記のような技術的課題を達成するための本発明の一実施例は、（ａ）人工知能型ケア装置１０１の入力部１０３（マイク）が、ユーザー１０５の音声信号Ｓ１と、マルチメディアコンテンツを出力するマルチメディア装置１０７の音信号Ｓ３とを同時に受け取る段階；（ｂ）前記ケア装置１０１の判断部１０９が、同時に印加された前記音声信号Ｓ１と前記音信号Ｓ３から前記音声信号Ｓ１のみの抽出可不可を判断する段階；及び（ｃ）前記音声信号Ｓ１のみの抽出が不可能である場合、前記ケア装置１０１の制御部１１１が、前記マルチメディア装置１０７又は前記ユーザー１０５に伝送される制御信号Ｓ５を生成する段階；を含むことを特徴とする人工知能型マルチメディア装置の制御方法を提供する。

また、マルチメディアコンテンツを出力しながら音信号Ｓ３を生成するマルチメディア装置１０７；及びユーザー１０５の音声信号Ｓ１と前記音信号Ｓ３とを同時に受け取る入力部１０３と、同時に印加された前記音声信号Ｓ１と音信号Ｓ３から前記音声信号Ｓ１のみの抽出可不可を判断する判断部１０９と、前記音声信号Ｓ１のみの抽出が不可能である場合、前記マルチメディア装置１０７又は前記ユーザー１０５に伝送される制御信号Ｓ５を生成する制御部１１１とを含む人工知能型ケア装置１０１；を含むことを特徴とする人工知能型マルチメディア装置の制御システムを提供する。

本発明の実施例によると、マルチメディア装置の音信号とユーザーの音声信号とが同時に人工知能型ケア装置に印加されることによって、人工知能型ケア装置がユーザーの音声信号を正確に把握できないとき、人工知能型ケア装置が自らマルチメディア装置のボリュームを調節したり、又はユーザーにボリューム調節に対する案内音声を送り出し、ユーザーがマルチメディア装置のボリュームを調節できるようになり、その結果、ユーザーの音声命令把握及び解釈の正確性を確保できるという効果がある。

本発明の一実施例に係る人工知能型マルチメディア装置の制御システムを示すブロック図である。本発明の他の実施例に係る人工知能型マルチメディア装置の制御システムを示すブロック図である。本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御システムを示すブロック図である。本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御方法を示すフローチャートである。本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御方法を示すフローチャートである。本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御方法を示すフローチャートである。

以下、本発明の一部の実施例を例示的な図面を通じて詳細に説明する。各図面の各構成要素に参照符号を付するにおいて、同一の構成要素に対しては、たとえ他の図面上に表示されたとしても、可能な限り、同一の符号を付している。また、本発明を説明するにおいて、関連する公知の構成又は機能に対する具体的な説明が本発明の要旨を不明瞭にし得ると判断される場合は、それについての詳細な説明は省略する。
また、本発明の構成要素を説明するにおいて、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使用することができる。このような用語は、その構成要素を他の構成要素と区別するためのものに過ぎなく、その用語によって該当の構成要素の本質や順序などが限定されることはない。一つの構成要素が他の構成要素に「連結」、「結合」又は「接続」されると記載された場合、その構成要素は、その他の構成要素に直接連結又は接続され得るが、各構成要素の間に更に他の構成要素が「連結」、「結合」又は「接続」される場合もある。

図１は、本発明の一実施例に係る人工知能型マルチメディア装置の制御システムを示すブロック図である。図２は、本発明の他の実施例に係る人工知能型マルチメディア装置の制御システムを示すブロック図である。図３は、本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御システムを示すブロック図である。図４は、本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御方法を示すフローチャートである。図５は、本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御方法を示すフローチャートである。図６は、本発明の更に他の実施例に係る人工知能型マルチメディア装置の制御方法を示すフローチャートである。

これらの各図面に示したように、本発明の一実施例に係る人工知能型マルチメディア装置の制御方法は、（ａ）人工知能型ケア装置１０１の入力部１０３が、ユーザー１０５の音声信号Ｓ１と、マルチメディアコンテンツを出力するマルチメディア装置１０７の音信号Ｓ３とを同時に受け取る段階；（ｂ）ケア装置１０１の判断部１０９が、同時に印加された前記音声信号Ｓ１と前記音信号Ｓ３から前記音声信号Ｓ１のみの抽出可不可を判断する段階；及び（ｃ）音声信号Ｓ１のみの抽出が不可能である場合、ケア装置１０１の制御部１１１が、マルチメディア装置１０７又はユーザー１０５に伝送される制御信号Ｓ５を生成する段階；を含むことを特徴とする。

以下、各段階別に詳細に説明する。

まず、（ａ）段階において、人工知能型ケア装置１０１の入力部１０３は、ユーザー１０５の音声信号Ｓ１と、マルチメディアコンテンツを出力するマルチメディア装置１０７の音信号Ｓ３とを同時に受け取る。

人工知能型ケア装置１０１は、一例として、ロボット、スマートフォン又はスマートスピーカーであってもよく、人工知能型ケア装置１０１には、老人などの高齢者のためのケアアプリが設置されてもよい。

人工知能型ケア装置１０１の入力部１０３は、マイクとして提供され、ユーザー１０５の音声信号Ｓ１を受け取る。

ここで、ユーザー１０５は、一例として、老人などの高齢者であってもよい。

また、人工知能型ケア装置１０１の入力部１０３は、上述したユーザー１０５の音声信号Ｓ１と共に、マルチメディアコンテンツを出力するマルチメディア装置１０７からの音信号Ｓ３を受け取る。

ここで、マルチメディア装置１０７は、テレビ（ＴＶ）、移動通信端末機、ノートパソコン、デスクトップＰＣなどのディスプレイ装置及びオーディオ装置を備える多様な電子装置として提供され得る。

もちろん、このようなマルチメディア装置１０７は、多様なマルチメディアコンテンツの映像信号を表示するディスプレイと、音信号Ｓ３を出力するスピーカーとを備えることができる。

続いて、（ｂ）段階において、人工知能型ケア装置１０１の判断部１０９は、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみの抽出可不可を判断する。

すなわち、（ｂ）段階において、判断部１０９は、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみを分離することによって、ユーザー１０５の音声（命令）を把握できるかどうかを判断する。

もちろん、判断部１０９は、ユーザー１０５から持続的に印加されて累積／格納された過去の各音声信号（音声命令、音声呼び出しなど）を基盤にして、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみの抽出可不可を判断することができる。

さらに具体的に、判断部１０９は、ユーザー１０５から持続的に印加されて累積／格納された過去の各音声信号（音声命令、音声呼び出しなど）において、音の強さ（音の振幅）、音の高低（音の振動数）、及び音色（音波の模様）のうち少なくとも一つ以上を用いて、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみの抽出可不可を判断することができる。

すなわち、音声信号Ｓ１と音信号Ｓ３とを比較した結果、音の強さ（音の振幅）、音の高低（音の振動数）、及び音色（音波の模様）のうち少なくとも一つ以上又は全てが既に設定された誤差範囲内である場合は、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみを抽出できない場合と判断することができる。

続いて、（ｃ）段階において、人工知能型ケア装置１０１の制御部１１１は、音声信号Ｓ１のみの抽出が不可能である場合、マルチメディア装置１０７又はユーザー１０５に伝送される制御信号Ｓ５を生成する。

言い換えると、制御部１１１は、同時に印加された音声信号Ｓ１と音信号Ｓ３において、ユーザーの音声信号Ｓ１である音声命令、音声呼び出しなどを把握できない場合、マルチメディア装置１０７又はユーザー１０５に伝送される制御信号Ｓ５を生成するようになる。

一方、制御信号Ｓ５がマルチメディア装置１０７に伝送される信号である場合、本発明の一実施例に係る人工知能型マルチメディア装置の制御方法は、（ｃ）段階後、ケア装置１０１の通信部１１３が、制御信号Ｓ５をマルチメディア装置１０７に印加する段階；をさらに含む。

ここで、通信部１１３は、近距離通信（ｓｈｏｒｔｒａｎｇｅｃｏｍｍｕｎｉｃａｔｉｏｎ）技術として、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（ＵｌｔｒａＷｉｄｅｂａｎｄ）、ＺｉｇＢｅｅなどを用いることができる。

一方、通信部１１３がマルチメディア装置１０７に印加する制御信号Ｓ５は、マルチメディア装置１０７のボリュームを下げたり消す制御信号であってもよい。

すなわち、ケア装置１０１の判断部１０９が、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみの抽出が不可能であると判断した場合、制御部１１１は、マルチメディア装置１０７のボリュームを下げたり消す制御信号Ｓ５をマルチメディア装置１０７に印加し、マルチメディア装置１０７から出力される音信号Ｓ３の大きさ（ボリューム）を下げたり無音にすることによって、判断部１０９がユーザー１０５の音声信号Ｓ１に対して正確に把握及び判断できるようにする。

また、制御信号Ｓ５がユーザー１０５に伝送される信号である場合、本発明の一実施例に係る人工知能型マルチメディア装置の制御方法は、（ｃ）段階後、ケア装置１０１のスピーカー部１１５が、制御信号Ｓ５を音響で送り出す段階；をさらに含む。

ここで、制御信号Ｓ５は、ユーザー１０５にマルチメディア装置１０７のボリュームを下げたり消すように案内する音声信号であってもよい。

すなわち、ケア装置１０１の判断部１０９が、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみの抽出が不可能であると判断した場合、制御部１１１は、ユーザー１０５がマルチメディア装置１０７のボリュームを下げたり消すことができるように案内する音声信号（例として、「ＴＶのボリュームを下げてください。」、「ＴＶのボリュームを消してください。」などの案内音声）を生成するようになり、スピーカー部１１５が音響で制御信号Ｓ５を送り出すことによって、ユーザー１０５がマルチメディア装置１０７のボリュームを下げたり無音にすることができる。

これを通じて、判断部１０９は、ユーザー１０５の音声信号Ｓ１に対して正確に把握及び判断できるようになる。

もちろん、上述した通信部１１３及びスピーカー部１１５は、人工知能型ケア装置１０１に共に搭載されてもよく、それぞれ別個に搭載されてもよい。

一方、本発明の他の実施例に係る人工知能型マルチメディア装置の制御システムは、マルチメディアコンテンツを出力しながら音信号Ｓ３を生成するマルチメディア装置１０７；及びユーザー１０５の音声信号Ｓ１と音信号Ｓ３とを同時に受け取る入力部１０３と、同時に印加された音声信号Ｓ１と音信号Ｓ３から音声信号Ｓ１のみの抽出可不可を判断する判断部１０９と、音声信号Ｓ１のみの抽出が不可能である場合、マルチメディア装置１０７又はユーザー１０５に伝送される制御信号Ｓ５を生成する制御部１１１とを含む人工知能型ケア装置１０１；を含むことを特徴とする。

また、人工知能型ケア装置１０１は、制御信号Ｓ５がマルチメディア装置１０７に伝送される信号である場合、制御信号Ｓ５をマルチメディア装置１０７に印加する通信部１１３；をさらに含む。

このとき、制御信号Ｓ５は、マルチメディア装置１０７のボリュームを下げたり消す制御信号であってもよい。

そして、人工知能型ケア装置１０１は、制御信号Ｓ５がユーザー１０５に伝送される信号である場合、制御信号Ｓ５を音響で送り出すスピーカー部１１５；をさらに含む。

ここで、制御信号Ｓ５は、マルチメディア装置１０７のボリュームを下げたり消すように案内する音声信号であってもよい。

一方、上述した本発明の他の実施例に係る人工知能型マルチメディア装置の制御システムの各構成が有する機能及び特徴は、上述した人工知能型マルチメディア装置の制御方法と同一であるので、それについての具体的な説明は省略する。

以上で説明したように、本発明の実施例によると、マルチメディア装置の音信号とユーザーの音声信号とが同時に人工知能型ケア装置に印加されることによって、人工知能型ケア装置がユーザーの音声信号を正確に把握できないとき、人工知能型ケア装置が自らマルチメディア装置のボリュームを調節したり、ユーザーにボリューム調節に対する案内音声を送り出し、ユーザーがマルチメディア装置のボリュームを調節できるようになり、その結果、ユーザーの音声命令把握及び解釈の正確性を確保できるという効果がある。

以上では、本発明の実施例を構成する全ての構成要素が一つに結合されたり、結合されて動作することを説明したが、本発明が必ずしもこのような実施例に限定されるわけではない。すなわち、本発明の目的範囲内であれば、全ての構成要素が一つ以上に選択的に結合されて動作することもできる。
以上の説明は、本発明の技術思想を例示的に説明したものに過ぎなく、本発明の属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能である。よって、本発明に開示された各実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるわけではない。本発明の保護範囲は、下記の特許請求の範囲によって解釈しなければならなく、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれる。

１０１人工知能型ケア装置
１０３入力部
１０５ユーザー
１０７マルチメディア装置
１０９判断部
１１１制御部
１１３通信部
１１５スピーカー部
Ｓ１ユーザーの音声信号
Ｓ３マルチメディア装置の音信号
Ｓ５制御信号

Claims

（ａ）人工知能型ケア装置（１０１）の入力部（１０３）が、ユーザー（１０５）の音声信号（Ｓ１）と、マルチメディアコンテンツを出力するマルチメディア装置（１０７）の音信号（Ｓ３）と、を同時に受け取る段階；
（ｂ）前記ケア装置（１０１）の判断部（１０９）が、同時に印加された前記音声信号（Ｓ１）と前記音信号（Ｓ３）から前記音声信号（Ｓ１）のみの抽出可不可を判断する段階；及び、
（ｃ）前記音声信号（Ｓ１）のみの抽出が不可能である場合、前記ケア装置（１０１）の制御部（１１１）が、前記マルチメディア装置（１０７）又は前記ユーザー（１０５）に伝送される制御信号（Ｓ５）を生成する段階；を含む
ことを特徴とする人工知能型マルチメディア装置の制御方法。
前記（ｃ）段階において、前記制御信号（Ｓ５）が前記マルチメディア装置（１０７）に伝送される信号である場合、
（ｄ）前記ケア装置（１０１）の通信部（１１３）が、前記制御信号（Ｓ５）を前記マルチメディア装置（１０７）に印加する段階；をさらに含む
請求項１に記載の人工知能型マルチメディア装置の制御方法。
前記（ｃ）段階において、前記制御信号（Ｓ５）が前記ユーザー（１０５）に伝送される信号である場合、
（ｄ）前記ケア装置（１０１）のスピーカー部（１１５）が、前記制御信号（Ｓ５）を音響で送り出す段階；をさらに含む
請求項１に記載の人工知能型マルチメディア装置の制御方法。
前記制御信号（Ｓ５）は、前記マルチメディア装置（１０７）のボリュームを下げたり消す制御信号である
請求項２に記載の人工知能型マルチメディア装置の制御方法。
前記制御信号（Ｓ５）は、前記マルチメディア装置（１０７）のボリュームを下げたり消すように案内する音声信号である
請求項３に記載の人工知能型マルチメディア装置の制御方法。
マルチメディアコンテンツを出力しながら音信号（Ｓ３）を生成するマルチメディア装置（１０７）；及び、
ユーザー（１０５）の音声信号（Ｓ１）と前記音信号（Ｓ３）を同時に受け取る入力部（１０３）と、同時に印加された前記音声信号（Ｓ１）と音信号（Ｓ３）から前記音声信号（Ｓ１）のみの抽出可不可を判断する判断部（１０９）と、前記音声信号（Ｓ１）のみの抽出が不可能である場合、前記マルチメディア装置（１０７）又は前記ユーザー（１０５）に伝送される制御信号（Ｓ５）を生成する制御部（１１１）と、を含む人工知能型ケア装置（１０１）；を含む
ことを特徴とする人工知能型マルチメディア装置の制御システム。
前記人工知能型ケア装置（１０１）は、
前記制御信号（Ｓ５）が前記マルチメディア装置（１０７）に伝送される信号である場合、前記制御信号（Ｓ５）を前記マルチメディア装置（１０７）に印加する通信部（１１３）；をさらに含む
請求項６に記載の人工知能型マルチメディア装置の制御システム。
前記人工知能型ケア装置（１０１）は、
前記制御信号（Ｓ５）が前記ユーザー（１０５）に伝送される信号である場合、前記制御信号（Ｓ５）を音響で送り出すスピーカー部（１１５）；をさらに含む
請求項６に記載の人工知能型マルチメディア装置の制御システム。
前記制御信号（Ｓ５）は、前記マルチメディア装置（１０７）のボリュームを下げたり消す制御信号である
請求項７に記載の人工知能型マルチメディア装置の制御システム。
前記制御信号（Ｓ５）は、前記マルチメディア装置（１０７）のボリュームを下げたり消すように案内する音声信号である
請求項８に記載の人工知能型マルチメディア装置の制御システム。