JP2020009249A - 情報処理方法、情報処理装置、及びプログラム - Google Patents

情報処理方法、情報処理装置、及びプログラム Download PDF

Info

Publication number
JP2020009249A
JP2020009249A JP2018130880A JP2018130880A JP2020009249A JP 2020009249 A JP2020009249 A JP 2020009249A JP 2018130880 A JP2018130880 A JP 2018130880A JP 2018130880 A JP2018130880 A JP 2018130880A JP 2020009249 A JP2020009249 A JP 2020009249A
Authority
JP
Japan
Prior art keywords
content
information processing
sentence
terminal
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018130880A
Other languages
English (en)
Other versions
JP7179512B2 (ja
Inventor
敏紀 佐藤
Toshinori Sato
敏紀 佐藤
彩主紀 珊瑚
Mizuki Sango
彩主紀 珊瑚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Priority to JP2018130880A priority Critical patent/JP7179512B2/ja
Publication of JP2020009249A publication Critical patent/JP2020009249A/ja
Application granted granted Critical
Publication of JP7179512B2 publication Critical patent/JP7179512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

【課題】表示用のコンテンツの内容をより適切に音声等により伝達できるようにすること。【解決手段】情報処理装置が、画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行する。【選択図】図2

Description

本開示は、情報処理方法、情報処理装置、及びプログラムに関する。
従来、スマートスピーカ等を用いて、ニュース等の所定のコンテンツを読み上げるサービスが知られている。
また、特許文献1には、入力文字列で伝えられるテキスト情報を自動的に理解する方式を提供する技術が開示されている。
特開2000−056977号公報
しかしながら、従来技術では、表示用のコンテンツを音声に変換してユーザに伝達する場合、当該ユーザにとって、当該コンテンツの作成者の意図等が分かり難くなる場合があるという問題がある。
本開示は、上記問題に鑑みてなされたものであり、表示用のコンテンツの内容をより適切に音声等により伝達できるようにする技術を提供することを目的とする。
本開示の一実施形態に係る情報処理方法は、情報処理装置が、画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行する。
本開示の一実施形態に係る通信システムの構成を示す図である。 実施形態に係る通信システムにおけるインスタントメッセージの読み上げ処理のシーケンスの一例を示す図である。 実施形態に係る通信システムにおけるWebサイト等の読み上げ処理のシーケンスの一例を示す図である。 コンテンツを音出力用のデータに変換する処理の一例を示すフローチャートである。 実施形態に係る変換情報の一例を示す図である。 コンテンツに含まれる文の一例を示す図である。 コンテンツに含まれる文の一例を示す図である。
<法的事項の遵守>
本明細書に記載の開示は、通信の秘密など、本開示の実施に必要な実施国の法的事項遵守を前提とすることに留意されたい。
本開示に係る情報処理方法を実施するための実施形態について、図面を参照して説明する。
<システム構成>
図1は、本開示の一実施形態に係る通信システム1の構成を示す図である。図1に開示されるように、通信システム1では、ネットワーク30を介してサーバ10と、端末20(端末20A,端末20B,端末20C)とが接続される。サーバ10は、ネットワーク30を介してユーザが所有する端末20に、端末20間でのメッセージの送受信を実現するサービスを提供する。なお、ネットワーク30に接続される端末20の数は限定されない。
ネットワーク30は、1以上の端末20と、1以上のサーバ10とを接続する役割を担う。すなわち、ネットワーク30は、端末20がサーバ10に接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。
ネットワーク30のうちの1つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよい。ネットワーク30は、限定でなく例として、アドホック・ネットワーク(ad hoc network)、イントラネット、エクストラネット、仮想プライベート・ネットワーク(virtual private network:VPN)、ローカル・エリア・ネットワーク(local area network:LAN)、ワイヤレスLAN(wireless LAN:WLAN)、広域ネットワーク(wide area network:WAN)、ワイヤレスWAN(wireless WAN:WWAN)、大都市圏ネットワーク(metropolitan area network:MAN)、インターネットの一部、公衆交換電話網(Public Switched Telephone Network:PSTN)の一部、携帯電話網、ISDN(integrated service digital networks)、無線LAN、LTE(long term evolution)、CDMA(code division multiple access)、ブルートゥース(Bluetooth(登録商標))、衛星通信など、または、これらの2つ以上の組合せを含むことができる。ネットワーク30は、1つまたは複数のネットワーク30を含むことができる。
端末20(端末20A,端末20B,端末20C)は、各実施形態において記載する機能を実現できる情報処理端末であればどのような端末であってもよい。端末20は、限定ではなく例として、スマートスピーカ(AI(Artificial Intelligence)スピーカ)、スマートフォン、携帯電話(フィーチャーフォン)、コンピュータ(限定でなく例として、デスクトップ、ラップトップ、タブレットなど)、メディアコンピュータプラットホーム(限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ)、ハンドヘルドコンピュータデバイス(限定でなく例として、PDA・(personal digital assistant)、電子メールクライアントなど)、ウェアラブル端末(メガネ型デバイス、時計型デバイスなど)、または他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、端末20は情報処理端末と表現されても良い。
端末20A、端末20Bおよび端末20Cの構成は基本的には同一であるため、以下の説明においては、端末20について説明する。また、必要に応じて、ユーザXが利用する端末を端末20Xと表現し、ユーザXまたは端末20Xに対応づけられた、所定のサービスにおけるユーザ情報をユーザ情報Xと表現する。なお、ユーザ情報とは、所定のサービスにおいてユーザが利用するアカウントに対応付けられたユーザの情報である。ユーザ情報は、限定でなく例として、ユーザにより入力される、または、所定のサービスにより付与される、ユーザの名前、ユーザのアイコン画像、ユーザの年齢、ユーザの性別、ユーザの住所、ユーザの趣味趣向、ユーザの識別子などのユーザに対応づけられた情報を含み、これらのいずれか一つまたは、組み合わせであってもよい。
サーバ10は、端末20に対して、所定のサービスを提供する機能を備える。サーバ10は、各実施形態において記載する機能を実現できる情報処理装置であればどのような装置であってもよい。サーバ10は、限定でなく例として、サーバ装置、コンピュータ(限定でなく例として、デスクトップ、ラップトップ、タブレットなど)、メディアコンピュータプラットホーム(限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ)、ハンドヘルドコンピュータデバイス(限定でなく例として、PDA、電子メールクライアントなど)、あるいは他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、サーバ10は情報処理装置と表現されても良い。サーバ10と端末20とを区別する必要がない場合は、サーバ10と端末20とは、それぞれ情報処理装置と表現されてもよい。
<ハードウェア(HW)構成>
図1を用いて、通信システム1に含まれる各装置のHW構成について説明する。
(1)端末のHW構成
端末20は、制御装置21(CPU:central processing unit(中央処理装置))、記憶装置28、通信I/F22(インタフェース)、入出力装置23、表示装置24、マイク25、スピーカ26、カメラ27を備える。端末20のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、端末20がスマートスピーカである場合、入出力装置23、表示装置24、及びカメラ27を備えなくてもよい。
通信I/F22は、ネットワーク30を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F22は、ネットワーク30を介して、サーバ10との通信を実行する機能を有する。通信I/F22は、各種データを制御装置21からの指示に従って、サーバ10に送信する。また、通信I/F22は、サーバ10から送信された各種データを受信し、制御装置21に伝達する。
入出力装置23は、端末20に対する各種操作を入力する装置、および、端末20で処理された処理結果を出力する装置を含む。入出力装置23は、入力装置と出力装置が一体化していても良いし、入力装置と出力装置に分離していてもよい。
入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報を制御装置21に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入力装置は、限定でなく例として、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ(動画像を介した操作入力)、マイク(音声による操作入力)を含む。
出力装置は、制御装置21で処理された処理結果を出力することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力装置は、限定でなく例として、タッチパネル、タッチディスプレイ、スピーカ(音声出力)、レンズ(限定でなく例として3D(three dimensions)出力や、ホログラム出力)、プリンターなどを含む。
表示装置24は、フレームバッファに書き込まれた表示データに従って、表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。表示装置24は、限定でなく例として、タッチパネル、タッチディスプレイ、モニタ(限定でなく例として、液晶ディスプレイやOELD(organic electroluminescence display))、ヘッドマウントディスプレイ(HDM:Head Mounted Display)、プロジェクションマッピング、ホログラム、空気中など(真空であってもよい)に画像やテキスト情報等を表示可能な装置を含む。なお、これらの表示装置24は、3Dで表示データを表示可能であってもよい。
入出力装置23がタッチパネルの場合、入出力装置23と表示装置24とは、略同一の大きさおよび形状で対向して配置されていても良い。
制御装置21は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。
制御装置21は、限定でなく例として、中央処理装置(CPU)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)を含む。
記憶装置28は、端末20が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶装置28は、限定でなく例として、HDD(hard disk drive)、SSD(solid state drive)、フラッシュメモリ、RAM(random access memory)、ROM(read only memory)など各種の記憶媒体を含む。
端末20は、プログラムPを記憶装置28に記憶し、このプログラムPを実行することで、制御装置21が、制御装置21に含まれる各部としての処理を実行する。つまり、記憶装置28に記憶されるプログラムPは、端末20に、制御装置21が実行する各機能を実現させる。
マイク25は、音声データの入力に利用される。スピーカ26は、音声データの出力に利用される。カメラ27は、動画像データの取得に利用される。
(2)サーバのHW構成
サーバ10は、制御装置11(CPU)、記憶装置15、通信I/F14(インタフェース)、入出力装置12、ディスプレイ13を備える。サーバ10のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。
制御装置11は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。
制御装置11は、代表的には中央処理装置(CPU)、であり、その他にマイクロプロセッサ、プロセッサコア、マルチプロセッサ、ASIC、FPGAであってもよい。ただし、本開示において、制御装置11は、これらに限定されない。
記憶装置15は、サーバ10が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶装置15は、HDD、SSD、フラッシュメモリなど各種の記憶媒体により実現される。ただし、本開示において、記憶装置15は、これらに限定されない。
通信I/F14は、ネットワーク30を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F14は、ネットワーク30を介して、端末20との通信を実行する機能を有する。通信I/F14は、各種データを制御装置11からの指示に従って、端末20に送信する。また、通信I/F14は、端末20から送信された各種データを受信し、制御装置11に伝達する。
入出力装置12は、サーバ10に対する各種操作を入力する装置により実現される。入出力装置12は、ユーザからの入力を受け付けて、当該入力に係る情報を制御装置11に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入出力装置12は、代表的にはキーボード等に代表されるハードウェアキーや、マウス等のポインティングデバイスで実現される。なお、入出力装置12、限定でなく例として、タッチパネルやカメラ(動画像を介した操作入力)、マイク(音声による操作入力)を含んでいてもよい。ただし、本開示において、入出力装置12は、これらに限定されない。
ディスプレイ13は、代表的にはモニタ(限定でなく例として、液晶ディスプレイやOELD(organic electroluminescence display))で実現される。なお、ディスプレイ13は、ヘッドマウントディスプレイ(HDM)などであってもよい。なお、これらのディスプレイ13は、3Dで表示データを表示可能であってもよい。ただし、本開示において、ディスプレイ13は、これらに限定されない。サーバ10は、プログラムPを記憶装置15に記憶し、このプログラムPを実行することで、制御装置11が、制御装置11に含まれる各部としての処理を実行する。つまり、記憶装置15に記憶されるプログラムPは、サーバ10に、制御装置11が実行する各機能を実現させる。
本開示の各実施形態においては、端末20および/またはサーバ10のCPUがプログラムPを実行することにより、実現するものとして説明する。
なお、端末20の制御装置21、および/または、サーバ10の制御装置11は、CPUだけでなく、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各処理を実現してもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。
また、本開示の各実施形態のプログラムP(ソフトウェアプログラム/コンピュータプログラム)は、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。
記憶媒体は適切な場合、1つまたは複数の半導体ベースの、または他の集積回路(IC)(限定でなく例として、フィールド・プログラマブル・ゲート・アレイ(FPGA)または特定用途向けIC(ASIC)など)、ハード・ディスク・ドライブ(HDD)、ハイブリッド・ハード・ドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ(FDD)、磁気テープ、固体ドライブ(SSD)、RAMドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、またはこれらの2つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムPを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。
サーバ10および/または端末20は、記憶媒体に記憶されたプログラムPを読み出し、読み出したプログラムPを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。
また、本開示のプログラムPは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、サーバ10および/または端末20に提供されてもよい。サーバ10および/または端末20は、限定でなく例として、インターネット等を介してダウンロードしたプログラムPを実行することにより、各実施形態に示す複数の機能部の機能を実現する。
また、本開示の各実施形態は、プログラムPが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
サーバ10および/または端末20における処理の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。
端末20における処理の少なくとも一部を、サーバ10により行う構成としてもよい。この場合、端末20の制御装置21の各機能部の処理のうち少なくとも一部の処理を、サーバ10で行う構成としてもよい。
サーバ10における処理の少なくとも一部を、端末20により行う構成としてもよい。この場合、サーバ10の制御装置11の各機能部の処理のうち少なくとも一部の処理を、端末20で行う構成としてもよい。
明示的な言及のない限り、本開示の実施形態における判定の構成は必須でなく、判定条件を満たした場合に所定の処理が動作されたり、判定条件を満たさない場合に所定の処理がされたりしてもよい。
なお、本開示のプログラムは、限定でなく例として、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装される。
<機能構成>
(1)端末の機能構成
図1に示すように、端末20は、制御装置21により実現される機能として、受付部210、制御部211、送受信部212を有する。
受付部210は、端末20のユーザからの各種操作を受け付ける。受付部210は、例えば、ユーザからの音声を受け付ける。
制御部211は、サーバ10により提供される各種のサービスを利用するための処理を行う。制御部211は、例えば、サーバ10により提供されるSNS(Social Networking Service)におけるインスタントメッセージングサービスを用いて、ユーザにより指定されたコンテンツを、他の端末20と送受信する。送受信部212は、制御部211の指示に従い、サーバ10等とのデータの送受信を行う。
(2)サーバの機能構成
図1に示すように、サーバ10は、記憶装置15により、変換情報151等を記憶する。変換情報151に記憶されるデータについては後述する。
また、図1に示すように、サーバ10は、制御装置11により実現される機能として、制御部110、音声コマンド処理部111、変換部112、及び送受信部113を有する。
制御部110は、インスタントメッセージングサービス、オンラインショッピング、ニュース配信サービス等の各種サービスを端末20のユーザに提供するための各種処理を行う。制御部110は、例えば、複数のアカウントの各ユーザを含むグループにおけるインスタントメッセージの送受信を行う。
音声コマンド処理部111は、例えば、AIを用いて、端末20から受信した音声から音声コマンドを認識し、当該音声コマンドに応じた処理を行う。音声コマンド処理部111は、例えば、インスタントメッセージ、及びWebサイト等のコンテンツの読み上げを行う。
変換部112は、音声コマンド処理部111の指示に従い、例えば、インスタントメッセージ、ニュース、天気、EC(Electronic Commerce)サイト等の各種のコンテンツを、音出力用のデータに変換する。また、変換部112は、例えば、画像、絵文字、及び顔文字等のオブジェクトを含むコンテンツを、音出力用のデータに変換する。なお、画像には、サーバ10により提供されるインスタントメッセージングサービスで用いられるイラスト等の画像であるスタンプ(Sticker)も含まれる。ここで、音出力用のデータとしては、mp3(MPEG-1 Audio Layer-3)等の所定のファイルフォーマットの音声データでもよいし、読み上げ用のテキスト(文字または文字列)のデータでもよい。読み上げ用のテキストデータに変換する場合、例えば、テキストデータに対するタグにより所定のエフェクトが指定されたXML(eXtensible Markup Language)形式等のデータでもよい。
送受信部113は、制御部110または音声コマンド処理部111の指示に従い、端末20とのデータの送受信を行う。
<処理>
≪インスタントメッセージの読み上げ処理≫
次に、図2を参照し、実施形態に係る通信システム1におけるインスタントメッセージの読み上げ処理について説明する。図2は、実施形態に係る通信システム1におけるインスタントメッセージの読み上げ処理のシーケンスの一例を示す図である。
なお、図2に示す処理の前に、サーバ10は、ユーザ認証等を行って端末20A、及び端末20Bからのログインをそれぞれ受け付け、インスタントメッセージングサービスの利用を端末20A、及び端末20Bに許可としているものとする。
ステップS1において、端末20Bは、端末20Bのアカウント(「第1アカウント」の一例。)、及び端末20Aのアカウント(「第2アカウント」の一例。)を含むグループにおけるインスタントメッセージのコンテンツをサーバ10に送信する。ここで、端末20Bのアカウントは、端末20Aのアカウントのユーザの家族、及び知人等のアカウントでもよいし、端末20Aのアカウントからフォローがされている事業者のアカウント等でもよい。続いて、サーバ10の制御部110は、当該インスタントメッセージを記憶する(ステップS2)。
続いて、端末20Aの受付部210は、インスタントメッセージの読み上げ操作をユーザから受け付ける(ステップS3)。ここで、端末20Aの受付部210は、ユーザが発話した、例えば、「インスタントメッセージを読んで」等の所定の音声コマンドを受け付けてもよい。なお、ユーザからの操作に応答して読み上げる代わりに、以下のような処理を行うようにしてもよい。まず、サーバ10は、インスタントメッセージを受信すると、インスタントメッセージの受信通知を端末20Aに送信する。そして、端末20は、受信通知を受信すると、以下のステップS4の処理を行う。
また、端末20Aの制御部211は、例えば、人感センサ、またはユーザが所持するビーコン等からの電波により、ユーザが端末20Aの付近に存在することを検知した場合に、以下のステップS4の処理を行うようにしてもよい。
続いて、端末20Aの送受信部212は、端末20Aのアカウント宛てのインスタントメッセージの読み上げ要求をサーバ10に送信する(ステップS4)。ここで、読み上げ要求は、例えば、ユーザが発話した音声コマンドの音声データでもよい。
続いて、サーバ10の変換部112は、音声コマンド処理部111からの指示により、所定のコンテンツを、音出力用のデータに変換する(ステップS5)。ここで、サーバ10の音声コマンド処理部111は、端末20Aから受信した音声データから、音声コマンドを認識する。そして、サーバ10の変換部112は、例えば、当該音声コマンドにて指定されたコンテンツを、音出力用のデータに変換する。続いて、サーバ10の音声コマンド処理部111は、当該音出力用のデータを、端末20Aに送信する(ステップS6)。
続いて、端末20Aの制御部211は、当該音出力用のデータに基づいて、音声を出力する(ステップS7)。ここで、端末20Aは、当該音出力用のデータが音響データである場合は、当該音響データを再生して、スピーカに出力させる。また、端末20Aは、当該音出力用のデータがテキストデータである場合は、当該テキストデータを音声データに変換し、当該音声データをスピーカに出力させる。これにより、ユーザからの発話の音声に応じて、所定のコンテンツを読み上げて聞かせることができる。それにより、コミュニケーションの効率化(適切化)を図ることができる。
≪Webサイト等の読み上げ処理≫
次に、図3を参照し、実施形態に係る通信システム1におけるWebサイト等の読み上げ処理について説明する。図3は、実施形態に係る通信システム1におけるWebサイト等の読み上げ処理のシーケンスの一例を示す図である。
ステップS21において、端末20Aの受付部210は、ニュース等の読み上げ操作をユーザから受け付ける。ここで、端末20Aの受付部210は、ユーザが発話した、例えば、「ニュースを教えて」等の所定の音声コマンドを音声認識してもよい。続いて、端末20Aの送受信部212は、ユーザから要求されたコンテンツの読み上げ要求をサーバ10に送信する(ステップS22)。
続いて、サーバ10の音声コマンド処理部111は、ユーザから要求されたコンテンツを、外部のWebサーバ等から取得する(ステップS23)。続いて、サーバ10の変換部112は、当該コンテンツを、音出力用のデータに変換する(ステップS24)。続いて、サーバ10の音声コマンド処理部111は、当該音出力用のデータを、端末20Aに送信する(ステップS25)。続いて、端末20Aの制御部211は、当該音出力用のデータに基づいて、音声を出力する(ステップS26)。
≪変換処理≫
次に、図4を参照し、サーバ10の変換部112による、図2のステップS5、及び図3のステップS24の、コンテンツを音出力用のデータに変換する処理について説明する。図4は、コンテンツを音出力用のデータに変換する処理の一例を示すフローチャートである。図5は、実施形態に係る変換情報151の一例を示す図である。図6及び図7は、コンテンツに含まれる文の一例を示す図である。
ステップS101において、変換部112は、コンテンツに含まれる画像、絵文字、顔文字等のオブジェクトに応じたエフェクトを決定する。ここで、変換部112は、例えば、当該コンテンツに含まれる一つの文の後に位置するオブジェクトに応じたエフェクトを決定する。この場合、変換部112は、例えば、句点、スペース、改行、及びコンテンツの終端を示す記号(EOF(End Of File)等)が含まれない一連のテキスト、及び画像等のデータを、一つの文であると判定してもよい。なお、変換部112は、コンテキストに応じて、ステップS101からステップS104の処理を行うようにしてもよい。この場合、変換部112は、まず、後述するステップS105の処理と同様の処理により、コンテキストを判定してもよい。そして、判定したコンテキストに応じた変換情報151等を用いて、エフェクト等を決定してもよい。
図5の変換情報151の例では、オブジェクトIDに対応付けて、表示データ、エフェクト、読み仮名、及び条件が記憶されている。オブジェクトIDは、画像、絵文字、顔文字等のオブジェクトの識別情報である。表示データは、当該オブジェクトが表示される場合の画像等のデータである。エフェクトは、当該オブジェクトに応じて出力される効果音、及び当該オブジェクトに関連するテキストが読み上げられる際の喜び、怒り、悲しみ等の感情等のエフェクトである。読み仮名は、当該オブジェクトが読み上げられる場合の読み仮名である。条件は、当該オブジェクトが当該読み仮名で読み上げられる場合の条件である。
図5の変換情報151の例では、スタンプAがエフェクトに変換される場合は、スタンプAが後に付加された文に対する、星が煌いていることを表現する音等の「効果音A」に変換されることが示されている。また、スタンプAが読み仮名に変換される場合は、スタンプAが文中でサ変名詞以外の名詞として用いられている場合は「キラボシ」に変換され、サ変名詞として用いられている場合は「キラキラ」に変換されることが示されている。なお、サ変名詞とは、例えば、動詞の「する」に接続してサ行変格活用の動詞となり得る名詞のことをいう。
また、顔文字Bがエフェクトに変換される場合は、顔文字Bが付加されたテキストが読み上げられる際に喜びの感情表現を伴う音声合成が行われ、顔文字Bが読み仮名に変換される場合は「ヤッター」に変換されることが示されている。また、スタンプCがエフェクトに変換される場合は、スタンプCが後ろに付加された文に対するカーン等の「効果音C」に変換されることが示されている。また、スタンプCが読み仮名に変換される場合は、スタンプCが文中でサ変名詞以外の名詞として用いられている場合は「ビール」に変換され、サ変名詞として用いられている場合は「カンパイ」に変換されることが示されている。
なお、変換情報151は、スピーカ提供者が設定したものであってもよいし、スピーカ提供者が設定したものを標準としつつ、ユーザが適宜内容を変更・追加したものとしてもよい。
図6の例では、当該コンテンツに含まれる「今日は星が(スタンプA)しているな。」という文の後ろに、スタンプAが付加されている。この場合、変換部112は、図5の変換情報151を参照し、文の後ろに付加されているスタンプAを、当該スタンプAに対応付けられた「効果音A」を用いたエフェクトに変換する。なお、変換部112は、エフェクトに変換したオブジェクトを、当該コンテンツから削除してもよいし、削除しなくてもよい。削除しない場合は、後述するステップS102の処理により、当該オブジェクトは読み仮名に変換される。
続いて、変換部112は、当該コンテンツに含まれる画像、絵文字、顔文字等のオブジェクトをテキストに置換する(ステップS102)。ここで、変換部112は、当該コンテンツを形態素解析し、当該コンテンツにおける一の文に含まれるオブジェクトを、当該一の文における文脈に応じたテキストに変換する。
この場合、変換部112は、例えば、当該コンテンツを形態素解析し、当該コンテンツに含まれる各オブジェクトがサ変名詞として用いられているか否かを判定する。そして、変換部112は、図5の変換情報151を参照し、当該各オブジェクトを、サ変名詞として用いられているか否かの条件に応じた読み仮名に変換する。より具体的には、変換部112は、当該一の文におけるオブジェクトの位置がサ変名詞の位置である場合、当該オブジェクトに応じたサ変名詞のテキストに変換する。一方、当該一の文における当該オブジェクトの位置がサ変名詞以外の名詞の位置である場合、当該オブジェクトに応じたサ変名詞以外の名詞のテキストに変換する。これにより、図6のコンテンツは、「今日は星がキラキラしているな。」というテキストに変換される。また、図7のコンテンツは、「カンパイしたよ。ビール美味しいです。」というテキストに変換される。
なお、変換部112は、端末20Bにおいてユーザから入力されたテキストがスタンプの画像、乃至絵文字等のオブジェクトに変換されて当該コンテンツに入力された場合、当該テキストを端末20Bから取得し、当該オブジェクトを当該テキストに変換してもよい。
続いて、変換部112は、コンテンツに含まれる難読語をテキストに置換する(ステップS103)。ここで、変換部112は、例えば、人名、地名等の固有名詞や、日付や金額などの数詞(数)と助数詞(単位)の組み合わせである数値表現等の難読語を、所定の辞書データと後処理を用いてテキストに置換する。続いて、コンテンツに含まれる記号をテキストに置換する(ステップS104)。ここで、変換部112は、例えば、「¥」等の記号をテキストに置換する。また、変換部112は、例えば、「!!!!」等の同一の記号が連続する文字列に対しては、重複を解消し、一の当該記号についてのみ「ビックリ」等のテキストに置換してもよい。
続いて、変換部112は、コンテンツの属性、コンテンツの作成者の属性、コンテンツが伝達されるユーザの属性等に応じたコンテキスト(状況、ドメイン)を判定する(ステップS105)。続いて、変換部112は、当該コンテキストに応じて、当該テキストを変換する(ステップS106)。
続いて、変換部112は、ステップS101で決定したエフェクトに応じて、当該テキストを音出力用のデータに変換する(ステップS107)。効果音のエフェクト処理を行う場合、変換部112は、例えば、効果音に変換されたオブジェクトの文における位置で、当該効果音が出力されるようにしてもよい。この場合、変換部112は、図6のコンテンツの場合、「キョウハホシガキラキラシテイルナ」というテキストを読み上げる音声が出力された後、「効果音A」が出力されるような音出力用のデータを生成する。また、変換部112は、例えば、効果音に変換されたオブジェクトが含まれる文を読み上げている間に、当該効果音を出力されるようにしてもよい。この場合、変換部112は、図6のコンテンツの場合、例えば、「効果音A」が出力されるとともに、「キョウハホシガキラキラシテイルナ」というテキストが読み上げられるような音出力用のデータを生成する。この場合、変換部112は、当該テキストを読み上げる音声の出力が完了するまでのする間、「効果音A」を繰り返し出力してもよい。または、当該テキストを読み上げる音声が出力される前または後に、「効果音A」を出力してもよい。
また、感情表現のエフェクト処理を行う場合、変換部112は、例えば、ナレーターにより「喜び」、「怒り」、「悲しみ」等の各感情において発話された音声データに基づいて生成された、各感情に対する音声合成用のモデルを用いて、感情のエフェクトに応じた音声データを生成する。これにより、例えば、「\(^o^)/試験終わった。\(^o^)/」というコンテンツの場合、「ヤッターシケンオワッタ」というテキストが喜びの感情を表す抑揚等の音声により読み上げられる。そのため、表示用のコンテンツを音声により伝達する場合に、文の後ろに付加された画像等に応じて、例えば、当該文がネガティブな感情を伝達するものであるか、ポジティブな感情を伝達するものであるか等を、より適切に伝達することができる。なお、各感情を表す音声データを生成(合成)する手法としては、他の公知の手法が用いられてもよい。
(コンテキストに応じた変換処理)
次に、図4のステップS105、乃至ステップS106における、コンテキストを判定し、当該コンテキストに応じてコンテンツの内容を変換する処理について説明する。
((コンテキストの判定))
変換部112は、例えば、コンテンツの属性、コンテンツの作成者の属性、及びコンテンツが伝達されるユーザの属性等に基づいて、読み上げ対象のコンテンツのコンテキストを判定する。コンテンツの属性としては、例えば、読み上げ対象のコンテンツの内容、コンテンツの文脈等が含まれてもよい。変換部112は、例えば、コンテンツの文章に、広告の文章として予め設定されている文章が含まれる場合に、「広告」のコンテキストと判定してもよい。また、変換部112は、例えば、深層学習等を用いて機械学習されたAIにより、コンテンツの内容がどのコンテキストに合致するか判定してもよい。コンテンツの作成者の属性には、コンテンツを作成した端末20のキーボードの種別等が含まれてもよい。また、当該コンテンツが伝達されるユーザの属性には、例えば、当該ユーザの性別、年齢、母語または第一言語、及び職業等が含まれてもよい。
変換部112は、例えば、端末20Aから受信した音声コマンド等の音声を認識し、端末20Aのユーザの性別、年齢、及び母語等のコンテキストを推定してもよい。また、変換部112は、サーバ10が提供するSNSにおける端末20Aのアカウントの情報に登録されている、当該アカウントのユーザの性別、年齢、及び母語等の情報を用いてもよい。
また、変換部112は、例えば、端末20Aから受信した音声コマンドから、コンテンツの内容のコンテキストを推定してもよい。この場合、変換部112は、例えば、「政治のニュースを教えて」という音声コマンドを端末20Aから受信した場合、「政治のニュース」のコンテキストであると判定してもよい。
また、変換部112は、ニュース、天気、EC(Electronic Commerce)サイト等のコンテンツを、音出力用のデータに変換する場合、アクセスしているドメインである当該サイトから、予め設定されているテーブルに基づいて、コンテキストを判定してもよい。この場合、サイトとコンテキストとを対応付けられたテーブルが、サーバ10の管理者等により予め設定されていてもよい。
また、変換部112は、例えば、端末20Aのアカウント、及び端末20Bのアカウントを含むグループにおいて送受信されたインスタントメッセージの内容に基づいて、コンテキストを判定してもよい。この場合、変換部112は、例えば、インスタントメッセージが「です・ます」調でない場合、「友人同士」のコンテキストであると判定してもよい。
また、変換部112は、例えば、当該グループにおいて送受信されたインスタントメッセージの頻度に基づいて、コンテキストを判定してもよい。この場合、変換部112は、例えば、直近の所定期間(例えば、2か月)以内の頻度が閾値以上である場合、「親しい友人同士」のコンテキストであると判定してもよい。
また、変換部112は、例えば、端末20BのアカウントがEC企業のアカウントである場合、「EC」のコンテキストであると判定してもよい。また、変換部112は、例えば、コンテンツにおいて、コンテンツの作成者により、例えば、ハッシュタグでコンテキストが指定されている場合、当該指定されているコンテキストを用いてもよい。
((コンテキストに応じた変換))
変換部112は、当該コンテキストに応じて、スタンプの画像、絵文字、顔文字等のオブジェクトを削除する処理、コンテンツに含まれる用語を平易化する処理、コンテンツに含まれるWebサイトのアドレスを示す文字列を削除する処理、及びコンテンツに含まれる文章を要約する処理等を実行する。また、変換部112は、当該コンテキストに応じて、コンテンツに含まれる画像を認識し、当該画像の被写体を表す文字列に変換する処理、前記コンテンツに含まれる略語を当該略語の正式名称に変換する処理、及び前記コンテンツに含まれる文章の誤記を訂正する処理等を実行する。
変換部112は、例えば、コンテンツが伝達されるユーザの年齢が所定の閾値以下の子供である場合、AIを用いて、当該コンテンツに含まれる文章の用語(語句)を平易化し、より分かり易い文章のテキストに変換してもよい。また、変換部112は、例えば、コンテンツが伝達されるユーザの母語が外国語である場合、AIを用いて、当該コンテンツに含まれる文章を、当該外国語の文章のテキストに翻訳してもよい。
また、変換部112は、例えば、「政治のニュース」のコンテキストである場合、AIを用いて当該コンテンツの文章を要約し、当該コンテンツの文章を、要約した文章のテキストに変換してもよい。これにより、再生時間が短縮され、コンテンツを受信したユーザがより容易にコンテンツの内容を知ることができる。
また、変換部112は、例えば、「友人同士」のコンテキストである場合、当該コンテンツに含まれる写真の画像をAIにより画像認識し、画像認識された被写体を表す情報をテキストに変換してもよい。また、変換部112は、例えば、「友人同士」のコンテキストでない場合、文の後ろに付加されたオブジェクトを、効果音等のエフェクトに変換せず、当該オブジェクトに応じたテキストに変換してもよい。また、変換部112は、例えば、「友人同士」のコンテキストでない場合、スタンプの画像、絵文字、顔文字等のオブジェクトを削除してもよい。
また、変換部112は、例えば、「親しい友人同士」のコンテキストである場合、当該コンテンツに含まれる、アニメ、漫画、及び映画等で有名なセリフ等のテキストを、声優に発話されたテキストに変換してもよい。これにより、娯楽性を高めることができる。また、変換部112は、例えば、「親しい友人同士」のコンテキストである場合、スタンプの画像、及び絵文字等に応じたエフェクトの音量を比較的大きくする等により、より強調したエフェクトに変換してもよい。
また、変換部112は、例えば、「EC」のコンテキストである場合、当該コンテンツに含まれる、http等から始まる文字列を削除や要約してもよい。これは、広告のインスタントメッセージや、ECサイトに含まれる、Webサイトのアドレス(URL、Uniform Resource Locator)の文字列は、読み上げ不要と考えられるためである。更には、商品名を読み上げる場合において、商品名に販促目的で付加されている送料情報や、定型文からなる紹介文章などの情報は削除や要約してもよい。これにより、再生時間が短縮され、コンテンツを受信したユーザがより容易にコンテンツの内容を知ることができる。
また、変換部112は、例えば、当該コンテンツがSNSにより投稿されたメッセージである場合、ハッシュタグの後ろの英字等を略語と判断し、所定の辞書を用いて、当該略語に対する正式名称のテキストに変換してもよい。
また、変換部112は、例えば、コンテンツの作成者の属性として、当該コンテンツを送信した端末20Bの種別を取得する。そして、端末20Bがスマートフォンである場合、フリック入力、及びqwerty配列キーボードによる入力などで間違えやすい語句を変換するための辞書を用いて、綴り間違い等の誤記を訂正してもよい。
<実施形態の効果>
上述した実施形態によれば、画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツを、音出力用のデータに変換する。これにより、表示用のコンテンツの内容をより適切に音声等により伝達できるようにすることができる。また、これにより端末20を操作する回数や、端末20がサーバ10と通信する回数を減らすことができるため、結果的に端末20やサーバ10の負荷を軽減できるという効果が得られる。また、これにより、コンテンツを受信したユーザがより容易にコンテンツの内容を知ることができる。
本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。限定でなく例として、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。
1 通信システム
10 サーバ
110 制御部
111 音声コマンド処理部
112 変換部
113 送受信部
151 変換情報
20 端末
210 受付部
211 制御部
212 送受信部

Claims (11)

  1. 情報処理装置が、
    画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、
    判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行する情報処理方法。
  2. 前記変換する処理は、前記コンテンツを形態素解析し、前記コンテンツにおける文に含まれる前記オブジェクトを、当該文に応じた音出力用のデータに変換する、
    請求項1に記載の情報処理方法。
  3. 前記変換する処理は、
    当該一の文における前記オブジェクトの位置がサ変名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞に変換し、
    当該一の文における前記オブジェクトの位置がサ変名詞以外の名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞以外の名詞に変換する、
    請求項2に記載の情報処理方法。
  4. 前記変換する処理は、前記コンテンツにおける文の後に付加されている前記オブジェクトを、所定の効果音に変換する、
    請求項1乃至3のいずれか一項に記載の情報処理方法。
  5. 前記変換する処理は、前記コンテンツにおける文の後に付加されている前記オブジェクトを、当該文を読み上げる音声が出力されている間に出力される所定の効果音に変換する、
    請求項4に記載の情報処理方法。
  6. 前記変換する処理は、前記コンテンツにおける文に対する音声を、当該文の後に付加されている前記オブジェクトに応じた感情表現の音声で生成する、
    請求項1乃至5のいずれか一項に記載の情報処理方法。
  7. 前記変換する処理は、前記コンテンツの属性、前記コンテンツの作成者の属性、及び前記コンテンツが伝達されるユーザの属性の少なくとも一つに応じて、前記コンテンツを変換する、
    請求項1乃至6のいずれか一項に記載の情報処理方法。
  8. 前記変換する処理は、前記コンテンツの属性、前記コンテンツの作成者の属性、及び前記コンテンツが伝達されるユーザの属性の少なくとも一つに応じて、前記オブジェクトを削除する処理、前記コンテンツに含まれる用語を平易化する処理、前記コンテンツに含まれるWebサイトのアドレスを示す文字列を削除する処理、前記コンテンツに含まれる文章を要約する処理、前記コンテンツに含まれる画像を認識し、当該画像の被写体を表す文字列に変換する処理、前記コンテンツに含まれる略語を当該略語の正式名称に変換する処理、及び前記コンテンツに含まれる文章の誤記を訂正する処理の少なくとも一つを実行する、
    請求項7に記載の情報処理方法。
  9. 前記変換する処理は、SNS(Social Networking Service)におけるアカウントの情報に基づいて、前記コンテンツが伝達されるユーザの属性を判定する、
    請求項7または8に記載の情報処理方法。
  10. 画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、
    判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する変換部を有する情報処理装置。
  11. 情報処理装置に、
    画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、
    判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行させるプログラム。
JP2018130880A 2018-07-10 2018-07-10 情報処理方法、情報処理装置、及びプログラム Active JP7179512B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018130880A JP7179512B2 (ja) 2018-07-10 2018-07-10 情報処理方法、情報処理装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018130880A JP7179512B2 (ja) 2018-07-10 2018-07-10 情報処理方法、情報処理装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020009249A true JP2020009249A (ja) 2020-01-16
JP7179512B2 JP7179512B2 (ja) 2022-11-29

Family

ID=69151859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018130880A Active JP7179512B2 (ja) 2018-07-10 2018-07-10 情報処理方法、情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP7179512B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019186A1 (ko) * 2022-07-19 2024-01-25 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228947A (ja) * 2000-02-18 2001-08-24 Sharp Corp 表現データ制御システム、および、それを構成する表現データ制御装置、並びに、そのプログラムが記録された記録媒体
JP2003044072A (ja) * 2001-07-30 2003-02-14 Seiko Epson Corp 音声読み上げ設定装置、音声読み上げ装置、音声読み上げ設定方法、音声読み上げ設定プログラム及び記録媒体
JP2006184642A (ja) * 2004-12-28 2006-07-13 Fujitsu Ltd 音声合成装置
JP2007072511A (ja) * 2005-09-02 2007-03-22 Oki Electric Ind Co Ltd チャットシステム,チャットサーバ,プログラム,およびメッセージ交換方法
WO2009125710A1 (ja) * 2008-04-08 2009-10-15 株式会社エヌ・ティ・ティ・ドコモ メディア処理サーバ装置およびメディア処理方法
JP2011134334A (ja) * 2009-12-23 2011-07-07 Palo Alto Research Center Inc ショートテキスト通信のトピックを識別するためのシステムおよび方法
JP2011248508A (ja) * 2010-05-25 2011-12-08 Kyocera Corp 通信端末およびメール読み上げ方法
JP2012068910A (ja) * 2010-09-24 2012-04-05 Toshiba Alpine Automotive Technology Corp 情報処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228947A (ja) * 2000-02-18 2001-08-24 Sharp Corp 表現データ制御システム、および、それを構成する表現データ制御装置、並びに、そのプログラムが記録された記録媒体
JP2003044072A (ja) * 2001-07-30 2003-02-14 Seiko Epson Corp 音声読み上げ設定装置、音声読み上げ装置、音声読み上げ設定方法、音声読み上げ設定プログラム及び記録媒体
JP2006184642A (ja) * 2004-12-28 2006-07-13 Fujitsu Ltd 音声合成装置
JP2007072511A (ja) * 2005-09-02 2007-03-22 Oki Electric Ind Co Ltd チャットシステム,チャットサーバ,プログラム,およびメッセージ交換方法
WO2009125710A1 (ja) * 2008-04-08 2009-10-15 株式会社エヌ・ティ・ティ・ドコモ メディア処理サーバ装置およびメディア処理方法
JP2011134334A (ja) * 2009-12-23 2011-07-07 Palo Alto Research Center Inc ショートテキスト通信のトピックを識別するためのシステムおよび方法
JP2011248508A (ja) * 2010-05-25 2011-12-08 Kyocera Corp 通信端末およびメール読み上げ方法
JP2012068910A (ja) * 2010-09-24 2012-04-05 Toshiba Alpine Automotive Technology Corp 情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019186A1 (ko) * 2022-07-19 2024-01-25 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
JP7179512B2 (ja) 2022-11-29

Similar Documents

Publication Publication Date Title
US10827024B1 (en) Realtime bandwidth-based communication for assistant systems
US10242667B2 (en) Natural language generation in a spoken dialogue system
JP6484236B2 (ja) オンライン音声翻訳方法及び装置
US9047868B1 (en) Language model data collection
US20100302254A1 (en) Animation system and methods for generating animation based on text-based data and user information
US8494851B2 (en) System and method for contextual social network communications during phone conversation
US20180225306A1 (en) Method and system to recommend images in a social application
CN111753551B (zh) 基于词向量生成模型的信息生成方法和装置
JP2017515134A (ja) 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア
WO2022143105A1 (zh) 文本生成模型生成方法、文本生成方法、装置及设备
KR102081229B1 (ko) 텍스트 입력에 따른 실시간 이미지 출력 장치 및 방법
US8504906B1 (en) Sending selected text and corresponding media content
KR102076793B1 (ko) 음성을 통한 전자문서 제공 방법, 음성을 통한 전자문서 작성 방법 및 장치
US20150058724A1 (en) Virtual cultural attache
EP3155612A1 (en) Advanced recurrent neural network based letter-to-sound
CN111178056A (zh) 基于深度学习的文案生成方法、装置及电子设备
JP5121763B2 (ja) 感情推定装置、及び方法
WO2016203805A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR102188564B1 (ko) 어체 변환이 가능한 기계 번역 방법 및 시스템
KR20200080400A (ko) 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
WO2024099342A1 (zh) 翻译方法、装置、可读介质及电子设备
JP2023550211A (ja) テキストを生成するための方法および装置
CN111381819B (zh) 列表的创建方法、装置、电子设备及计算机可读存储介质
JP7179512B2 (ja) 情報処理方法、情報処理装置、及びプログラム
US20130227701A1 (en) Masking Mobile Message Content

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210412

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210521

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221116

R150 Certificate of patent or registration of utility model

Ref document number: 7179512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350