JP2023039544A - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2023039544A
JP2023039544A JP2021146707A JP2021146707A JP2023039544A JP 2023039544 A JP2023039544 A JP 2023039544A JP 2021146707 A JP2021146707 A JP 2021146707A JP 2021146707 A JP2021146707 A JP 2021146707A JP 2023039544 A JP2023039544 A JP 2023039544A
Authority
JP
Japan
Prior art keywords
data
semantic vector
information processing
input
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021146707A
Other languages
English (en)
Inventor
匠 加世田
Takumi Kaseda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2021146707A priority Critical patent/JP2023039544A/ja
Publication of JP2023039544A publication Critical patent/JP2023039544A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】ユーザーがより解釈しやすいデータを出力することができる情報処理システム、情報処理方法及びプログラムを提供する。【解決手段】情報処理システムは、複数の要素を有する入力データを受け付ける入力手段と、方向を有し当該方向により入力データの内容を示す1つの第1の意味ベクトルを取得する取得手段と、取得した第1の意味ベクトルを第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算手段と、第2の意味ベクトルの内容に含まれる複数の語句を抽出した出力データを生成する生成手段と、を備える。【選択図】図3

Description

この発明は、情報処理システム、情報処理方法及びプログラムに関する。
近年、自然言語処理の発展に伴い、入力された種々のデータに対して自然言語での応答を行う情報処理システムの開発が進んでいる。特許文献1には、入力文から単語対を抽出し、場合に応じて適宜な変形、変換処理を行ったうえで得られた単語対を含む文を合成して出力することで、ユーザーの発想を支援する技術が開示されている。
特開2019-86815号公報
しかしながら、現状では、構文などに関係なく幅広く選択された種々の用語間の対応関係や係り受けなどを機械的に定めるのを難しく、出力が全体として不可思議であったり意味不明であったりしてむしろユーザーが解釈できなくなるという課題がある。
この発明の目的は、ユーザーがより解釈しやすいデータを出力することができる情報処理システム、情報処理方法及びプログラムを提供することにある。
上記目的を達成するため、請求項1に記載の発明は、
複数の要素を有する入力データを受け付ける入力手段と、
方向を有し、当該方向により前記入力データの内容を示す1つの第1の意味ベクトルを取得する取得手段と、
取得した前記第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算手段と、
前記第2の意味ベクトルの内容に含まれる複数の語句を抽出した出力データを生成する生成手段と、
を備えることを特徴とする情報処理システムである。
また、請求項2記載の発明は、請求項1記載の情報処理システムにおいて、
前記生成手段は、前記第2の意味ベクトルの内容を一連のテキストとして、当該一連のテキスト中に含まれる前記複数の語句を抽出し、
前記一連のテキストは、不完全な文章である
ことを特徴とする。
また、請求項3記載の発明は、請求項1又は2記載の情報処理システムにおいて、
前記複数の語句は、単語又は熟語であることを特徴とする。
また、請求項4記載の発明は、請求項1~3のいずれか一項に記載の情報処理システムにおいて、
前記入力データは、画像データ、テキストデータ及び音声データのうち少なくともいずれかを含むことを特徴とする。
また、請求項5記載の発明は、請求項4記載の情報処理システムにおいて、
前記入力データには、テキストデータが含まれ、
前記テキストデータは文章データである
ことを特徴とする。
また、請求項6記載の発明は、請求項1~5のいずれか一項に記載の情報処理システムにおいて、
前記入力データには、非テキストデータが含まれ、
当該非テキストデータを、前記複数の要素を含むテキストデータに変換する変換手段を備える
ことを特徴とする。
また、請求項7記載の発明は、請求項4~6のいずれか一項に記載の情報処理システムにおいて、
前記入力データには、画像データが含まれ、
当該画像データには、写真データ、絵画データ、図形データ、及び文字データのうち少なくともいずれかが含まれる
ことを特徴とする。
また、請求項8記載の発明は、請求項4~6のいずれか一項に記載の情報処理システムにおいて、
前記入力データには、音声データが含まれ、
前記音声データには、スピーチ及び会話のうち少なくともいずれかのデータが含まれる
ことを特徴とする。
また、請求項9記載の発明は、
複数の要素を有する入力データを受け付ける入力ステップ、
方向を有し、当該方向により前記入力データの内容を示す1つの第1の意味ベクトルを取得する取得ステップ、
取得した前記第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算ステップ、
前記第2の意味ベクトルの内容に含まれる複数の語句を抽出して出力データを生成する生成ステップ、
を含むことを特徴とする情報処理方法である。
また、請求項10記載の発明は、
コンピューターを
複数の要素を有する入力データを受け付ける入力手段、
方向を有し、当該方向により前記入力データの内容を示す1つの第1の意味ベクトルを取得する取得手段、
取得した前記第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算手段、
前記第2の意味ベクトルの内容に含まれる複数の語句を抽出して出力データを生成する生成手段、
として機能させることを特徴とするプログラムである。
本発明に従うと、ユーザーがより解釈しやすいデータを出力することができるという効果がある。
本実施形態の情報処理システムを示す構成図である。 意味ベクトルから戻された文字列に対する処理の例を示す図である。 変換出力制御処理の制御手順を示すフローチャートである。 発想支援制御処理の制御手順を示すフローチャートである。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本実施形態の情報処理システム1を示す構成図である。
情報処理システム1は、情報処理装置10と、データベース装置20と、端末装置30などを備える。情報処理システム1は、特には限られないが、例えば、端末装置30からの入力操作に基づいて情報処理装置10により発想支援処理を行い、処理結果が端末装置30へ出力されて、当該端末装置30で知得可能とされるものである。
情報処理装置10は、制御部11(取得手段、演算手段、生成手段、変換手段)と、記憶部12と、通信部13(入力手段)などを備える通常のサーバー用コンピューターである。制御部11は、CPU(Central Processing Unit)などのハードウェアプロセッサーを有し、情報処理装置10の全体動作を統括制御する。制御部11は、複数のCPUを有していてもよく、これらは、共通の処理を並列に処理を行ってもよいし、用途ごとに各々独立して演算処理を行ってもよい。
記憶部12は、RAM(Random Access Memory)と不揮発性メモリとを有する。RAMは、CPUに作業用のメモリ空間を提供し、一時データを記憶する。不揮発性メモリは、プログラム121や設定データなどを記憶保持する。不揮発性メモリは、例えばフラッシュメモリであるが、HDD(Hard Disk Drive)などが含まれてもよい。また、不揮発性メモリには、ネットワークドライブやクラウドストレージなどが含まれていてもよい。
プログラム121には、数値化処理部1211と、テキスト変換部1212とが含まれる。数値化処理部1211は、テキストデータを多次元ベクトル(意味ベクトル)に変換し、又は多次元ベクトルをテキストデータに変換する処理を行う。テキスト変換部1212は、画像データや音声データを認識して文章テキストデータに変換する処理を行う。
通信部13は、外部機器との間での通信を制御するネットワークカードなどを有する。通信部13は、例えば、LAN(Local Area Network)の規格などに基づいて外部機器との通信を制御することが可能であってよい。
データベース装置20は、数値化処理部1211がテキストと意味ベクトルとの間で変換するための対応データを記憶するデータベースであり、記憶部21を有する。すなわち、記憶部21には、テキスト(語句や文)と意味ベクトルとを対応付けた用語データ211が記憶されている。
データベース装置20は、情報処理装置10から通信部13を介してネットワーク上でアクセス可能になっている。
端末装置30は、情報処理装置10に対して処理を依頼し、また、情報処理装置10から処理結果を受信、取得する。端末装置30は、制御部31と、記憶部32と、表示部33(出力手段)と、操作受付部34と、通信部35などを備える。
制御部31は、CPUを有し、端末装置30の全体動作を統括制御する。
記憶部32は、RAMと不揮発性メモリとを有する。RAMは、CPUに作業用のメモリ空間を提供し、一時データを記憶する。不揮発性メモリは、制御プログラムや設定データなどを記憶する。
表示部33は、表示画面を有し、制御部31の制御に基づいて表示画面への表示動作を行う。表示画面は、例えば、液晶ディスプレイ(LCD)であり、当該LCDの解像度で表示可能な範囲で文字、図形や画像を表示することができる。また、表示部33は、電力供給の有無、記憶部32へのアクセス状況や充電状況などを示すためのLEDランプを有していてもよい。
操作受付部34は、外部からの入力操作を受け付けて、操作信号を生成し、当該操作信号を制御部31へ出力する。操作受付部34は、例えば、キーボードやポインティングデバイス(マウスなど)を含む。これに加えて又は代えて、操作受付部34は、表示画面と重なって位置するタッチパネルを有し、タッチ操作を検出して操作信号を生成するものであってもよい。
通信部35は、外部機器との通信を制御する。通信部35は、LANを介して情報処理装置10との通信を行うことが可能である。
次に、情報処理システム1における発想支援動作について説明する。
情報処理システム1では、予め文書を分散表現(多次元ベクトル化)するための学習済モデルがデータベース装置20の記憶部21に記憶されており、端末装置30から通信部13を介して入力された(受け付けられた)入力データが当該学習済モデルにより多次元ベクトルに変換される。この多次元ベクトルは、意味に応じた方向を有する意味ベクトルであり、演算が可能である。例えば、2つの意味ベクトルを加算することで、当該2つの意味を有するベクトル方向となる。次元数は、適宜定められてよいが、例えば、50-200次元程度とされる。この意味ベクトルを演算処理することにより、元の意味ベクトルとは異なる方向に変換したうえで、変換されたベクトルをテキストに戻して出力することで、入力内容とは異なる出力内容が得られる。演算の種類によって、ある程度入力内容に基づく内容、又は入力内容とは異なる内容を得ることができる。
各々個別に意味を持つ複数の要素(語句)を有する文章(入力データ、テキストデータ)の内容を意味ベクトル化する(第1の意味ベクトルを取得する)技術としては、wоrd2vecを拡張させたdоc2vecが知られている。dоc2vecは、入力文書の内容を、語句などに分解し、各語句の出現頻度、組み合わせや出現順などを考慮しつつ(考慮しないアルゴリズムもある)、分散表現するように学習された教師なし学習済モデルを利用する技術である。語句への分解は、従来周知の技術、例えば、形態素解析によって行われればよい。
なお、取得される入力データは、必ずしもテキストデータでなくてもよい。入力データが非テキストデータ、例えば、画像データや音声データの場合には、テキスト変換部1212の処理動作により、これらの内容の認識処理を行ってテキストデータに変換してから、テキストデータと同一の処理が行われればよい。
音声データに対しては、例えば、会話やスピーチなどで発せられた言葉を認識して逐次テキスト化する処理が行われればよい。このとき、単に言葉だけをテキスト化するのではなく、話し方の癖、声の質、音量、話す速さ(相対的な変化であってもよい)などの情報が併せてテキストデータに含まれてもよい。これらの追加情報は、特定のフォーマット、例えば、括弧書きなどによって識別可能とされてもよい。声の質などは、例えば、音声の周波数解析などに基づいて判定されてもよい。音量は、録音状態にも依存するので、絶対値ではなく、話の中での、及び/又は複数の話し手の間での相対的な差異などにより判定されればよい。話す速さは、一音当たりの平均的な長さなどに基づいて判定されればよい。
画像データに関しては、当該画像データの内容が文字(文字形状データ)であれば、周知のOCR(Optical Character Reader)の技術に従って、各文字形状を認識してテキスト化すればよい。この場合に、文字のフォントサイズ、フォント種別や文字の色などのデザイン情報、縦書き、横書き、手書きでのばらつきなどの情報が併せてテキストデータに含まれてもよい。また、画像データの内容が図形、絵画、風景など又はこれらの撮影画像(写真)である場合には、周知の画像認識処理(例えば、畳み込みニューラルネットワークを用いる)を行い、画像の内容を認識して対応するテキストに変換する。この場合も、認識した内容だけではなく、認識された位置やサイズ(画像内に占める割合)、重なりや位置関係などの情報をテキストデータに含むこととしてもよい。
また、入力データは、複数種類のデータの組み合わせ、例えば、図面などが付されたテキストデータであってもよい。この場合には、画像部分を認識処理してテキスト化したうえで、例えば、当該画像に該当するテキスト内に得られたテキストを挿入してもよい。また、独立した複数の入力内容の組み合わせであってもよく、この場合には、単純に2つの入力データのテキストが順番に並べられてもよい。
得られた意味ベクトルは、適宜な異なる方向へ変換する演算がなされて変換後の意味ベクトル(第2の意味ベクトル)が得られる。発想支援のために得られる第2の意味ベクトルは、第1の意味ベクトルに類似し過ぎると意味がないので、例えば、コサイン類似度やユークリッド距離などで所定の差分を有するように変換方向が定められてもよい。また、多次元ベクトルの各成分のうち、一部の成分、成分値の大きいものを大きく変更させたり、反対に成分値の大きいものを固定して他の成分値を変更させたりすることも可能であってよい。あるいは、得られた第1の意味ベクトルに対して、基準となる多次元ベクトルを加減算させたりしてもよい。
このように文章を分散表現した意味ベクトルは、内容のカテゴリーなどに応じて設定された次元数に圧縮された内容となるので、文章の類似性などを定量的に評価して、得られた類似文書を抽出、出力するには好適に用いられている指標である。しかしながら、この意味ベクトルを再度文章に戻すのは難しく、自然言語表現として人間が適切に理解可能な文章が得られづらい。
情報処理システム1では、得られた意味ベクトルを文字列(一連のテキスト)のデータに戻した(逆変換した)後、通常、不完全な文章となるこの文字列中に出現する意味のある複数の語句を抽出して、当該語句を区切って羅列した出力データを生成する。この出力データを出力することで、文章としての不自然さや無意味な係り受け、意味の通じない文字列や重複する文字などを出力から除外する。
図2は、意味ベクトルから戻された文字列に対する処理の例を示す図である。
図2(a)のように出力される意味列が文として意味をなしていない場合であっても、図2(b)のように、まず形態素解析などにより単語に区切ったうえで、付属語や重複語句などを除外した独立語を選択する。これらのうち、状況に応じて図2(c)に示すように、名詞やサ変動詞の語幹となる名詞などを更に抽出してもよい。
このように、意味のある語句(単語)のみを抽出し、並べて出力することで、意味ベクトルが、どのような語句の組み合わせを意味するものであるのかを把握しやすくなる。なお、文字列中に熟語として意味が通っている部分などがある場合には、区切らずにまとめて当該熟語を出力の対象としてもよい。
抽出された出力対象のデータは、制御部11により通信部13を介して端末装置30へ送られ、特には限られないが、制御部31の制御により表示部33が表示することで出力される。
図3は、本実施形態の情報処理装置10で実行される変換出力制御処理の制御部11による制御手順を示すフローチャートである。この変換出力制御処理は、端末装置30から入力データが通信部13などを介して受信されることで、開始される。
変換出力制御処理が開始されると、制御部11(CPU)は、受信された入力データを受け付け、取得する(ステップS101;入力手段、入力ステップ)。制御部11は、取得された入力データがテキストデータであるか否かを判別する(ステップS102)。テキストデータではないと判別された場合には(ステップS102で“NO”;テキストデータではないものが一部含まれる場合を含む)、制御部11は、テキスト変換部1212により、非テキスト部分の入力データをテキスト文書データに変換する(ステップS103)。それから、制御部の処理は、ステップS104へ移行する。入力データがテキストデータであると判別された場合には(ステップS102で“YES”)、制御部の処理は、ステップS104へ移行する。
ステップS104の処理へ移行すると、制御部11は、テキスト文書データを予め定められた次元数の意味ベクトルに変換する(ステップS104;取得手段、取得ステップ)。変換は、例えば、上記のようにdоc2vecを用いて行われればよい。制御部11は、得られた意味ベクトルに対して所定の演算処理を行う(ステップS105;演算手段、演算ステップ)。演算処理としては、例えば、意味ベクトルのうち一部の成分を維持しながらコサイン類似度が所定の値を示す方向のうちいずれかをランダムに取得する処理などが行われてもよい。
制御部11は、演算で得られ意味ベクトルを一連のテキストに逆変換する(ステップS106)。逆変換で得られるテキストは、上記のように、一般的には自然言語として正確な表現のものが得られにくく、意味が不明瞭であったり不自然な係り受けが生じたりし得る。制御部11は、得られたテキストを形態素解析などにより語句に分解して、条件を満たす語句を抽出した出力データを生成する(ステップS107;生成手段、生成ステップ)。条件を満たす語句は、上記のように、例えば、単純に独立語を抽出するものであってもよいし、名詞などに限定されてもよい。また、形容詞や動詞などが適宜基本形に変換されて抽出されてもよい。
制御部11は、通信部13を介して、抽出された語句のリストを入力データの送信元に対して返信出力する(ステップS108)。そして、制御部11は、変換出力制御処理を終了する。
図4は、端末装置30により実行される発想支援制御処理の制御部31による制御手順を示すフローチャートである。
発想支援制御処理が開始されると、制御部31は、発想のもととなる入力データの設定を行う(ステップS301)。設定は、例えば、ユーザーの操作受付部34への入力操作に基づいて、文書データファイル、画像データファイルや音声データファイルを指定したり、表示部33により表示されている文書、画像などのうち一部を選択したりする命令を受け付けることでなされる。あるいは、制御部31は、テキスト入力欄に入力された文章を入力データとして設定してもよいし、図示略の音声入力端子に接続されたマイクロフォンなどを介してユーザーが話した内容を録音して入力データとしてもよい。
制御部31は、設定された入力データを、通信部35を介して情報処理装置10へ送信する(ステップS302)。制御部31は、情報処理装置10からの返信を待ち受けて、当該情報処理装置10からの返信データ、すなわち、変換出力制御処理のステップS108で出力された語句のリストデータを受信する(ステップS303)。
制御部31は、この語句のリストデータを受信すると、表示部33によりリストデータに含まれる語句を羅列表示させることで出力動作を行わせる(出力手段、出力ステップ)。そして、制御部31は、発想支援制御処理を終了する。
なお、逆変換で得られた一連のテキストから、単純に意味のある語句を抜き出すものではなくてもよい。例えば、得られた意味ベクトルに対して、意味ベクトルの方向の近い文章データを保持している場合には、当該文章内の語句と、抽出された語句とを比較して、意味の重なる語句をさらに選択して出力対象としてもよい。意味ベクトル間における方向の近さは、特には限られないが、例えば、コサイン類似度やユークリッド距離などによって決定されてもよい。当該文章データに含まれる語句は、例えば、BoW(Bag of Words)などで予めリスト化されていてもよい。抽出された語句のうち、BoWで頻出単語とされる語句や特徴的な語句などを更に選択して出力対象の語句としてもよい。
以上のように、本実施形態の情報処理システム1は、複数の要素(意味を持つ単語、図形など)を有する入力データを受け付ける通信部13と、制御部11と、表示部33などを備える。制御部11は、取得手段として、方向を有し、当該方向により入力データの内容を示す第1の意味ベクトルを取得し、演算手段として、取得した第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行い、生成手段として、第2の意味ベクトルの内容に含まれる複数の語句を抽出する。
このように、複数の要素に関係するような意味ベクトル(第2の意味ベクトル)から文章などの一連のテキストに戻そうとすると、意味ベクトルの特性上、自然で適切な係り受けや文法構造での文を得るのが難しい。そこで、当該意味ベクトルから変換されたテキスト内の語句(ここでいう語句は、主に独立語などの意味を有する最小限の要素、又は熟語などの定型表現としてまとめられた最小限の長さの複数の要素列であり、各々異なる意味を持つ要素(単語など)が任意に連なった一般的な文や文節を意味しない)、を羅列表示することで、より明確に内容の要点のみを当該ユーザーに知得させることができ、ユーザーが出力内容の解釈を行いやすくすることができる。また、完全なものを出力する必要がないので、dоc2vecなどの意味ベクトル変換に係る学習量が多少不足しても用途によっては(発想支援などでは)意味のある出力が得られる。
また、制御部11は、生成手段として、第2の意味ベクトルの内容を一連のテキストとして、当該一連のテキスト中に含まれる複数の語句を抽出する。このとき、一連のテキストは、不完全な文章である。上記のように、意味ベクトルから文章を得ようとしても、自然言語表現として適正な表現が通常では得られない。したがって、その不完全な文章から単語や熟語などの語句を抽出して、意味が不明瞭な係り受け関係や重複などを排除して単純に表示させることで、容易に情報が整理されてよりユーザーが出力内容を知得しやすくなる。
また、複数の語句は、単語又は熟語であってもよい。このように、情報処理システム1では、定型外の単語間のつながりを排除して、シンプルに最小単位での出力データとすることで、ユーザーが出力内容を知得しやすくすることができる。
また、入力データは、画像データ、テキストデータ及び音声データのうち少なくともいずれかを含む。すなわち、初めからテキストデータでなくても、適宜意味ベクトルに変換できればよいので、幅広い入力データに対応することができる。
また、入力データには、テキストデータが含まれ、テキストデータは文章データであってもよい。このように、文章をまるごと入力としても、当該文章の内容種別に応じて数値化された意味ベクトルを取得可能であり、当該意味ベクトルに適宜な変換を加えた意味ベクトルに応じた内容の語句を出力データとして得ることができる。したがって、ユーザーが入力データの内容をいちいち整理する必要がなく、容易に興味、注目の対象となる文章に基づいて得られた内容の要点を得ることが可能となる。
また、入力データには、非テキストデータが含まれ、制御部11は、変換手段として、当該非テキストデータを、前記複数の要素を含むテキストデータに変換することができてよい。すなわち、非テキストデータが入力された場合には、一度テキストデータに変換してから意味ベクトルを取得することで、変換処理以外の処理をテキストデータの入力と統一することができ、これにより処理を複雑化させずに多様なデータに対するシンプルな出力データを得ることができる。
また、入力データには、画像データが含まれ、当該画像データには、写真データ、絵画データ、図形データ、及び文字データのうち少なくともいずれかが含まれてもよい。すなわち、画像データは、文章などの文字列を撮影したものであってもよいし、文字ではない図画であったり、人、物体や風景などを表す写真や絵画などであってもよい。画像データにより示される画像には、多くの情報が含まれ得るので、主要な対象物の名称の認識だけではなく、複数の意味を含む細かい認識を行うことによる複数の文や文節によるテキスト化、例えば、対象物の表情(動物に限らない)、想定される動きの内容、大きさ、色彩など、複数の対象物の位置関係、大小関係など、背景との関係性などといった詳しいテキストを入力データとすることができる。
また、入力データには、音声データが含まれ、音声データには、スピーチ及び会話のうち少なくともいずれかのデータが含まれていてもよい。すなわち、文字化されていない音声データであっても入力データとされてよい。例えば、打合せの会話の録音データなどから事前にテキストを生成して要点などをユーザーが整理する必要なく、適宜な語句データのリストを得ることができる。
また、本実施形態の情報処理方法は、複数の要素を有する入力データを受け付ける入力ステップ、方向を有し、当該方向により入力データの内容を示す1つの第1の意味ベクトルを取得する取得ステップ、取得した第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算ステップ、第2の意味ベクトルの内容に含まれる複数の語句を抽出して出力データを生成する生成ステップ、を含む。
この情報処理方法によれば、意味ベクトルとして表された出力内容を自然言語により文章化する手間を省略し、語句の一覧として出力するので、手間がかからず、かつユーザーに対して不明瞭な内容を示すのを抑制することができる。よって、情報処理方法によれば、ユーザーが解釈を行いやすい出力データを得ることができる。
また、本実施形態のプログラム121をコンピューター(CPU11)が実行することで、文書のような複数の意味を含む内容を表す意味ベクトルの当該内容を出力する際に、特別かつ専用のハードウェアを利用せずにソフトウェア処理で容易にユーザーが理解しやすい出力を得ることができるので、汎用のPCなどでも多様なユーザーが幅広く容易に利用可能である。
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、意味ベクトルへの変換などにdоc2vecを用いるものとして説明したが、これに限られるものではない。意味に応じたベクトル数値化が可能なものであればどのようなものであってもよい。
また、上記実施の形態では、入力データやこれをテキスト化したものは、文章化され得るものであるものとして説明したが、入力データのテキストデータや音声データの話の内容、画像データで取り込まれた文字列がきちんと文章化されているものである必要はない。複数の箇条書きが並んでいたり、句点読点などが正確に用いられていなかったりするようなメモ類などであってもよい。また、複数のソースから各々文などが取得されて組み合わされたデータが入力データとされてもよい。
また、出力データにおける各語句の表示順は、第2意味ベクトルを一連のテキストとした場合の出現順には限られない。単純に五十音順などで順番が定められてもよいし、出力に名詞の他に形容詞や動詞なども含む場合には、品詞ごとに出力順がまとめられてもよい。
また、上記実施の形態では、出力は単語や熟語に限定されるものとして説明したが、必ずしもこれに限られなくてもよい。文を組み立てるような処理を行わなければ、もともとつながって出力された単語をそのままつなげて出力するなどしてもよい。
また、上記実施の形態では、非テキストデータを一度テキストデータに変換してから意味ベクトルを取得することとしたが、テキストデータを介さずに直接非テキストデータから意味ベクトルが取得可能な場合には、テキストデータへの変換が行われなくてもよい。また、テキストデータへの変換は、表示内容を示すものに限られない。例えば、著名な絵画の画像データの場合には、当該絵画のタイトルや作者名がテキストの内容とされてもよい。
また、上記実施の形態では、入出力を行う端末装置30と、意味ベクトルに係る処理を行う情報処理装置10とが分かれた情報処理システム1を例に挙げて説明したが、これに限られない。全て一台の情報処理装置(PCなど)で処理がなされてもよい。あるいは、処理が更に複数台のコンピューターに分割、分散されて行われてもよい。
また、上記実施の形態では、発想支援動作としての処理を前提として説明したが、これに限られるものではない。例えば、入力内容に応じた要点の整理や、入力されたトピックに対応する又は関係しない語句の検索などに用いられてもよい。
また、入出力されるテキストは日本語ではなくてもよい。また、入力テキストの言語と出力テキストの言語とが異なっていてもよい。
また、以上の説明では、本発明の意味ベクトルに基づく語句の出力データ生成を制御する変換出力制御に係るプログラム121を記憶するコンピューター読み取り可能な媒体としてHDDや、フラッシュメモリなどの不揮発性メモリなどからなる記憶部12を例に挙げて説明したが、これらに限定されない。その他のコンピューター読み取り可能な媒体として、MRAMなどの他の不揮発性メモリや、CD-ROM、DVDディスクなどの可搬型記憶媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
1 情報処理システム
10 情報処理装置
11 制御部
12 記憶部
121 プログラム
1211 数値化処理部
1212 テキスト変換部
13 通信部
20 データベース装置
21 記憶部
211 用語データ
30 端末装置
31 制御部
32 記憶部
33 表示部
34 操作受付部
35 通信部

Claims (10)

  1. 複数の要素を有する入力データを受け付ける入力手段と、
    方向を有し、当該方向により前記入力データの内容を示す1つの第1の意味ベクトルを取得する取得手段と、
    取得した前記第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算手段と、
    前記第2の意味ベクトルの内容に含まれる複数の語句を抽出した出力データを生成する生成手段と、
    を備えることを特徴とする情報処理システム。
  2. 前記生成手段は、前記第2の意味ベクトルの内容を一連のテキストとして、当該一連のテキスト中に含まれる前記複数の語句を抽出し、
    前記一連のテキストは、不完全な文章である
    ことを特徴とする請求項1記載の情報処理システム。
  3. 前記複数の語句は、単語又は熟語であることを特徴とする請求項1又は2記載の情報処理システム。
  4. 前記入力データは、画像データ、テキストデータ及び音声データのうち少なくともいずれかを含むことを特徴とする請求項1~3のいずれか一項に記載の情報処理システム。
  5. 前記入力データには、テキストデータが含まれ、
    前記テキストデータは文章データである
    ことを特徴とする請求項4記載の情報処理システム。
  6. 前記入力データには、非テキストデータが含まれ、
    当該非テキストデータを、前記複数の要素を含むテキストデータに変換する変換手段を備える
    ことを特徴とする請求項1~5のいずれか一項に記載の情報処理システム。
  7. 前記入力データには、画像データが含まれ、
    当該画像データには、写真データ、絵画データ、図形データ、及び文字データのうち少なくともいずれかが含まれる
    ことを特徴とする請求項4~6のいずれか一項に記載の情報処理システム。
  8. 前記入力データには、音声データが含まれ、
    前記音声データには、スピーチ及び会話のうち少なくともいずれかのデータが含まれる
    ことを特徴とする請求項4~6のいずれか一項に記載の情報処理システム。
  9. 複数の要素を有する入力データを受け付ける入力ステップ、
    方向を有し、当該方向により前記入力データの内容を示す1つの第1の意味ベクトルを取得する取得ステップ、
    取得した前記第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算ステップ、
    前記第2の意味ベクトルの内容に含まれる複数の語句を抽出して出力データを生成する生成ステップ、
    を含むことを特徴とする情報処理方法。
  10. コンピューターを
    複数の要素を有する入力データを受け付ける入力手段、
    方向を有し、当該方向により前記入力データの内容を示す1つの第1の意味ベクトルを取得する取得手段、
    取得した前記第1の意味ベクトルを当該第1の意味ベクトルとは異なる方向を有する第2の意味ベクトルに変換する演算を行う演算手段、
    前記第2の意味ベクトルの内容に含まれる複数の語句を抽出して出力データを生成する生成手段、
    として機能させることを特徴とするプログラム。
JP2021146707A 2021-09-09 2021-09-09 情報処理システム、情報処理方法及びプログラム Pending JP2023039544A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021146707A JP2023039544A (ja) 2021-09-09 2021-09-09 情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021146707A JP2023039544A (ja) 2021-09-09 2021-09-09 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023039544A true JP2023039544A (ja) 2023-03-22

Family

ID=85613861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021146707A Pending JP2023039544A (ja) 2021-09-09 2021-09-09 情報処理システム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2023039544A (ja)

Similar Documents

Publication Publication Date Title
EP3850624B1 (en) Transforming audio content into images
CN110301117B (zh) 用于在会话中提供响应的方法和装置
US7853582B2 (en) Method and system for providing information services related to multimodal inputs
US9093072B2 (en) Speech and gesture recognition enhancement
JP5257071B2 (ja) 類似度計算装置及び情報検索装置
KR101160597B1 (ko) 의미 연관성에 기초한 콘텐츠 검색
CN110297868A (zh) 构建企业特定知识图
US20040111272A1 (en) Multimodal speech-to-speech language translation and display
EP4336490A1 (en) Voice processing method and related device
US8370323B2 (en) Providing information services related to multimodal inputs
US10223349B2 (en) Inducing and applying a subject-targeted context free grammar
RU2712101C2 (ru) Предсказание вероятности появления строки с использованием последовательности векторов
Gygli et al. Efficient object annotation via speaking and pointing
Tymoshenko et al. Real-Time Ukrainian Text Recognition and Voicing.
US11704090B2 (en) Audio interactive display system and method of interacting with audio interactive display system
JP2023039544A (ja) 情報処理システム、情報処理方法及びプログラム
US20200387806A1 (en) Idea generation support device, idea generation support system, and recording medium
CN114676684B (zh) 一种文本纠错方法、装置、计算机设备及存储介质
US20240106776A1 (en) Sign Language Translation Method And System Thereof
US20220245382A1 (en) Generating Assistive Indications Based on Detected Characters
Sevilla et al. Tools for the Use of SignWriting as a Language Resource
JP2007213554A (ja) コンピュータにより実施される、確率論的クエリーに対して順位付けした結果セットをレンダリングする方法
Gangiredla et al. Design and Implementation of Smart Text Reader System for People with Vision Impairment
CN116430999A (zh) 一种语音助手实现指尖视觉交互技术的方法和系统
CN116778498A (zh) 开放版式文档的播放方法、装置、电子设备及存储介质