JP2018163641A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】ユーザによる情報操作の利便性を向上することができる、ユーザフレンドリーが高い情報処理方法及び情報処理装置を提供する。【解決手段】情報処理装置は、タッチパネル式ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ステップＳ１０１と、タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ステップＳ１０２と、注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、単語分割及び固有表現識別の結果を取得する第１の自然言語理解ステップＳ１０３と、注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ステップＳ１０４と、語義セグメントをマークするようにディスプレイに注目テキストを表示する表示ステップＳ１０５と、を含む。【選択図】図２

Description

本発明は、表示テキストを処理するための情報処理装置及び情報処理方法に関する。

現在、携帯電話やタブレットなどのタッチスクリーンディスプレイを備えた情報処理装置の普及に従って、人々はほぼ毎日、携帯電話やタブレットなどの情報処理装置を利用して、例えばショートメッセージ、インスタントメッセージングソフトウェア、ウェブページまたはアプリケーションプログラムにおけるニュースなど、大量なテキスト情報を送受信し、ブラウジングまたは処理するようになっている。情報処理装置のユーザは、ブラウジングしたテキスト情報からキー情報を選択してさらに操作しようとする（例えば、アドレスを選択してナビゲーションを行うこと、時間、アドレス及びイベントを選択してリマインダーを作成すること、映画のタイトル（演劇名または観光スポットなど）を選択して映画チケット（演劇チケットまたは観光スポットのチケットなど）を買うこと、レストランを選択して注文すること、料理名またはレストランを選択して注文または予約すること、あるいは、ホテル名を選択してルーム予約を行うことなどが考えられる）とき、複数ステップの操作（例えば、情報を選択し、コピーの操作を行い、現在のページを閉じ、相応なソフトウェアを見つけ、相応なソフトウェアまたはウェブページを開き、ペーストすることなど）を行う必要があるので、操作が煩雑となり、時間がかかり、便利ではない。

上記の問題に対して、出願公開番号がＣＮ１０６３２５６８８Ａの中国特許出願には、単語分割の技術によって、タッチパネル端末のユーザによる文字情報からのキーワードの選択に基づく検索や転送操作に利便性を図る文字処理方法及び装置が提案されている。しかし、上記の方法では、ユーザによるキーワードの選択に利便性を図るために、テキスト情報に対して単語分割を行うだけであり、テキスト情報に対する語義構造の分析を行って語義セグメントを取得することもなく、潜在的なユーザの意図を自動的に識別することもない。そのため、ユーザは、語義セグメントを選択し、または選択してさらに操作しようとするとき、それぞれの分割された単語ごとに選択して操作する必要があり、かつ、選択した文字に対して例えば、別のアプリケーションプログラムまたはウェブサイトなどへ入力するような次の操作を行う必要がある場合、現在のインターフェースから手動的にログアウトして、操作されるアプリケーションプログラムまたはウェブページを手動的に見つけてウェイクアップし、さらにその前に選択したキーワードを入力しなければならない。こんな次の操作の過程では、相変わらず複数ステップの操作を行う必要があり、操作に要する時間が長く、便利ではない。

また、出願公開番号がＣＮ１０６１５５５５０Ａの中国特許出願には、端末インターフェースにおける文字タッチ信号に基づいて、タッチされた文字とその隣接した文字との組み合わせが電話番号、ネットホットワードなどの予め設定されたタイプのオブジェクトか否かを判断して、それに対応した提示情報、例えば通話発信、単語解釈などを表示するインターフェースの表示方法及び装置が提案されている。しかし、上記の方法では、連続的な文字セグメントしか処理できず、テキスト全体からユーザの意図を判断することができなく、ユーザの潜在的な意図を反映できる構造化語義セグメントを自動的に抽出してユーザによる意図の確認に利便性を図ることができなく、さらに、不連続的な複数の文字セグメントに基づいて提示情報を総合的に生成することもできない。例えば、ユーザが不連続的な複数の文字セグメントを同時に選択して次の操作を１回限りで行う（例えば、時間セグメント、アドレスセグメントおよびイベント名称のセグメントを同時に選択してリマインダーを作成する）という要望を満たすことができない。

本発明は、従来技術における上記の問題に鑑みてなされたものである。本発明は、ユーザによる情報操作の利便性を向上することができる、ユーザフレンドリーが高い情報処理方法及び情報処理装置を提供することを目的にしている。

本発明の第１の態様は、情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置に用いられる情報処理方法を提供し、当該情報処理方法は、ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ステップと、検出された特定のタッチ操作に基づき、タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ステップと、注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ステップと、注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ステップと、語義セグメントをマークするようにディスプレイに注目テキストを表示する表示ステップと、を含む。本発明の上記構成要件によれば、以下のような技術的効果を実現した。即ち、ユーザは、語義セグメントに含まれた全ての分割された単語を１回限りの操作で選択することができ、ユーザによる操作の利便性を向上し、注目テキストに語義セグメントをマークすることで、ユーザは、その情報の語義構造を一目瞭然のように把握することができ、ユーザによる閲覧のフレンドリーを向上し、語義セグメントを取得してマークすることにより、そのセグメントに含まれた全ての分割された単語または固有表現に対する自動的な選択を可能にし、ユーザによる次の操作に利便性を図る。

好ましくは、当該情報処理方法は、注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ステップと、予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ステップと、をさらに含み、前記表示ステップでは、語義セグメントをマークするように注目テキストを表示し、かつ、確定された候補操作を操作可能に表示する。本発明の上記構成要件によれば、ユーザ意図への識別、候補操作への確定および候補操作への表示により、ユーザによる１回限りの操作だけで、ユーザ意図を反映する候補操作を表示することができ、さらに、ユーザによる操作の利便性を向上させることができる。

好ましくは、語義セグメントをマークするように注目テキストが表示された表示インターフェースに、確定された候補操作を操作可能に表示する。本発明の上記構成要件によれば、以下のような技術的効果を実現した。即ち、言語構造化された語義セグメントが表示された表示インターフェースに操作候補を操作可能に表示することで、ユーザは、現在の表示インターフェースを閉じてから操作に対応した表示インターフェースをさらに開くことなく、同一のインターフェースに操作候補を選択することだけで、テキストにおけるキー語義セグメントへの自動的な操作を実現することができ、インターフェースのフレンドリーやユーザによる操作の利便性を向上した。

好ましくは、ユーザ意図取得ステップでは、さらに、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶し、かつ、当該情報処理方法は、表示された候補操作に対するユーザの選択を検出するユーザ選択受付ステップと、それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、ウェイクアップ操作に導入する語義セグメントとして、ユーザが選択した候補操作をウェイクアップする操作ウェイクアップステップと、をさらに含む。本発明の上記構成要件によれば、以下のような技術的効果を実現した。即ち、操作ウェイクアップステップによって、ユーザが選択した候補操作（例えば、アプリケーション）は、テキストにおけるキー語義セグメントに対して自動的に所望の操作を行うことができるようになり、インターフェースのフレンドリー及びユーザによる操作の利便性を向上した。

好ましくは、当該情報処理方法は、表示された語義セグメントに対するユーザの選択を検出したか否かを判断する語義セグメント選択判断ステップと、ユーザが語義セグメントを選択したことを検出したと判断された場合、ユーザが選択した語義セグメントを注目テキストとして、ユーザが選択した語義セグメントに第２の自然言語理解処理を適用する注目テキストリセットステップと、をさらに含む。本発明の上記構成要件によれば、以下のような技術的効果を実現した。即ち、ユーザが選択した語義セグメントを一緒に合わせて第１の実施例における過程を新たに実行することができるし、第１の実施例の結果を部分的または全部活用して、後続の操作を行うこともできるので、インターフェースのフレンドリー及びユーザによる操作の利便性を向上した。

好ましくは、ユーザ意図取得ステップでは、さらに、注目テキストにおける各語義セグメントに対してユーザ意図への識別を行うことで、ユーザ意図を反映可能な各語義セグメントに対応したユーザ意図を取得し、かつ、候補操作確定ステップでは、取得された各ユーザ意図に対応した候補操作を確定する。本発明の上記構成要件によれば、以下のような技術的効果を実現した。即ち、注目テキストに対応した候補操作を、ユーザ意図を反映可能な各語義セグメントの候補操作とともに、ユーザに表示することで、ユーザは注目テキストまたは注目テキストにおける語義セグメントに対して所望の操作をさらに行いやすくすることができ、インターフェースのフレンドリー及びユーザによる操作の利便性を向上した。

好ましくは、前記表示ステップでは、語義セグメントのマークを付けて単語分割するように注目テキストを表示する。

好ましくは、前記表示ステップでは、さらに、注目テキストの語義セグメントのうち、ユーザ意図に関連付けられたキー語義セグメントに対してタイプ別にマークするように、注目テキストを表示する。

好ましくは、前記候補操作は、ユーザ意図にマッチングすることができる候補アプリケーションプログラムまたは候補ウェブサイトリンクである。

好ましくは、前記候補操作確定ステップは、確定された複数の候補操作を並び替える候補操作並び替えステップをさらに含み、前記表示ステップでは、候補操作並び替えステップでの並び替えに従って、選択される候補操作を表示する。

好ましくは、前記操作ウェイクアップステップは、前記構造化語義と前記ユーザ意図とに基づき、候補操作を呼び出すための、ウェイクアップ指令と指令パラメータを含む呼び出し指令を生成する操作指令生成ステップと、検出されたユーザ選択操作によりトリガされた呼び出し指令に応じて、キー語義セグメントを指令パラメータとして抽出するキー語義セグメント抽出ステップと、指令パラメータによって、キー語義セグメントをユーザが選択した候補操作に導入し、かつ、ウェイクアップ指令を用いてユーザが選択した候補操作をウェイクアップする導入・ウェイクアップステップと、をさらに含む。

本発明の第２の態様は、情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置を提供し、当該情報処理装置は、ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニットと、検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ユニットと、注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ユニットと、注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ユニットと、語義セグメントをマークするようにディスプレイに注目テキストを表示する表示ユニットと、を含む。

本発明の第３の態様は、情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置を提供し、当該情報処理装置は、ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニットと、検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ユニットと、注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ユニットと、予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ユニットと、ディスプレイに、確定された候補操作を操作可能に表示する表示ユニットと、を含む。本発明の上記構成要件によれば、以下のような技術的効果を実現した。即ち、ユーザ意図への識別、候補操作への確定および候補操作への表示により、ユーザによる１回限りの操作だけで、ユーザ意図を反映する候補操作を表示することができ、さらに、ユーザによる操作の利便性を向上させることができる。

本発明の第４の態様は情報処理装置を提供し、当該情報処理装置は、ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニットと、文字を含む情報に対する特定のタッチ操作が検出されたことに応じて、前記情報のユーザ意図を反映可能な候補操作を、操作可能に表示する表示ユニットと、を含む。

本発明の第５の態様は情報処理装置を提供し、当該情報処理装置は、ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニットと、文字を含む情報に対する特定のタッチ操作が検出されたことに応じて、前記情報を、語義セグメントをマークするように表示する表示ユニットと、を含む。

本願の実施例の技術案をさらに明確に説明するために、以下は、実施例の記述に使用すべき添付図面を簡単に紹介する。明らかに、以下に記載の添付図面はただ本願に記載のいくつかの実施例に過ぎず、当業者にとって、創造的な労力を払わずに、それらの添付図面に基づいて他の添付図面を取得することができる。
本実施例における情報処理装置１０００のハードウェア構造を示す図である。 本発明の第１の実施例に係る情報処理方法を例示するフローチャートである。 本発明に係る情報処理方法の第１の自然言語理解処理を例示するフローチャートである。 図４（ａ）と図４（ｂ）は本発明の第１の実施例に係る情報処理方法の操作過程を示す表示画面である。図４（ｃ）と図４（ｄ）本発明の第１の実施例に係る情報処理方法の表示ステップの好ましい方案を示す表示画面である。 第１の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。 本発明の第２の実施例に係る情報処理方法を例示するフローチャートである。 図７（ａ）と図７（ｂ）は本発明の第２の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。 第２の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。 本発明の第３の実施例に係る情報処理方法を例示するフローチャートである。 図１０（ａ）〜図１０（ｃ）は本発明の第３の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。 本発明に係る情報処理方法における操作ウェイクアップ処理を示すフローチャートである。 本発明に係る情報処理方法における操作指令生成処理を示すフローチャートである。 第３の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。 本発明の第４の実施例に係る情報処理方法を例示するフローチャートである。 図１５（ａ）〜図１５（ｅ）は、本発明の第４の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。 第４の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。 本発明の第５の実施例に係る情報処理方法を例示するフローチャートである。 図１８（ａ）と図１８（ｂ）は、本発明の第５の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。 第５の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。

以下は、本発明の実施例を添付図面を参照しながら、詳しく記載する。理解すべきなのは、下記の実施例は本発明を限定するものではなく、かつ、本発明に係る問題解決の手段については、必ずしも下記の実施例に記載の各態様の全ての組み合わせに基づくものとは限らない。簡素化のために、同一の構成部分またはステップに対して、同一のマークまたは符号を使用し、その説明を省略する。

［情報処理装置のハードウェア構造］
図１は、本実施例における情報処理装置１０００のハードウェア構造を示す図である。本実施例において、スマートフォンを情報処理装置の例示として記述する。しかし、注意されたいのは、本実施例では、スマートフォンを情報処理装置１０００として例示するが、明らかなことに、それに限らず、本発明の情報処理装置は、移動端末（スマートフォン、スマートウォッチ、スマートリストバンド、音楽プレーヤー）、ラップトップ、タブレット、ＰＤＡ（パーソナルデジタルアシスタント）、ファクシミリ装置、プリンタ、または、タッチスクリーン及び情報処理機能を有するインターネット機器（例えば、デジタルカメラ、冷蔵庫、テレビなど）などの種々の装置であってもよい。

まず、図１のブロック図を参照しながら、情報処理装置１０００（２０００、３０００、４０００、５０００）のハードウェア構造を説明する。また、本実施例では、以下の構造を例示として記述するが、本発明の情報処理装置は図１に示す構造に限らない。

情報処理装置１０００は、システムバスを介して互いに接続されている入力インターフェース１０２、ＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５、記憶装置１０６、出力インターフェース１０７、ディスプレイ１０８、通信ユニット１０９及び短距離無線通信ユニット１１０を含む。入力インターフェース１０２は、ユーザが入力したデータ及び機能の実行指令を受信するためのインターフェースであり、かつ、例えば、キー、ボタンまたはタッチスクリーンの操作ユニット（図示されない）を介してユーザから入力されたデータ及び操作指令を受信するためのインターフェースでもある。注意されたいのは、後述するディスプレイ１０８と操作ユニットは少なくとも、部分的に集成されてもよい。かつ、例えば、同一の画面に画面出力やユーザによる操作の受信を行う構造であってもよい。

ＣＰＵ１０３は、システム制御ユニットであり、かつ、全般的に、情報処理装置１０００を全面的に制御するものである。また、例えば、ＣＰＵ１０３は情報処理装置１０００のディスプレイ１０８の表示制御を行う。ＲＯＭ１０４はＣＰＵ１０３によって実行される、例えば、データテーブル、制御プログラム及び操作システム（ＯＳ）プログラムなどの固定データを記憶する。本実施例では、ＲＯＭ１０４に各制御プログラムが記憶されており、例えば、ＲＯＭ１０４に記憶されているＯＳによる管理下で、例えば、呼び出し、タスク切り替え及び中断処理などのソフトウェア実行制御を行う。

ＲＡＭ１０５は、例えば、スタンバイ電源が必要なＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：スタティックランダムアクセスメモリ）、ＤＲＡＭ等により構成されている。そのような場合に、ＲＡＭ１０５は、例えば、プログラム制御変数等の重要なデータを不揮発的に記憶することができる。また、情報処理装置１０００の設置情報、情報処理装置１０００の管理データ等を記憶するための記憶領域もＲＡＭ１０５に配設されている。また、ＲＡＭ１０５は、ＣＰＵ１０３のワーキングメモリとメインメモリとして使用されている。

記憶装置１０６は、例えば、予め定義された辞書、本発明に係る情報処理方法を実行するためのアプリケーションプログラム等を記憶する。また、記憶装置１０６は、例えば、通信ユニット１０９と通信装置（図示されない）を介して送受信を行う情報送受信制御プログラム等の種々のプログラム、および、それらのプログラムに使用された種々の情報を記憶する。

出力インターフェース１０７は、ディスプレイ１０８を制御することで情報及びアプリケーションプログラムを表示するための表示画面のインターフェースである。ディスプレイ１０８は、例えば、ＬＣＤ（液晶ディスプレイ）により構成されている。ディスプレイ１０８に例えば、数値入力キーやモード設置キーや決定キーや取消キーや電源キー等のキーを有するソフトキーボードを配置することで、ディスプレイ１０８を介したユーザからの入力を受信することができるようになる。

情報処理装置１００は、通信ユニット１０９を介して例えば、Ｗｉ−Ｆｉ（ワイヤレス・フィデリティ）またはＢｌｕｅｔｏｏｔｈ（ブルートゥース）、例えば２Ｇ、３ＧあるいはＬＥＴなどのセルラ移動通信等の無線通信方法により、外部装置（図示されない）とデータの通信を行う。

また、情報処理装置１０００は、短距離無線通信ユニット１１０を介して、短距離の範囲内に外部装置等と無線接続されてデータの通信を実行することもできる。かつ、短距離無線通信ユニット１１０は、通信ユニット１０９とは異なる通信方法により通信を行う。例えば、通信ユニット１０９の通信方法と比べてその通信範囲がより短いブルートゥース低エネルギー（ＢＬＥ）を、短距離無線通信ユニット１１０の通信方法として使用することができる。また、短距離無線通信ユニット１１０の通信方法として、例えば、ＮＦＣ（近距離無線通信）またはＷｉ−Ｆｉ感知（Ｗｉ−Ｆｉ Ａｗａｒｅ）が使用されてもよい。

［第１の実施例］
［第１の実施例に係る情報処理方法］
本発明に係る情報処理方法は、情報処理装置１０００のＣＰＵ１０３が、ＲＯＭ１０４または記憶装置１０６に記憶された制御プログラム、或いは、通信ユニット１０９を介してネットワークで情報処理装置１０００に接続されたネットワークサーバ（図示されない）からダウンロードされた制御プログラムを読み取ることによって実現されてもよい。

以下は、本発明の第１の実施例に係る情報処理方法を、図２〜図４（ｄ）を参照しながら説明する。そのうち、図２は、本発明の第１の実施例に係る情報処理方法を例示するフローチャートであり、図３は、本発明に係る情報処理方法の第１の自然言語理解処理を例示するフローチャートであり、図４（ａ）と図４（ｂ）は、本発明の第１の実施例に係る情報処理方法の操作過程を示す表示画面であり、図４（ｃ）と図４（ｄ）は本発明の第１の実施例に係る情報処理方法の表示ステップの好ましい方案を示す表示画面である。

図２に示すように、まず、検出ステップＳ１０１では、ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する。当該特定のタッチ操作は、タッチ方式、スクリーンにタッチした面積、持続時間のうちの少なくとも１つが各々の閾値条件を満たしたタッチ操作であってもよい。例えば、持続時間とスクリーンにタッチした面積が一定の特定範囲内にあるスライド操作、または、スクリーンにタッチした面積と持続時間が相応な閾値に達した静止押圧操作などであってもよい。表示情報に対する特定のタッチ操作が検出されると、処理はステップＳ１０２に進む。

注目テキスト取得ステップＳ１０２では、検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキスト（すなわち、処理しようとするテキスト）として取得する。例えば、タッチ操作の位置情報によって表示情報を確定することができ、または、タッチ操作が行われる位置範囲によってタッチの表示情報を確定することができる。かつ、テキストモジュールにおける文字に対して、直接に読み取るように取得することができるが、しかし、画像モジュールにおける文字に対して、文字識別ソフトウェアによる識別で画像モジュールにおける文字を注目テキストとして取得することができる。次は、処理はステップＳ１０３に進む。

第１の自然言語理解ステップＳ１０３では、注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する。好ましくは、図３に示すように、第１の自然言語理解ステップＳ１０３は、注目テキストに対して単語分割を行うことで、注目テキストの単語分割の結果を取得する単語分割ステップＳ１０３１と、注目テキストに対して固有表現識別を行うことで、注目テキストの固有表現識別の結果を取得する固有表現識別ステップＳ１０３２と、をさらに含む。好ましくは、本発明に係る情報処理方法における固有表現識別処理は、条件付き確率場（ＣＲＦ）または双方向長期・短期記憶ネットワーク＋条件付き確率場（ＢｉＬＳＴＭ−ＣＲＦ）という２つのモデルによって実現されてもよいが、それらに限らず、異なる効果、性能要求及びソフトウェア・ハードウェア環境に応じて、適切なモデルを選択して実施することができる。

例えば、ユーザが２０１７年２月２３日に図４（ａ）に示す情報を受信する場合、ユーザは、その表示情報に対して特定の静止押圧操作を行うことにより、ステップＳ１０１によって当該表示情報に対する特定の静止押圧操作が検出され、ステップＳ１０２によって表示されたテキスト情報である「明日の午後３時に会議があり、国貿ビル３０２に来てください」を注目テキストとして取得される。そして、ステップＳ１０３１では、その注目テキストに対して単語分割を行い、「明日、の、午後、３時、に、会議、が、あり、国貿、ビル、３０２、に、来て、ください」という単語分割の結果を取得する。そのうち、それぞれの分割された単語を隔てるために使用されたカンマは例示的なものである。ステップＳ１０３２では、「明日の午後３時」が時間タイプの固有表現であり、「国貿ビル３０２」がアドレスタイプの固有表現であると識別された。

そして、処理はステップＳ１０４に進み、第２の自然言語理解ステップＳ１０４では、注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する。好ましくは、本発明に係る情報処理方法における語義分析処理は、例えば、フレーム意味論（Ｆｒａｍｅ Ｓｅｍａｎｔｉｃ）と文脈自由文法に基づく語義分析器によって実現されてもよいが、それに限らない。

例えば、図４（ａ）に示す表示情報について、ステップＳ１０４を経て、例えばＪＳＯＮ構造体で示された以下のような語義構造が得られる。

｛"ｔｉｍｅ"："２０１７−０２−２４ １５：００：００"，"ｌｏｃａｔｉｏｎ"："国貿ビル３０２"，"ｔｉｔｌｅ"："会議があり"｝
そのうち、「２０１７−０２−２４ １５：００：００」（「明日の午後３時」に対応）は時間タイプを示す語義セグメントであり、「国貿ビル３０２」はアドレスタイプを示す語義セグメントであり、「会議があり」はイベントタイプを示す語義セグメントである。

そして、表示ステップＳ１０５に進み、語義セグメントをマークするようにディスプレイに注目テキストを表示する。そのうち、語義セグメントをマークするように表示するために、各語義セグメントを隔てるように表示することができる。具体的には、例えば、語義セグメントごとに１つのビューコントロールを割り当てて、各語義セグメントをそれぞれに相応なビューコントロールに添加することで、表示インターフェースを生成する。図４（ｂ）に示すように、４つの語義セグメントである「明日の午後３時」、「会議があり」、「国貿ビル３０２」、「来てください」のそれぞれを各語義セグメントを単位として隔てるように表示する。勿論、当業者により公知された他の方式によりマークすることもできる。

好ましくは、図４（ｃ）に示すように、各語義セグメントをタイプ別にマークすることもできる。例えば、時間タイプの固有表現である「明日の午後３時」に時間的アイコンをマークする。かつ、好ましい方案として、このタイプ別のマークは、操作可能のように実行されてもよい。例えば、ユーザは、１つのタイプ別のマークを選択するとき、そのタイプ別のマークに対応した語義セグメントは自動的に選定されるようになる。

好ましくは、各語義セグメントに含まれた単語分割の結果に対して、単語を分割するように表示することもできる。例えば、図４（ｄ）に示すように、それぞれの分割された単語を単独のビューコントロールに配置するという方式がある。勿論、他の方式を採用してもよい。例えば、各語義セグメントにおけるそれぞれの分割された単語を隔てるように表示することなどが考えられる。

以上は、第１の自然言語理解ステップＳ１０３の後に、第２の自然言語理解ステップＳ１０４が実行される流れが示されているが、勿論、当業者であれば、第１の自然言語理解ステップＳ１０３と第２の自然言語理解ステップＳ１０４の実行順序が互いに交換されたり、あるいは、両者が並行に実行されたりすることができることも理解できるはずである。

本発明の第１の実施例に係る情報処理方法により、注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得し、かつ、語義セグメントをマークするようにディスプレイに注目テキストを表示することにより、以下のような技術的効果を実現することができる。即ち、ａ、ユーザは、その語義セグメントに含まれた全ての分割された単語を１回限りの操作で選択することができ、ユーザによる操作の利便性を向上することができる。ｂ、ユーザは、その情報の語義構造を一目瞭然のように把握することができ、ユーザによる閲覧のフレンドリーを向上した。ｃ、語義セグメントに含まれた全ての分割された単語または固有表現に対する自動的な選択を可能にし、ユーザによる次の操作に利便性を図る。

［第１の実施例に係る情報処理装置のソフトウェア構造］
図５は、第１の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。図５に示すように、情報処理装置１０００は、検出ユニット１１０１、注目テキスト取得ユニット１１０２、第１の自然言語理解ユニット１１０３、第２の自然言語理解ユニット１１０４および表示ユニット１１０５を含む。検出ユニット１１０１は、ディスプレイ１０８に対するタッチ操作を検出する。注目テキスト取得ユニット１１０２は、検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する。第１の自然言語理解ユニット１１０３は、単語分割ユニット１１０３１と固有表現識別ユニット１１０３２を含み、単語分割ユニット１１０３１は、注目テキストに対して単語分割を行うことで単語分割の結果を取得し、かつ、固有表現識別ユニット１１０３２は注目テキストに対して固有表現識別処理を行うことで、注目テキストの固有表現識別の結果を取得する。第２の自然言語理解ユニット１１０４は、注目テキストに対して語義分析を行うことで、注目テキストの構造化語義を取得する。表示ユニット１１０５は、表示インターフェースを生成するとともに、ディスプレイに注目テキストが含まれた表示インターフェースを表示させる。

［第２の実施例］
［第２の実施例に係る情報処理方法］
以下は、本発明の第２の実施例に係る情報処理方法を、図６〜図７（ｂ）を参照しながら説明する。そのうち、図６は、本発明の第２の実施例に係る情報処理方法を例示するフローチャートである。図７（ａ）〜図７（ｂ）は、本発明の第２の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。

図６に示すように、第２の実施例に係る情報処理方法と第１の実施例に係る情報処理方法との相違点は、ユーザ意図取得ステップＳ２０５と候補操作確定ステップＳ２０６とが追加され、かつ、第１の実施例における表示ステップＳ１０５の代わりに、表示ステップＳ２０７を用いることである。

具体的には、ユーザ意図取得ステップＳ２０５では、注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得する。好ましくは、ユーザ意図取得ステップＳ２０５では、さらに、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶する。そのうち、本発明では、「ユーザ意図」は、ユーザが注目テキストの内容に基づいて、注目テキストに対して意図的に行う所望の処理を表す。好ましくは、本発明に係る情報処理方法における意図識別は、サポートベクターマシン（ＳＶＭ）と、畳み込みニューラルネットワーク（ＣＮＮ）との２種類のモジュールのうちのいずれかによって実現されてもよいが、それらに限らない。異なる効果、性能要求及びソフトウェア・ハードウェア環境に応じて、そのうちの１つを選択して実施することができる。

そして、候補操作確定ステップＳ２０６では、予め定義された辞書に基づき、ユーザ意図にマッチングした１つまたは複数の候補操作を確定する。候補操作は、ユーザ意図にマッチングすることができる操作であり、即ち、ユーザが所望の処理を実現できるようにさせる操作である。好ましくは、候補操作は、ユーザ意図にマッチングすることができる候補アプリケーションプログラムまたは候補ウェブサイトリンクである。そして、表示ステップＳ２０７では、語義セグメントをマークするように注目テキストを表示し、かつ、確定された候補操作を操作可能に表示する。例示として、語義セグメントをマークするように注目テキストが表示された表示インターフェースに、確定された候補操作を操作可能に表示することができることが挙げられる。例えば、図７（ｂ）に示すように、注目テキストが表示された同一の表示画面に、候補操作を示す候補アプリケーションプログラムまたは候補ウェブサイトリンクのアイコンを表示することができ、または、注目テキストが表示された表示画面に、候補操作を示す候補アプリケーションプログラムまたは候補ウェブサイトリンクのフローティングウィンドウを重畳配置することができる。記述や理解に利便性を図るために、例示として、図６には、ユーザ意図取得ステップＳ２０５と候補操作確定ステップＳ２０６が第２の自然言語理解ステップＳ１０４の後に実行されることが示されているが、勿論、ステップＳ２０５とステップＳ２０６が、第１の自然言語理解ステップＳ１０３の前に実行されたり、または、第２の自然言語理解ステップＳ１０４の前であって第１の自然言語理解ステップＳ１０３の後に実行されたり、または、第１の自然言語理解ステップＳ１０３および／または第２の自然言語理解ステップＳ１０４と並行に実行されたりすることもできる。

好ましい方式として、候補操作確定ステップＳ２０６の後には、確定された複数の候補操作を並び替える候補操作並び替えステップＳ２０６１をさらに実行することができる。相応的に、表示ステップＳ２０７では、候補操作並び替えステップでの並び替えに従って、選択される候補操作を表示する。好ましくは、本発明に採用された候補操作に対する並び替えは、以下のような方法によって実現されてもよいが、これらに限らない。即ち、各アプリケーションプログラムまたはウェブサイトリンクに対して、アプリケーションプログラムまたはウェブサイトリンクの品質スコア、プリケーションプログラムまたはウェブサイトリンクのオークションスコア、アプリケーションプログラムまたはウェブサイトリンクの流行度スコア、アプリケーションプログラムまたはウェブサイトリンクと意図との相関性スコア、意図分類の自信度スコア等のような特徴を算出し、上記の特徴に対して重み付けを行って最終的なアプリケーションプログラムとウェブサイトリンクのスコアを取得し、さらに、最終的なスコアに基づいて並び替える。特徴に対して重み付けを行って最終的なスコアを取得する過程は、線形モデルであってもよいし、非線形モデルであってもよい。

表１は、本発明の第２の実施例に係る情報処理方法で識別されたユーザ意図のリストを例示する。例えば、図７（ａ）に示す表示情報に対して、表１に示すように、ユーザ意図取得ステップＳ２０５では、注目テキストである「明日の午後３時に会議があり、国貿ビル３０２に来てください」に対して意図識別を行うことで、ユーザ意図である「リマインド」および「インスタント通信ソフトウェアの連絡先へ転送」を取得する。

予め定義された辞書は、情報処理装置に予め記憶されたものであり、予め定義された辞書では、ユーザ意図とそのユーザ意図にマッチングすることができる候補操作とが関連付けて記憶されている。表２は、本発明に係る情報処理方法における予め定義された辞書を例示する。そのうち、それぞれの意図に対して、同一の候補操作種類（例えば、第三者アプリケーション）に対応して複数の候補操作がある可能性があり、ユーザによる実際なインストールされた状況に応じて、どの候補操作を呼び出すかを確定する。

表２に示すように、意図である「アドレス（Ａｄｄｒｅｓｓ）」に対応した候補操作は、第三者アプリケーションソフトウェア（Ａｐｐ）である「滴滴」または「Ｕｂｅｒ」、第三者アプリケーションソフトウェア（Ａｐｐ）である「ガオ・デ・マップ」または「百度マップ」、ウェブサイトリンク（ＵＲＬ）である「ｗｗｗ．ｂａｉｄｕ．ｃｏｍ」または「ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ」、第三者アプリケーションソフトウェア（Ａｐｐ）である「ＷｅＣｈａｔ」または「Ｍｏｍｏ」、および、システムに内蔵されたアプリケーションソフトウェア（Ｓｙｓ）である「ＳＭＳ」がある。

例えば、図７（ａ）に示す表示情報に対して、表１に示すように、ユーザ意図取得ステップＳ２０５では、注目テキストである「明日の午後３時に会議があり、国貿ビル３０２に来てください」に対して意図識別を行うことで、ユーザ意図である「リマインド」および「インスタント通信ソフトウェアの連絡先へ転送 」を取得する。候補操作確定ステップＳ２０６では、予め定義された辞書に基づき、ユーザが使用している情報処理装置にインストールされたソフトウェアの場合に応じて、ユーザ意図である「リマインド」にマッチングした候補操作がシステムに内蔵されたアプリケーションプログラムである「カレンダー（Ｃａｌｅｎｄａｒ）」と第三者アプリケーションソフトウェアである「ＷｅＣｈａｔ」であると確定する。表示ステップ（Ｓ２０７）では、語義セグメントをマークするように注目テキストが表示された表示インターフェースに、確定された候補操作である「カレンダー（Ｃａｌｅｎｄａｒ）」と「ＷｅＣｈａｔ」を操作可能に表示し、例えば、図７（ｂ）に示す通りである。

本発明の第２の実施例に係る情報処理方法により、ユーザ意図を取得して、ユーザ意図に対応した候補操作を確定して、候補操作を表示することで、ユーザによる１回限りの操作だけで、ユーザ意図を反映する候補操作を表示することができ、さらに、インターフェースのフレンドリーやユーザによる操作の利便性を向上させることができる。また、言語構造化された語義セグメントが表示された表示インターフェースに操作候補を操作可能に表示することで、ユーザは、現在の表示インターフェースを閉じてから操作に対応した表示インターフェースを開くことなく、同一のインターフェースに操作候補を選択することだけで、テキストにおけるキー語義セグメントへの自動的な操作を実現することができ、インターフェースのフレンドリーやユーザによる操作の利便性を向上した。

また、上記第２の実施例では、例示として、自然言語理解処理（第１の自然言語理解ステップおよび／または第２の自然言語理解ステップ）と意図識別処理（ユーザ意図取得ステップ）とを並行に、または、前後に実行する場合が示されているが、意図識別処理は上記した自然言語理解処理の処理結果に依存しないため、意図識別処理と自然言語理解処理とが互いに独立して行われてもよい。つまり、変形例として、特定のタッチ操作を検出して注目テキストを取得した（ステップＳ１０１とステップＳ１０２）後、上記した自然言語理解処理を実行しない（即ち、ステップＳ１０３とステップＳ１０４を実行しない）場合に、注目テキストのみに対して意図識別を行い（ステップＳ２０５）、かつ、ユーザ意図にマッチングした１つまたは複数の候補操作を確定した（ステップＳ２０６）後、確定された候補操作を表示することができる、ことが挙げられる。好ましくは、注目テキストが表示された表示インターフェースに、確定された候補操作を表示することができる。好ましくは、前記表示ユニットは、確定された候補操作が操作可能に表示された表示インターフェースに、語義セグメントをマークするように注目テキスを表示することができる。

上記変形例によれば、ユーザ意図識別処理、およびユーザ意図を反映する候補操作の表示により、ユーザは、１回限りの操作だけで、ユーザ意図にマッチングすることができる候補アプリケーションプログラムまたは候補ウェブサイトリンクを表示することができる。それにより、インターフェースのフレンドリーや操作の利便性をさらに向上した。同時に、注目テキストのみに対して意図識別を行うことで、リソース消費を節約し、処理速度を向上させることもできる。

［第２の実施例に係る情報処理装置のソフトウェア構造］
図８は、第２の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。図８に示すように、第２の実施例に係る情報処理装置２０００と第１の実施例に係る情報処理装置１０００との相違点は、ユーザ意図取得ユニット１２０５と候補操作確定ユニット１２０６とが追加され、かつ、表示ユニット１１０５の代わりに、表示ユニット１２０７を用いることである。

具体的には、ユーザ意図取得ユニット１２０５は、注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得し、かつ、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶する。候補操作確定ユニット１２０６は、予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定し、かつ、表示ユニット１２０７は、語義セグメントをマークするように注目テキストを表示するだけではなく、語義セグメントをマークするように注目テキストが表示された表示インターフェースに、確定された候補操作を操作可能に表示する。

［第３の実施例］
［第３の実施例に係る情報処理方法］
以下は、本発明の第３の実施例に係る情報処理方法を、図９および図１０（ａ）〜図１０（ｃ）を参照しながら説明する。そのうち、図９は、本発明の第３の実施例に係る情報処理方法を例示するフローチャートである。図１０（ａ）〜図１０（ｃ）は、本発明の第３の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。

図９に示すように、第３の実施例に係る情報処理方法と第２の実施例に係る情報処理方法との相違点は、ユーザ選択受付ステップＳ３０８と操作ウェイクアップステップＳ３０９とが追加されることである。

具体的には、ユーザ選択受付ステップＳ３０８では、表示された候補操作に対するユーザの選択を検出する。ユーザの選択が検出された場合、操作ウェイクアップステップＳ３０９に進み、それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、ウェイクアップ操作に導入する語義セグメントとして、ユーザが選択した候補操作をウェイクアップする。

また、好ましくは、図１１（図１１は、本発明に係る情報処理方法における操作ウェイクアップ処理のフローチャートを示すものである）に示すように、操作ウェイクアップステップＳ３０９は、構造化語義と前記ユーザ意図とに基づき、候補操作を呼び出すための、ウェイクアップ指令と指令パラメータを含む呼び出し指令を生成する操作指令生成ステップＳ３０９１と、検出されたユーザ選択操作によりトリガされた呼び出し指令に応じて、キー語義セグメントを指令パラメータとして抽出するキー語義セグメント抽出ステップＳ３０９２と、指令パラメータによって、キー語義セグメントをユーザが選択した候補操作に導入し、かつ、ウェイクアップ指令を用いてユーザが選択した候補操作をウェイクアップする導入・ウェイクアップステップＳ３０９３と、をさらに含む。

好ましくは、図１２（図１２は、本発明に係る情報処理方法における操作指令生成処理のフローチャートを示すものである）に示すように、操作指令生成ステップＳ３０９１は、候補操作をウェイクアップする指令を生成するステップＳ３０９１１と、候補操作インターフェース関数を呼び出す指令を生成するステップＳ３０９１２と、前記構造化語義におけるキー語義セグメントを、候補操作インターフェースパラメータの形式で前記インターフェース関数に伝送するステップＳ３０１３と、をさらに含む。

図１０（ａ）に示すように、ステップＳ１０１では、表示情報である「三角獣科学技術の王様の電話番号１８５１２３４５６７８を見つける」に対するユーザの特定のタッチが検出されると、第２の実施例に係る情報処理方法のステップＳ１０２〜Ｓ１０４に進み、図１０（ｂ）に示す注目テキストにおけるそれぞれの語義セグメントが得られ、かつ、ユーザ意図取得ステップＳ２０５を経てユーザ意図である「連絡先を検索する」と「通信履歴を検索する」が得られ、候補操作確定ステップＳ２０６では、システムに内蔵されたアプリケーションプログラムである「連絡先」と「通信履歴」を呼び出することを確定し、表示ステップＳ２０７では、情報処理装置のディスプレイに、語義セグメントのタイプ（図１０（ｂ）におけるアドレス、人物及び電話アイコンを参照）がマークされた注目テキストである「三角獣科学技術の王様の電話番号１８５１２３４５６７８を見つける」を、確定された候補操作である「連絡先」と「通信履歴」と共に表示し、例えば図１０（ｂ）に示す通りである。そして、ステップＳ３０８では、ユーザが「連絡先」を選択したことが検出されると、ステップＳ３０９に進み、キー語義セグメントである「王様」、「三角獣科学技術」および「１８５１２３４５６７８」を導入して、「連絡先」のアプリケーションプログラムをウェイクアップし、例えば図１０（ｃ）に示す通りである。

もう１つの例示として、例えば、表示情報が「私は、明日、上海に行く」の場合、「私は、明日、上海に行く」を注目テキストとして取得し、語義解析を経て、構造化された語義である「Ｄｅｓｔｉｎａｔｉｏｎ：上海，Ｄａｔｅ．Ｒｅｌａｔｉｖｅ：＋１（現在の日付に１日を足すことを示す），Ｄｅｐａｒｔｕｒｅ：＿ｃｕｒｒｅｎｔ＿ｃｉｔｙ（システムｇｐｓ位置付けにより現在の都市を自動的に取得することを示す）」を取得し、対応した意図はチケット（Ｔｉｃｋｅｔ）であって、候補操作としてのアプリケーションプログラムリストは、Ｃｔｒｉｐ、カレンダー、ＷｅＣｈａｔ等であってもよい。ユーザが「Ｃｔｒｉｐ」を選定すると、チケット予約のページが直接に開き、出発地、目的地、及び日付等の情報が自動的に記入されるようになる。

第３の実施例に係る情報処理方法により、表示された候補操作に対するユーザの選択を検出し、かつ、それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、導入してユーザが選択した候補操作をウェイクアップすることで、以下のような技術的効果を実現した。即ち、操作ウェイクアップステップによって、ユーザが選択したアプリケーションはテキストにおけるキー語義セグメントに対して自動的に所望の操作を行うことができるようになり、インターフェースのフレンドリー及びユーザによる操作の利便性を向上した。

［第３の実施例に係る情報処理装置のソフトウェア構造］
図１３は、第３の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。図１３に示すように、第３の実施例に係る情報処理装置３０００と第２の実施例に係る情報処理装置２０００との相違点は、ユーザ選択受付ユニット１３０８と操作ウェイクアップユニット１３０９とが追加されることである。

具体的には、ユーザ選択受付ユニット１３０８は、表示された候補操作に対するユーザの選択を検出し、操作ウェイクアップユニット１３０９は、それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、ウェイクアップ操作に導入する語義セグメントとして、ユーザが選択した候補操作をウェイクアップする。

［第４の実施例］
［第４の実施例に係る情報処理方法］
以下は、本発明の第４の実施例に係る情報処理方法を、図１４および図１５（ａ）〜図１５（ｅ）を参照しながら説明する。そのうち、図１４は、本発明の第４の実施例に係る情報処理方法を例示するフローチャートである。図１５（ａ）〜図１５（ｅ）は、本発明の第４の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。

図１４に示すように、第４の実施例に係る情報処理方法と第３の実施例に係る情報処理方法との相違点は、語義セグメント選択判断ステップＳ４１０と注目テキストリセットステップＳ４１１とが追加されることである。

具体的には、語義セグメント選択判断ステップＳ４１０では、表示された語義セグメントに対するユーザの選択を検出したか否かを判断し、ユーザが語義セグメントを選択したことを検出した場合、注目テキストリセットステップＳ４１１に進み、ユーザが選択した語義セグメントを注目テキストとして、処理がステップＳ２０５に戻り、ユーザが選択した語義セグメントに第２の自然言語理解処理を適用する。即ち、ステップＳ２０５〜Ｓ３０９が繰り返される。ステップＳ４１０では、表示された語義セグメントに対するユーザの選択を検出しなかったと判断された場合、処理を終了する。

例えば、図１５（ｃ）に示すように、ステップＳ３０８では、ユーザが「カレンダー」というソフトウェアを選択したことが検出されると、ステップＳ３０９に進み、図１５（ｄ）に示すように、それぞれの選択された候補操作である「カレンダー」にマッチングしたユーザ意図である「リマインド」と関連付けられたキー語義セグメントである「明日の午後３時」、「国貿ビル３０２」および「会議があり」を、アプリケーションプログラムである「カレンダー」に導入して、「カレンダー」をウェイクアップする。理解しやすくするために、以下は、ＪＳＯＮ構造体で示された候補操作である「カレンダー」と「ＷｅＣｈａｔ」を例示的に示す。

［
｛
"ａｐｐ＿ｎａｍｅ" ： "Ｃａｌｅｎｄａｒ"，
"ａｐｐ＿ｔｙｐｅ"： "ｓｙｓｔｅｍ"，
"ｃｏｍｍａｎｄ" ： "ｃｒｅａｔｅ＿ｃａｌｅｎｄａｒ＿ｅｖｅｎｔ"，
"ａｒｇｕｍｅｎｔｓ"： "｛＼"ｔｉｍｅ＼"：＼"２０１７−０２−２４ １５：００：００＼"，＼"ｌｏｃａｔｉｏｎ＼"：＼"国貿ビル３０２＼"，＼"ｔｉｔｌｅ＼"：＼"会議があり＼"｝"
｝，
｛
"ａｐｐ＿ｎａｍｅ" ： "ＷｅＣｈａｔ"，
"ａｐｐ＿ｔｙｐｅ"： "ｔｈｉｒｄ＿ｐａｒｔｙ"，
"ｃｏｍｍａｎｄ" ： "ｓｈａｒｅ＿ｔｏ＿ｗｅｃｈａｔ"，
"ａｒｇｕｍｅｎｔｓ"："｛＼"ｔｅｘｔ＼"：＼"明日の午後３時に会議があり、国貿ビル３０２に来てください＼"｝"
｝
］
そのうち、ａｐｐ＿ｎａｍｅは、候補操作の唯一の標識ＩＤを示し、ａｐｐ＿ｔｙｐｅは候補操作の種類を示し、ｃｏｍｍａｎｄは予め定義された候補操作を呼び出す命令の名称であり、ａｒｇｕｍｅｎｔｓは呼び出し命令に伝送するパラメータである。

導入の完了後、図１５（ｅ）に示すように、もし、ステップＳ４０１では、ユーザがアドレスの語義セグメントである「国貿ビル３０２」を選択したことを検出したと判断された場合、ステップＳ４１１に進み、ユーザが選択した語義セグメントである「国貿ビル３０２」を注目テキストとし、処理はステップＳ２０５に戻り、意図である「アドレス」が識別され、ステップＳ２０６では、意図である「アドレス」にマッチングした複数の候補操作のアプリケーションプログラムである「電子マップ」、アプリケーションプログラムである「ネットワーク配車」およびＵＲＬリンクである「検索エンジン」を確定して、ステップＳ２０７で表示する。

第４の実施例に係る情報処理方法により、表示された語義セグメントに対するユーザの選択を検出したか否かを判断し、ユーザが語義セグメントを選択したことを検出したと判断された場合、ユーザが選択した語義セグメントを注目テキストとすることで、ユーザが選択した語義セグメントに第２の自然言語理解処理を適用することにより、以下のような技術的効果を実現した。即ち、ユーザが選択した語義セグメントを一緒に合わせて第１の実施例における過程を新たに実行することができるし、第１の実施例の結果を部分的または全部活用して、後続の操作を行うこともできるので、インターフェースのフレンドリー及びユーザによる操作の利便性を向上した。

［第４の実施例に係る情報処理装置のソフトウェア構造］
図１６は、第４の実施例に係る情報処理装置のソフトウェア構造を例示するブロック図である。図１６に示すように、第４の実施例に係る情報処理装置４０００と第３の実施例に係る情報処理装置３０００との相違点は、語義セグメント選択判断ユニット１４１０と注目テキストリセットユニット１４１１とが追加されることである。

具体的には、語義セグメント選択判断ユニット１４１０は、表示された語義セグメントに対するユーザの選択を検出したか否かを判断し、注目テキストリセットユニット１４１１は、ユーザが語義セグメントを選択したことを検出したと判断された場合、ユーザが選択した語義セグメントを注目テキストとして、ユーザが選択した語義セグメントに第２の自然言語理解処理を適用する。

［第５の実施例］
［第５の実施例に係る情報処理方法］
以下は、本発明の第５の実施例に係る情報処理方法を、図１７及び図１８（ａ）と図１８（ｂ）を参照しながら説明する。そのうち、図１７は、本発明の第５の実施例に係る情報処理方法を例示するフローチャートである。図１８（ａ）と図１８（ｂ）は、本発明の第５の実施例に係る情報処理方法の操作過程を示す例示的な表示画面である。

図１７に示すように、第５の実施例に係る情報処理方法と第３の実施例に係る情報処理方法との相違点は、ユーザ意図取得ステップＳ５０５では、注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得し、かつ、注目テキストにおける各語義セグメントに対してユーザ意図への識別を行うことで、ユーザ意図を反映可能な各語義セグメントに対応したユーザ意図を取得するということである。

例えば、図１８（ｂ）に示すように、ユーザによる選択のために、注目テキストである「明日の午後３時に会議があり、国貿ビル３０２に来てください」に関連付けられた候補操作である「カレンダー」と「ＷｅＣｈａｔ」を、アドレスの語義セグメントである「国貿ビル３０２」に関連付けられた候補操作のアプリケーションプログラムである「電子マップ」、アプリケーションプログラムである「ネットワーク配車」、およびＵＲＬリンクである「検索エンジン」と共に表示する（同時に表示されることができる候補操作の数は限られることを鑑みて、時間の語義セグメントである「明日の午後３時」に関連付けられた候補操作は隠して表示され、例えば、候補操作リストをスライドすることでそれを表示させることができる）。その後、第３の実施例に記載されるように、表示された候補操作に対するユーザの選択操作を検出して、ユーザが選択した候補操作をウェイクアップすることができる。例えば、「カレンダー」または「ＷｅＣｈａｔ」に対するユーザの操作が検出されると、注目テキストである「明日の午後３時に会議があり、国貿ビル３０２に来てください」に対して、選択された操作をウェイクアップし、「電子マップ」、「ネットワーク配車」または「検索エンジン」に対するユーザの操作が検出されると、アドレスの語義セグメントである「国貿ビル３０２」に対して、選択された操作をウェイクアップする。

もう１つの例示として、チケット予約の場合、例えば、注目されるテキストが「私は、明日、上海に行く」であると、語義解析は、「Ｄｅｓｔｉｎａｔｉｏｎ：上海，Ｄａｔｅ．Ｒｅｌａｔｉｖｅ：＋１（現在の日付に１日を足すことを示す），Ｄｅｐａｒｔｕｒｅ：＿ｃｕｒｒｅｎｔ＿ｃｉｔｙ（システムｇｐｓ位置付けにより現在の都市を自動的に取得することを示す）」となり、対応した意図はＴｉｃｋｅｔで、アプリケーションプログラムリストは、Ｃｔｒｉｐ、カレンダー、ＷｅＣｈａｔ等であってもよい。ユーザが「Ｃｔｒｉｐ」をクリックすると、チケット予約のページが直接に開き、出発地、目的地、及び日付等の情報が自動的に記入されるようになる。

第５の実施例に係る情報処理方法により、注目テキストにおける各語義セグメントに対してユーザ意図への識別を行い、ユーザ意図に対応した操作候補を取得し、以下のような技術的効果を実現した。即ち、注目テキストに対応した候補操作を、ユーザ意図を反映可能な各語義セグメントの候補操作とともに、ユーザに表示することで、ユーザは注目テキストまたは注目テキストにおける語義セグメントに対して所望の操作を行いやすくすることができ、インターフェースのフレンドリー及びユーザによる操作の利便性を向上した。

［第５の実施例に係る情報処理装置のソフトウェア構造］
図１９は、第５の実施例に係る情報処理装置のソフトウェア構造を例示する。図１９に示すように、第５の実施例に係る情報処理装置５０００と第３の実施例に係る情報処理装置３０００との相違点は、ユーザ意図取得ユニット１２０５の代わりに、ユーザ意図取得ユニット１５０５を用いて、そのうち、ユーザ意図取得ユニット１５０５は、注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するほかに、さらに、注目テキストにおける各語義セグメントに対してユーザ意図への識別を行うことで、ユーザ意図を反映可能な各語義セグメントに対応したユーザ意図を取得するということである。

以上は、本発明を例示的な実施例を参照しながら記述してきたが、上記の実施例は本発明の技術的思想及び特徴を説明するためのものに過ぎず、本発明の保護範囲を制限することができない。本発明の精神の実質を基に行われる如何なる等価的な変形または修正は、本発明の保護範囲内にカバーされるべきである。

Claims (27)

1. 情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置に用いられる情報処理方法であって、
   ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ステップ（Ｓ１０１）と、
   検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ステップ（Ｓ１０２）と、
   注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ステップ（Ｓ１０３）と、
   注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ステップ（Ｓ１０４）と、
   語義セグメントをマークするようにディスプレイに注目テキストを表示する表示ステップ（Ｓ１０５）と、を含むことを特徴とする情報処理方法。
2. 注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ステップ（Ｓ２０５）と、
   予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ステップ（Ｓ２０６）と、をさらに含み、
   前記表示ステップ（Ｓ２０７）では、語義セグメントをマークするように注目テキストを表示し、かつ、確定された候補操作を操作可能に表示することを特徴とする請求項１に記載の情報処理方法。
3. ユーザ意図取得ステップ（Ｓ２０５）では、さらに、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶し、かつ、
   当該情報処理方法は、
   表示された候補操作に対するユーザの選択を検出するユーザ選択受付ステップ（Ｓ３０８）と、
   それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、ウェイクアップ操作に導入する語義セグメントとして、ユーザが選択した候補操作をウェイクアップする操作ウェイクアップステップ（Ｓ３０９）と、をさらに含むことを特徴とする請求項２に記載の情報処理方法。
4. 表示された語義セグメントに対するユーザの選択を検出したか否かを判断する語義セグメント選択判断ステップ（Ｓ４１０）と、
   ユーザが語義セグメントを選択したことを検出したと判断された場合、ユーザが選択した語義セグメントを注目テキストとして、ユーザが選択した語義セグメントに第２の自然言語理解処理を適用する注目テキストリセットステップ（Ｓ４１１）と、をさらに含むことを特徴とする請求項３に記載の情報処理方法。
5. ユーザ意図取得ステップでは、さらに、注目テキストにおける各語義セグメントに対してユーザ意図への識別を行うことで、ユーザ意図を反映可能な各語義セグメントに対応したユーザ意図を取得する（Ｓ５０５）ことを特徴とする請求項２または３に記載の情報処理方法。
6. 前記表示ステップでは、語義セグメントのマークを付けて単語分割するように注目テキストを表示することを特徴とする請求項１〜４のいずれか１項に記載の情報処理方法。
7. 前記表示ステップでは、さらに、注目テキストの語義セグメントのうち、ユーザ意図に関連付けられたキー語義セグメントに対してタイプ別にマークするように、注目テキストを表示し、
   前記候補操作は、ユーザ意図にマッチングすることができる候補アプリケーションプログラムまたは候補ウェブサイトリンクであることを特徴とする請求項２〜４のいずれか１項に記載の情報処理方法。
8. 前記候補操作確定ステップ（Ｓ２０６）は、確定された複数の候補操作を並び替える候補操作並び替えステップ（Ｓ２０６１）をさらに含み、
   前記表示ステップ（Ｓ２０７）では、候補操作並び替えステップでの並び替えに従って、選択される候補操作を表示することを特徴とする請求項２〜４のいずれか１項に記載の情報処理方法。
9. 前記操作ウェイクアップステップ（Ｓ３０９）は、
   前記構造化語義と前記ユーザ意図とに基づき、候補操作を呼び出すための、ウェイクアップ指令と指令パラメータを含む呼び出し指令を生成する操作指令生成ステップ（Ｓ３０９１）と、
   検出されたユーザ選択操作によりトリガされた呼び出し指令に応じて、キー語義セグメントを指令パラメータとして抽出するキー語義セグメント抽出ステップ（Ｓ３０９２）と、
   指令パラメータによって、キー語義セグメントをユーザが選択した候補操作に導入し、かつ、ウェイクアップ指令を用いてユーザが選択した候補操作をウェイクアップする導入・ウェイクアップステップ（Ｓ３０９３）と、をさらに含むことを特徴とする請求項３または４に記載の情報処理方法。
10. 情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置であって、
    ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニット（１１０１）と、
    検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ユニット（１１０２）と、
    注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ユニット（１１０３）と、
    注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ユニット（１１０４）と、
    語義セグメントをマークするようにディスプレイに注目テキストを表示する表示ユニット（１１０５）と、を含むことを特徴とする情報処理装置。
11. 注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ユニット（１２０５）と、
    予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ユニット（１２０６）と、をさらに含み、
    前記表示ユニットは、さらに、確定された候補操作を操作可能に表示することを特徴とする請求項１０に記載の情報処理装置。
12. 前記ユーザ意図取得ユニットは、さらに、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶し、かつ、
    当該情報処理装置は、
    表示された候補操作に対するユーザの選択を検出するユーザ選択受付ユニット（１３０８）と、
    それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、ウェイクアップ操作に導入する語義セグメントとして、ユーザが選択した候補操作をウェイクアップする操作ウェイクアップユニット（１３０９）と、をさらに含むことを特徴とする請求項１１に記載の情報処理装置。
13. 表示された語義セグメントに対するユーザの選択を検出したか否かを判断する語義セグメント選択判断ユニット（１４１０）と、
    前記語義セグメント選択判断ユニットにより、ユーザが語義セグメントを選択したことを検出したと判断された場合、ユーザが選択した語義セグメントを注目テキストとして、ユーザが選択した語義セグメントに第２の自然言語理解処理を適用する注目テキストリセットユニット（１４１１）と、をさらに含むことを特徴とする請求項１２に記載の情報処理装置。
14. 前記ユーザ意図取得ユニットは、さらに、注目テキストにおける各語義セグメントに対してユーザ意図への識別を行うことで、ユーザ意図を反映可能な各語義セグメントに対応したユーザ意図を取得することを特徴とする請求項１１または１２に記載の情報処理装置。
15. 前記表示ユニットは、語義セグメントのマークを付けて単語分割するように注目テキストを表示することを特徴とする請求項１０〜１３のいずれか１項に記載の情報処理装置。
16. 前記表示ユニットは、注目テキストの語義セグメントのうち、ユーザ意図に関連付けられたキー語義セグメントに対してタイプ別にマークするように、注目テキストを表示し、
    前記候補操作は、ユーザ意図にマッチングすることができる候補アプリケーションプログラムまたは候補ウェブサイトリンクであることを特徴とする請求項１１〜１３のいずれか１項に記載の情報処理装置。
17. 前記候補操作確定ユニットは、確定された複数の候補操作を並び替える候補操作並び替えユニットを含み、
    前記表示ユニットは、前記候補操作並び替えユニットによる並び替えに従って、選択される候補操作を表示することを特徴とする請求項１１〜１３のいずれか１項に記載の情報処理装置。
18. 前記操作ウェイクアップユニットは、
    前記構造化語義と前記ユーザ意図とに基づき、候補操作を呼び出すための、ウェイクアップ指令と指令パラメータを含む呼び出し指令を生成する操作指令生成ユニットと、
    検出されたユーザ選択操作によりトリガされた呼び出し指令に応じて、キー語義セグメントを指令パラメータとして抽出するキー語義セグメント抽出ユニットと、
    指令パラメータによって、キー語義セグメントをユーザが選択した候補操作に導入し、かつ、ウェイクアップ指令を用いてユーザが選択した候補操作をウェイクアップする導入・ウェイクアップユニットと、をさらに含むことを特徴とする請求項１２または１３に記載の情報処理装置。
19. コンピュータプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際に、情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置に用いられる情報処理方法を実現し、
    当該情報処理方法は、
    ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ステップ（Ｓ１０１）と、
    検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ステップ（Ｓ１０２）と、
    注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ステップ（Ｓ１０３）と、
    注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ステップ（Ｓ１０４）と、
    語義セグメントをマークするようにディスプレイに注目テキストを表示する表示ステップ（Ｓ１０５）と、を含むことを特徴とするコンピュータ読取可能な記憶媒体。
20. 情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置であって、
    ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニット（１１０１）と、
    検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ユニット（１１０２）と、
    注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ユニット（１２０５）と、
    予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ユニット（１２０６）と、
    ディスプレイに、確定された候補操作を操作可能に表示する表示ユニット（１２０７）と、を含むことを特徴とする情報処理装置。
21. 注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ユニット（１１０３）と、
    注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ユニット（１１０４）と、をさらに含み、
    前記表示ユニットは、さらに、語義セグメントをマークするように注目テキストを表示し、
    前記ユーザ意図取得ユニットは、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶することを特徴とする請求項２０に記載の情報処理装置。
22. 表示された候補操作に対するユーザの選択を検出するユーザ選択受付ユニット（１３０８）と、
    それぞれの選択された候補操作にマッチングしたユーザ意図と関連付けられたキー語義セグメントを、ウェイクアップ操作に導入する語義セグメントとして、ユーザが選択した候補操作をウェイクアップする操作ウェイクアップユニット（１３０９）と、をさらに含むことを特徴とする請求項２１に記載の情報処理装置。
23. 情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置に用いられる情報処理方法であって、
    ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ステップ（Ｓ１０１）と、
    検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ステップ（Ｓ１０２）と、
    注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ステップ（Ｓ２０５）と、
    予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ステップ（Ｓ２０６）と、
    ディスプレイに、確定された候補操作を操作可能に表示する表示ステップ（Ｓ２０７）と、を含むことを特徴とする情報処理方法。
24. 注目テキストに対して単語分割と固有表現識別に基づく第１の自然言語理解処理を行って、注目テキストの単語分割の結果及び固有表現識別の結果を取得する第１の自然言語理解ステップ（Ｓ１０３）と、
    注目テキストに対して語義分析に基づく第２の自然言語理解処理を行って、注目テキストの語義セグメントを単位とした構造化語義を取得する第２の自然言語理解ステップ（Ｓ１０４）と、をさらに含み、
    前記表示ステップ（Ｓ１０５）では、さらに、語義セグメントをマークするように注目テキストを表示し、
    前記ユーザ意図取得ステップでは、注目テキストの語義セグメントのうち、取得した各ユーザ意図に関連付けられた語義セグメントをキー語義セグメントとして、当該ユーザ意図に関連付けて記憶することを特徴とする請求項２３に記載の情報処理方法。
25. コンピュータプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際に、情報を表示するためのタッチパネル式ディスプレイを備えた情報処理装置に用いられる情報処理方法を実現し、
    前記情報処理方法は、
    ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ステップ（Ｓ１０１）と、
    検出された特定のタッチ操作に基づき、前記タッチ操作によりタッチされた情報のうちのテキストを注目テキストとして取得する注目テキスト取得ステップ（Ｓ１０２）と、
    注目テキストに対してユーザ意図への識別を行うことで、注目テキストに対応したユーザ意図を取得するユーザ意図取得ステップ（Ｓ２０５）と、
    予め定義された辞書に基づき、前記ユーザ意図にマッチングした１つまたは複数の候補操作を確定する候補操作確定ステップ（Ｓ２０６）と、
    ディスプレイに、確定された候補操作を操作可能に表示する表示ステップ（Ｓ２０７）と、を含むことを特徴とするコンピュータ読取可能な記憶媒体。
26. ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニットと、
    文字を含む情報に対する特定のタッチ操作が検出されたことに応じて、前記情報のユーザ意図を反映可能な候補操作を、操作可能に表示する表示ユニットと、を含むことを特徴とする情報処理装置。
27. ディスプレイに表示された文字を含む情報に対する特定のタッチ操作を検出する検出ユニットと、
    文字を含む情報に対する特定のタッチ操作が検出されたことに応じて、前記情報を、語義セグメントをマークするように表示する表示ユニットと、を含むことを特徴とする情報処理装置。