JP2018067230A - 情報処理装置及び開発支援システム - Google Patents

Abstract

【課題】大容量データの収集を自動的に行うこと。【解決手段】ユーザが開発を行う際に使用する表示装置に表示され、ユーザがアプリケーションを用いて作業を行っている作業画面画像を撮像する撮像部１１１と、作業画面画像に含まれている文字列から重要キーワードを抽出し、抽出された重要キーワードからユーザの開発分野を特定するとともに、作業画面画像からアプリケーションを特定し、特定されたアプリケーションからユーザの次の行動を特定する入力情報学習部１１５と、ネットワークから、ユーザの開発分野及びユーザの次の行動に関連する関連情報を取得する外部情報分析部１１６と、関連情報から、ユーザに提案するための提案情報を生成する提案情報管理部１１７と、を備える。【選択図】図２

Description

本発明は、情報処理装置及び開発支援システムに関し、特に、開発を行うユーザを支援するための情報処理装置及び開発支援システムに関する。

従来にはない新技術を用いた新製品の企画を立てる場合、開発者は、一般的に該当製品の分野及び他分野における技術動向及び市場動向を把握し、該当分野の製品に今後必要となる新技術を生み出す方式をとることが多い。

しかしながら、市場動向及び技術動向における情報は膨大であるため、人が内容を咀嚼しながら分析するには多大な時間がかかる。このため、新製品の企画の立案に時間がかかってしまう。また、技術動向の調査が不十分で、将来的に進んでいく方向を誤ってしまうこともある。

このように、膨大なデータを処理することに時間がかかるため、市場動向の見極め、及び、他社差別化技術の深掘りが難しく、新技術の導入が遅れてしまうという課題がある。

特許文献１には、個人が入力したパソコン画面を撮像し、その画像から特定の情報をサーバが抽出し、所望の情報をユーザに提供する検索システムが記載されている。
例えば、特許文献１に記載されている検索システムは、パソコンの検索結果画面に表示される請求記号画像を、端末装置を用いて撮像し、その画像データを、図書館を示す施設情報と共にサーバに送信する。そして、サーバは、受信した画像データに対して文字認識処理を施して請求記号を抽出する。さらに、サーバは、請求記号と施設情報とに基づき書籍情報ＤＢを検索して、請求記号に対応する図書の配架位置を示すマップ情報へのアクセス情報を含む属性情報リストを取得することで、所望の情報をユーザに提供する。

特開２０１４−２１９３２号公報（図１）

しかしながら、特許文献１に記載された検索システムは、撮像された画像から請求記号を判断するのみであり、外部ネットワークを用いて、入力された内容についての深掘り調査を行うといった自動分析及び学習機能を備えていない。

また、特許文献１では、端末装置は、画像データをサーバ側に送信し、サーバ側でデータ解析を行うため、画像データがインターネット上のサーバに記録される。このため、セキュリティが脆弱である場合には、情報が外部に流出してしまう可能性も懸念される。

本発明は、上記課題を解決するためになされたもので、大容量データの収集を自動的に行うことを目的とする。

本発明の一態様に係る情報処理装置は、ユーザが開発を行う際に使用する表示装置に表示された画面画像を撮像することのできる位置に配置され、ネットワークに接続することのできる情報処理装置であって、前記表示装置に表示され、前記ユーザがアプリケーションを用いて作業を行っている作業画面画像を撮像する撮像部と、前記作業画面画像に含まれている文字列から重要キーワードを抽出し、当該抽出された重要キーワードから前記ユーザの開発分野を特定するとともに、前記作業画面画像から前記アプリケーションを特定し、当該特定されたアプリケーションから前記ユーザの次の行動を特定する入力情報学習部と、前記ネットワークから、前記ユーザの開発分野及び前記ユーザの次の行動に関連する関連情報を取得する外部情報分析部と、前記関連情報から、前記ユーザに提案するための提案情報を生成する提案情報管理部と、を備えることを特徴とする。

本発明の一態様に係る開発支援システムは、ネットワークに接続され、ユーザが開発を行う際に使用するユーザ端末、当該ユーザ端末に接続された表示装置、当該ネットワークに接続されたサーバ及び当該ネットワークに接続され、当該表示装置に表示された画面画像を撮像することのできる位置に配置された情報処理装置を備える開発支援システムであって、前記情報処理装置は、前記表示装置に表示され、前記ユーザがアプリケーションを用いて作業を行っている作業画面画像を撮像する撮像部と、前記作業画面画像に含まれている文字列から重要キーワードを抽出し、当該抽出された重要キーワードから前記ユーザの開発分野を特定するとともに、前記作業画面画像から前記アプリケーションを特定し、当該特定されたアプリケーションから前記ユーザの次の行動を特定する入力情報学習部と、前記ネットワークから、前記ユーザの開発分野及び前記ユーザの次の行動に関連する関連情報を取得する外部情報分析部と、前記関連情報から、前記ユーザに提案するための提案情報を生成する提案情報管理部と、を備えることを特徴とする。

本発明の一態様によれば、パソコン画面上に表示された実行アプリケーション及び文字情報を認識し、どのような情報を必要としている業務かを分析するとともに、ネットワークから関連した情報を収集することで、大容量データの収集を自動的に行うことができる。

実施の形態に係る開発支援システムの構成を概略的に示すブロック図である。 開発支援装置の構成を概略的に示すブロック図である。 入力解析情報の一例を示す概略図である。 重要キーワード情報の一例を示す概略図である。 市場動向情報の一例を示す概略図である。 技術動向情報の一例を示す概略図である。 他社情報の一例を示す概略図である。 提案情報の一例を示す概略図である。 （Ａ）及び（Ｂ）は、ハードウェア構成の一例を示すブロック図である。 遠隔サーバの構成を概略的に示すブロック図である。 開発支援装置の処理を示すフローチャートである。 開発支援装置が外部からの情報を分析する処理を示すフローチャートである。 パソコンから調査結果及び提案情報を閲覧する際の処理を示す第１シーケンス図である。 パソコンから調査結果及び提案情報を閲覧する際の処理を示す第２シーケンス図である。 パソコンに表示されるお知らせ画面画像の一例を示す概略図である。 パソコンに表示される回答画面画像の一例を示す概略図である。

図１は、実施の形態に係る開発支援システム１００の構成を概略的に示すブロック図である。
開発支援システム１００は、パソコン１０１と、表示装置１０２と、開発支援装置１１０と、遠隔サーバ１４０とを備える。

パソコン１０１と表示装置１０２とは、通信線Ｌ１を介して接続されている。パソコン１０１、開発支援装置１１０及び遠隔サーバ１４０は、それぞれ、通信線Ｌ２〜Ｌ４を介して、インターネット等のネットワーク１０３に接続されている。通信線Ｌ１〜Ｌ４は、無線であっても、有線であってもよい。

パソコン１０１は、ユーザが各種情報を処理するユーザ端末である。パソコン１０１は、ユーザが開発を行う際に使用される。
表示装置１０２は、映像用の通信線Ｌ１を介してパソコン１０１と接続され、パソコン１０１の画面画像を表示する。表示装置１０２も、ユーザが開発を行う際に使用され、ユーザが開発を行っている際には、パソコン１０１の作業画面画像を表示する。

開発支援装置１１０は、表示装置１０２に表示されているパソコン１０１の作業画面画像を監視し、パソコン１０１のユーザがどのような作業を行っているかを、作業画面画像内の文字を認識し、関連した情報を外部から学習し、分析する情報処理装置である。ここで、開発支援装置１１０は、表示装置１０２に表示された作業画面画像を撮像することのできる位置に配置される。

図２は、開発支援装置１１０の構成を概略的に示すブロック図である。
開発支援装置１１０は、撮像部１１１と、入力部１１２と、制御部１１３と、記憶部１１９と、通信部１３１とを備える。

撮像部１１１は、制御部１１３の制御のもと、ユーザがアプリケーションを用いて作業を行っているパソコン１０１の作業画面画像が表示される表示装置１０２の画面を撮像し、制御部１１３が処理できるデジタル画像の画像データを生成する。撮像部１１１は、例えば、カメラ等の撮像装置により構成することができる。

入力部１１２は、ユーザから指示の入力を受ける。入力部１１２は、例えば、ボタン、音声入力等の入力装置により構成することができる。ユーザは、ボタン等の操作による指示又は音声による指示の入力を行うことにより、調査結果、提案等の情報を閲覧することが可能となる。

制御部１１３は、撮像部１１１から取得した画像データから、作業画面画像における文字列を解析して、認識し、開発テーマを学習して記憶する。さらに、制御部１１３は、関連したキーワードから外部情報を収集し、市場動向、技術動向及び他社情報を分析する。
制御部１１３は、画像情報管理部１１４と、入力情報学習部１１５と、外部情報分析部１１６と、提案情報管理部１１７と、情報処理部１１８とを備える。

画像情報管理部１１４は、撮像部１１１で生成された画像データの内、画面画像に変化のあったタイミング及び一定期間画面画像に変化のなかったタイミングにおける画像データを、画面画像データとして記憶部１１９に記憶する。
ここで、画面画像に変化のあったタイミングとしては、画面画像の内、予め定められた領域の部分画像が変化したタイミング、又は、画面画像の全体に対する変化した部分画像の割合が予め定められた閾値よりも大きいタイミング等、画像分析に多大な処理負荷がかかることのないように、区切りの良いタイミングが選択される。具体的には、アプリケーションが開かれた直後の画面画像の画像データ、メールが送信された場合における送信直前の画面画像の画像データ、アプリケーションを閉じる直前の画面画像の画像データ、Ｗｅｂページを切り替えた直後の画面画像の画像データ、及び、スクロールで表示位置が変わった直後の画像データ等の画像データが画面画像データとして記憶部１１９に記憶される。

なお、画像情報管理部１１４は、画面画像に変化があった場合には、変化があった部分の画像のみを抽出して、抽出された画像を示す画像データを画面画像データとして記憶することが望ましい。例えば、画像情報管理部１１４は、前回記憶されている画面画像データと比較して、変化した部分のみの画像を抽出すればよい。具体的には、画像情報管理部１１４は、画面画像の各ドットの色比較を行い、一致度が高い部分は捨て、変化率が高い部分を残せばよい。各ドットの画素値の変化が、予め定められた範囲内である場合には、一致度が高いと判断し、それが予め定められた範囲を超えた場合に、変化率が高いと判断される。これにより、例えば、アプリケーションがＷｏｒｄの場合には、文章が入力されている領域の画像のみが保持され、アプリケーション外の背景等は捨てられる。

入力情報学習部１１５は、画面画像データで示される画面画像からユーザが使用しているアプリケーションを特定するとともに、画面画像データから文字列を抽出し、重要キーワードを抽出する。
また、入力情報学習部１１５は、抽出された重要キーワードからユーザの開発分野を特定するとともに、特定されたアプリケーションからユーザの次の行動を特定する。例えば、入力情報学習部１１５は、人工知能等で用いられる学習機能を用いて、特定されたアプリケーション及び抽出された重要キーワードから、ユーザの開発分野及びユーザの次の行動を予測して、その予測結果を学習情報として記憶部１１９に記憶する。

外部情報分析部１１６は、ユーザの開発分野及びユーザの次の行動に関連する関連情報を取得する。例えば、外部情報分析部１１６は、学習情報に基づいて、抽出された重要キーワードを用いて、ネットワーク１０３で検索を行い、ユーザの開発分野における市場動向情報、技術動向情報及び他社情報を関連情報として収集する。

提案情報管理部１１７は、収集された市場動向情報、技術動向情報及び他社情報に基づいて、ユーザに提案するための提案情報を生成する。例えば、提案情報管理部１１７は、ニューラルネットワーク等の汎用的な人口知能の技術を用いて、収集された市場動向情報、技術動向情報及び他社情報に基づき、ユーザが必要としている内容を特定し、特定した内容を提案情報とする。

情報処理部１１８は、収集された市場動向情報、技術動向情報及び他社情報、並びに、分析された提案情報を用いて、ユーザに通知するお知らせ画面画像（通知画面画像）を表示するためのお知らせ画面画像データ（通知画面画像データ）を生成する。そして、情報処理部１１８は、通信部１３１を介して、お知らせ画面画像データを遠隔サーバ１４０に送信することで、遠隔サーバ１４０からこのデータをパソコン１０１へ転送させて、お知らせ画面画像を表示装置１０２に表示させる。
また、情報処理部１１８は、表示されたお知らせ画面画像に基づいて、ユーザから入力された指示に回答する内容を示す回答画面画像を表示するための回答画面画像データを生成して、通信部１３１を介して、遠隔サーバ１４０に送信する。これにより、情報処理部１１８は、遠隔サーバ１４０に回答画面画像データをパソコン１０１へ転送させて、回答画面画像を表示装置１０２に表示させる。

記憶部１１９は、作業画面画像の画像データからユーザに通知するための情報を生成する際に必要となる情報を管理する。
記憶部１１９に記憶される情報には、大別して、画像情報１２０、入力データ情報１２２及び分析情報１２６が含まれる。

画像情報１２０には、画面画像データ１２１が含まれる。画面画像データ１２１は、上述のように、画像情報管理部１１４により記憶される。例えば、画像情報管理部１１４は、新たな画面画像データ１２１を取得する毎に、画像情報１２０に記憶されている画面画像データ１２１を新たな画面画像データ１２１で更新する。

入力データ情報１２２には、入力解析情報１２３、重要キーワード情報１２４及び学習情報１２５が含まれる。
入力解析情報１２３は、画面画像データ１２１で示される画像から抽出された文字列を、画面画像データ１２１から特定されたアプリケーション及び文字列の内容に従って、予め定められた区分に分類してキーワードとして保持する情報である。

図３は、入力解析情報１２３の一例を示す概略図である。
入力解析情報１２３は、区分１列１２３ａ、区分２列１２３ｂ及びキーワード列１２３ｃを有するテーブル形式の情報である。
区分１列１２３ａは、画面画像データ１２１から特定されたアプリケーションに対応する第１の区分を格納する。
通常、アプリケーションは、画面画像の左上に独自のアイコンを表示しているため、入力情報学習部１１５は、画面画像データ１２１からこのアイコンを特定することで、アプリケーションを特定することができる。また、アプリケーションによっては、特定の位置にファイル名が表示されるため、入力情報学習部１１５は、このファイル名の拡張子からアプリケーションを特定することもできる。
そして、特定されたアプリケーションがＯｕｔｌｏｏｋ（登録商標）等のメール用のアプリケーションである場合には、その画面画像データ１２１から抽出されたキーワードは、「１（メール）」に分類される。特定されたアプリケーションがＷｏｒｄ（登録商標）等の文書作成用のアプリケーションである場合には、その画面画像データ１２１から抽出されたキーワードは、「２（設計文書）」に分類される。特定されたアプリケーションがＰｏｗｅｒＰｏｉｎｔ（登録商標）等のプレゼンテーション用のアプリケーションである場合には、その画面画像データ１２１から抽出されたキーワードは、「３（プロジェクト管理）」に分類される。特定されたアプリケーションがＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）等のブラウザ用のアプリケーションである場合には、その画面画像データ１２１から抽出されたキーワードは、「４（Ｗｅｂ）」に分類される。

区分２列１２３ｂは、画面画像データ１２１から特定されたアプリケーション及び文字列の内容に対応する第２の区分を格納する。
例えば、メール用のアプリケーションにおいて抽出された文字列が人名である場合には、「相手先」に分類される。メール用のアプリケーションにおいて抽出された文字列が「プロジェクト」及び「開発」等の予め定められた文字列を含む場合には、「会議」に分類される。

キーワード列１２３ｃは、画面画像データ１２１から特定された文字列を格納する。
例えば、入力情報学習部１１５は、画面画像データ１２１で示される画像の濃淡の差から文字を切り出して、その形を予め記憶部１１９に記憶されている文字データベース（図示せず）と比較して文字列に変更する。その後、入力情報学習部１１５は、形態素分析等で単語を切り分け、切り分けられた名詞をキーワードとする。

図２に戻り、重要キーワード情報１２４は、入力解析情報１２３に含まれているキーワードの中から抽出された重要なキーワードである重要キーワードを保持する情報である。例えば、入力情報学習部１１５は、入力解析情報１２３に含まれているキーワードの内、数多く出てきたキーワード、一定期間内の頻度が予め定められた閾値よりも高いキーワード、及び、重要度が高いと予め定められたメール相手先に送信されたメールに含まれているキーワードを重要キーワードと判断する。

図４は、重要キーワード情報１２４の一例を示す概略図である。
重要キーワード情報１２４は、頻度列１２４ａと、相手先重要度列１２４ｂと、区分列１２４ｃと、重要キーワード列１２４ｄとを有するテーブル形式の情報である。
頻度列１２４ａは、重要キーワードの出現頻度を格納する。この実施の形態では、頻度は、１日に出現した回数としているが、このような例に限定されない。
相手先重要度列１２４ｂは、重要キーワードがメールの相手先である場合には、その相手先の地位、重要キーワードがメールの相手先以外のキーワードである場合には、その重要度を格納する。相手先の地位については、氏名及び地位が地位データベース（図示せず）として記憶部１１９に予め記憶されているものとする。また、キーワードの重要度については、重要キーワードの出現頻度、並びに、重要キーワードが分類された入力解析情報１２３の区分１列１２３ａ及び区分２列１２３ｂの組み合わせに対応して、重要度データベース（図示せず）として記憶部１１９に予め記憶されているものとする。例えば、重要キーワードの出現頻度が高いほど、重要度は高いものとなる。
区分列１２４ｃは、重要キーワードが分類された入力解析情報１２３の区分１列１２３ａ及び区分２列１２３ｂの組み合わせに対応する第３の区分を格納する。アプリケーションとキーワードの内容の組み合わせにより、重要キーワードの種別を特定することができるため第３の区分として、その種別が格納される。
重要キーワード列１２４ｄは、入力情報学習部１１５により抽出された重要キーワードを格納する。

図２に戻り、学習情報１２５は、ユーザの開発分野及びユーザの次の行動の予測結果を示す情報である。
例えば、入力情報学習部１１５は、重要キーワード情報１２４内の重要キーワードに、予め定められた開発分野を示す重要キーワードが含まれている場合には、その開発分野をユーザの開発分野とする。予め定められた開発分野を示す重要キーワードが複数ある場合には、例えば、頻度が最も高いもの、相手先の地位が最も高いもの、重要度が最も高いもの等、予め定められた規則に従って、ユーザの開発分野が決定されればよい。なお、予め定められた開発分野については、開発分野データベース（図示せず）として予め記憶部１１９に記憶されているものとする。
また、入力情報学習部１１５は、最後の重要キーワードが抽出されたアプリケーションにより、ユーザの次の行動を特定することができる。例えば、このようなアプリケーションが、ブラウザ用のアプリケーションである場合には、現在の工程が、アイデア出しの工程又は技術調査工程であると特定することができる。このようなアプリケーションが、文書作成用のアプリケーションである場合には、現在の工程が、設計工程であると特定することができる。このようなアプリケーションがプレゼンテーション用のアプリケーションである場合には、現在の工程が、企画工程、提案工程又は進捗工程であると特定することができる。このようなアプリケーションが、Ｅｘｃｅｌ（登録商標）の場合には、現在の工程が、試験工程であると特定することができる。そして、入力情報学習部１１５は、以上のようにして特定した現在の工程から、ユーザの次の行動を特定する。なお、現在の工程に対応する次の行動は、行動データベース（図示せず）として予め記憶部１１９に記憶されているものとする。

なお、以上に記載した行動データベース、開発分野データベース、重要度データベース、地位データベース、文字データベース及び行動データベースについては、公知の学習機能により常にアップデートされているものとする。

分析情報１２６には、市場動向情報１２７、技術動向情報１２８、他社情報１２９及び提案情報１３０が含まれる。

市場動向情報１２７は、学習情報１２５に含まれているユーザの開発分野を示す重要キーワードと、市場動向を調査するために予め定められたキーワードとを検索キーワードとして用いて検索された情報である。
図５は、市場動向情報１２７の一例を示す概略図である。
市場動向情報１２７は、関連度列１２７ａと、区分列１２７ｂと、内容列１２７ｃとを有するテーブル形式の情報である。
関連度列１２７ａは、検索された情報と、検索キーワードとの関連度を格納する。この関連度は、検索された情報内に検索キーワードが含まれている割合を示すものとする。
区分列１２７ｂは、検索された情報の区分を格納する。ここでの区分は、使用された検索キーワードに対応して、予め定められているものとする。
内容列１２７ｃは、検索された情報の内容を格納する。

図２に戻り、技術動向情報１２８は、学習情報１２５に含まれているユーザの開発分野を示す重要キーワードと、技術動向を調査するために予め定められたキーワードとを検索キーワードとして用いて検索された情報である。
図６は、技術動向情報１２８の一例を示す概略図である。
技術動向情報１２８は、関連度列１２８ａと、区分列１２８ｂと、内容列１２８ｃとを有するテーブル形式の情報である。
関連度列１２８ａは、検索された情報と、検索キーワードとの関連度を格納する。
区分列１２８ｂは、検索された情報の区分を格納する。ここでの区分は、使用された検索キーワードに対応して、予め定められているものとする。
内容列１２８ｃは、検索された情報の内容を格納する。

なお、市場動向及び技術動向を検索する際に用いられるキーワードについては、公知の学習機能により常にアップデートされているものとする。

図２に戻り、他社情報１２９は、学習情報１２５に含まれているユーザの開発分野における他社の製品の動向について検索された情報である。開発分野毎に、検索すべき他社の製品が予め定められており、予め定められたＷｅｂページにおいて、検索すべき他社の製品の価格等が検索され、他社情報１２９として記憶される。
図７は、他社情報１２９の一例を示す概略図である。
他社情報１２９は、他社メーカー列１２９ａと、区分列１２９ｂと、内容列１２９ｃとを有するテーブル形式の情報である。
他社メーカー列１２９ａは、検索された他社製品の製品名を格納する。
区分列１２９ｂは、検索された他社製品が、関連技術なのか、他の分野の技術なのかの区分を格納する。この区分については、検索された他社製品毎に予め定められているものとする。
内容列１２９ｃは、検索された他社製品に関する情報の内容、例えば、価格等を格納する。

なお、他社情報を検索する製品及びＷｅｂページについては、公知の学習機能により常にアップデートされているものとする。

図２に戻り、提案情報１３０は、学習情報１２５に含まれているユーザの開発分野及びユーザの次の行動に対応して、検索された関連情報に基づいて、ユーザが必要としている内容を提案する情報である。
図８は、提案情報１３０の一例を示す概略図である。
提案情報１３０は、提案区分列１３０ａと、区分列１３０ｂと、内容列１３０ｃとを有するテーブル形式の情報である。
提案区分列１３０ａは、ユーザに対する提案内容を示す区分を格納する。なお、この区分については、学習情報１２５に含まれているユーザの開発分野及びユーザの次の行動に対応して、予め定められているものとする。
区分列１３０ｂは、特定された提案内容の区分を格納する。ここでの区分は、提案内容を取得した市場動向情報１２７、技術動向情報１２８又は他社情報１２９に応じて、予め定められているものとする。
内容列１３０ｃは、特定された提案内容を格納する。

なお、ユーザの開発分野及びユーザの次の行動に対応して、どのような内容の情報をユーザが必要としているかについては、公知の学習機能により常にアップデートされているものとする。

図２に戻り、通信部１３１は、通信線Ｌ３を介して、インターネット等のネットワーク１０３へ接続して、通信を行う。ネットワーク１０３への接続は、ＷｉＦｉ等の無線ネットワークが用いられてもよく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線ネットワークが用いられてもよい。

以上に記載された制御部１１３の一部又は全部は、例えば、図９（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
なお、記憶部１１９は、メモリ１０により構成することができ、図示されてはいない、その他の揮発性又は不揮発性のメモリにより構成することもできる。

また、制御部１１３の一部又は全部は、例えば、図９（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路１２で構成することもできる。

遠隔サーバ１４０は、開発支援装置１１０からネットワーク１０３を介して接続されるとともに、パソコン１０１からのＷｅｂ閲覧要求コマンドを開発支援装置１１０に転送し、開発支援装置１１０から返送された応答をパソコン１０１に返送する。

図１０は、遠隔サーバ１４０の構成を概略的に示すブロック図である。
遠隔サーバ１４０は、制御部１４１と、記憶部１４４と、通信部１５０とを備える。

制御部１４１は、遠隔サーバ１４０での処理を制御する。
制御部１４１は、Ｗｅｂサーバ部１４２と、転送処理部１４３とを備える。
Ｗｅｂサーバ部１４２は、パソコン１０１を介して、ユーザの認証を行う。
転送処理部１４３は、ログインされたユーザからの指示に応じて、開発支援装置１１０からユーザの開発を支援するための情報を取得して、パソコン１０１に転送する。

記憶部１４４は、遠隔サーバ１４０での処理に必要な情報を記憶する。
記憶部１４４は、Ｗｅｂコンテンツ情報１４５と、接続情報１４７とを記憶する。
Ｗｅｂコンテンツ情報１４５は、パソコン１０１に表示するＷｅｂコンテンツの情報である。例えば、Ｗｅｂコンテンツ情報１４５は、ユーザのログインのために、表示装置１０２にログイン画面画像を表示するためのログイン画面画像データを含むログイン画面情報１４６を含む。
接続情報１４７は、開発支援情報を転送するための情報である。例えば、接続情報１４７は、開発支援装置１１０の機器ＩＤを示す機器ＩＤ情報１４８及びパソコン１０１と接続するためのＰＣ接続情報１４９を含む。
機器ＩＤ情報１４８は、開発支援装置１１０毎に固有に割り当てられた識別情報である機器ＩＤを示す。機器ＩＤは、開発支援装置１１０のユーザが視認可能な場所に記載されているものとする。
ＰＣ接続情報１４９は、パソコン１０１と通信を行うために必要な情報である。例えば、ＰＣ接続情報１４９は、開発支援装置１１０と接続しているパソコン１０１のソケット番号及びＩＰアドレス等である。

通信部１５０は、通信線Ｌ４を介して、ネットワーク１０３へ接続して、通信を行う。ネットワーク１０３への接続は、ＷｉＦｉ等の無線ネットワークが用いられてもよく、ＬＡＮ等の有線ネットワークが用いられてもよい。

以上に記載された制御部１４１の一部又は全部は、例えば、図９（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
なお、記憶部１４４は、メモリ１０により構成することができ、図示されてはいない、その他の揮発性若しくは不揮発性のメモリ又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置により構成することもできる。

また、制御部１４１の一部又は全部は、例えば、図９（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。

なお、本実施の形態では、開発支援装置１１０及びパソコン１０１とも、遠隔サーバ１４０とＷｅｂＳｏｃｋｅｔ等の通信方式を用いて常時接続を行い、接続情報１４７を用いて開発支援装置１１０からパソコン１０１へのＰＵＳＨ型の送信を可能としている。

次に、開発支援装置１１０がパソコン画面を監視し、入力データを解析するとともに、情報を収集して分析するときの動作について図１１を用いて説明する。

図１１は、開発支援装置１１０の処理を示すフローチャートである。
開発支援装置１１０の画像情報管理部１１４は、撮像部１１１から取得した表示装置１０２で表示されている画面画像が変化したか否かを判断する（Ｓ１０）。画面画像が変化した場合（Ｓ１０でＹｅｓ）には、画像情報管理部１１４は、画面画像の画像データを画面画像データ１２１として記憶部１１９に一時的に保存する（Ｓ１１）。

次に、入力情報学習部１１５は、画面画像データ１２１で示される画像を解析し、パソコン１０１で実行されているアプリケーションを判別するとともに、表示されている文字列を抽出する（Ｓ１２）。
そして、入力情報学習部１１５は、抽出された文字列からキーワードを抽出し、ステップＳ１２で判別されたアプリケーションに基づいて、抽出されたキーワードを、メール、設計文書、プロジェクト管理又はＷｅｂといった区分に割り当て、入力解析情報１２３として保存する（Ｓ１３）。

入力情報学習部１１５は、入力解析情報１２３の更新のタイミング又は一定期間おきに、入力解析情報１２３の中から数多く出てきた文字列、一定期間内の頻度、メール相手先等を考慮して重要キーワードを抽出し、重要キーワード情報１２４として保存する（Ｓ１４）。
また、入力情報学習部１１５は、重要キーワード情報１２４を参照して、ユーザの開発分野及び次の行動を予測して、その予測結果を学習情報１２５として保存する（Ｓ１５）。

次に、開発支援装置１１０がネットワーク１０３から情報を収集して、各種調査を行う動作について、図１２を用いて説明する。

図１２は、開発支援装置１１０が外部からの情報を分析する処理を示すフローチャートである。
開発支援装置１１０の外部情報分析部１１６は、学習情報１２５からユーザの開発分野を抽出し（Ｓ２０）、関連情報を収集するために、通信部１３１を介してネットワーク１０３に接続する（Ｓ２１）。

続いて、外部情報分析部１１６は、ネットワーク１０３から、ユーザの開発分野の今後の法規制の制定及び改正の情報、新規市場の大きさ並びに成長性等の市場動向を調査し、市場動向情報１２７として保存する（Ｓ２２）。

続いて、外部情報分析部１１６は、ユーザの開発分野で使われている技術の今後の動向、技術の置き換わりの予想及び現在使われていない分野の新技術の動向を調査し、技術動向情報１２８として保存する（Ｓ２３）。

続いて、外部情報分析部１１６は、他社の同様製品の価格、機能及び生産情報等の比較を行い、他社情報１２９として保存する（Ｓ２４）。

続いて、提案情報管理部１１７は、ユーザの開発分野及びユーザの次の行動から、各種課題の解決の提案、新技術の検討提案等をまとめ、提案情報１３０として保存する（Ｓ２５）。

次に、調査結果及び提案情報をパソコン１０１から閲覧するための動作について、図１３及び図１４を用いて説明する。

図１３及び図１４は、パソコン１０１から調査結果及び提案情報を閲覧する際の処理を示すシーケンス図である。

開発支援装置１１０の情報処理部１１８は、通信部１３１を介して、遠隔サーバ１４０に対してＷｅｂＳｏｃｋｅｔ等の方式にて常時接続した状態としておく（Ｓ３０〜Ｓ３２）。

遠隔サーバ１４０との接続完了後、開発支援装置１１０の情報処理部１１８は、開発支援装置１１０の製造番号等、開発支援装置１１０の固有の番号である機器ＩＤを遠隔サーバ１４０に送信する（Ｓ３３、Ｓ３４）。

遠隔サーバ１４０は、開発支援装置１１０から送られてきた機器ＩＤを、機器ＩＤ情報１４８として記憶部１４４に記憶する（Ｓ３５）。そして、遠隔サーバ１４０の制御部１４１は、機器ＩＤの保持を完了した完了応答を、通信部１５０を介して、開発支援装置１１０に送信する（Ｓ３６）。

パソコン１０１から開発支援装置１１０が保持する情報を閲覧する場合、まず、ユーザは、図示しない入力部を介して、表示装置１０２にＷｅｂブラウザを開き、遠隔サーバ１４０のＵＲＬを入力して（Ｓ３７）、遠隔サーバ１４０にアクセスする（Ｓ３８）。

アクセスされた遠隔サーバ１４０は、制御部１４１内のＷｅｂサーバ部１４２が、記憶部１４４に記憶されているログイン画面情報１４６に基づいて、通信部１５０を介して、ログイン画面画像データを返信する（Ｓ３９、Ｓ４０）。ログイン画面画像データに従って表示されるログイン画面画像には、接続したい開発支援装置１１０の機器ＩＤを入力する部分が含まれる。

パソコン１０１では、表示装置１０２において、Ｗｅｂ画面上にログイン画面画像が表示され、ユーザは、図示しない入力部を用いて、手元にある開発支援装置１１０の機器ＩＤを入力し（Ｓ４１）、ログイン画面画像等のボタンを押下して機器ＩＤを遠隔サーバ１４０に送信する（Ｓ４２）。

続いて、遠隔サーバ１４０は、指定された機器ＩＤを機器ＩＤ情報１４８から検索し、一致する機器ＩＤがあれば、その開発支援装置１１０に接続要求を送信する（Ｓ４３、Ｓ４４）。
そのような接続要求を受けた開発支援装置１１０の情報処理部１１８は、例えば、乱数で任意の識別ＩＤ（識別情報）を生成し（Ｓ４５）、通信部１３１を介して返信する（Ｓ４６）。

続いて、遠隔サーバ１４０は、取得した識別ＩＤをパソコン１０１に転送する（Ｓ４７、Ｓ４８）。そして、処理は、図１４のステップＳ４９に進む。

図１４のステップＳ４９では、表示装置１０２は、Ｗｅｂ画面上に識別ＩＤを表示する。

開発支援装置１１０の情報処理部１１８は、撮像部１１１から取得するパソコン画面の画像上に、図１３のステップＳ４６で送信した識別ＩＤが表示されているかを確認する（Ｓ５０）。そして、そのような識別ＩＤが表示されている場合には、ユーザの認証が成功したとして、開発支援装置１１０の情報処理部１１８は、ログイン完了コマンドを遠隔サーバ１４０に送信する（Ｓ５１）。なお、ここで、ユーザの認証が失敗した場合には、以下の処理は行われない。

遠隔サーバ１４０は、ログイン完了コマンドを受け、パソコン１０１に接続するために必要な情報を、ＰＣ接続情報１４９として記憶部１４４に記憶する（Ｓ５２）。なお、遠隔サーバ１４０は、通信コマンドを転送する際には、機器ＩＤ情報１４８に格納されている機器ＩＤと、ＰＣ接続情報１４９に格納されているパソコン１０１に接続するために必要な情報とを対応付けることで、接続相手先を検索可能とする。

開発支援装置１１０の情報処理部１１８は、記憶部１１９に記憶されている分析情報１２６に基づいて、お知らせ画面画像を表示するためのお知らせ画面画像データを生成する（Ｓ５３）。例えば、ユーザの次の行動に対応して、市場動向情報１２７、技術動向情報１２８、他社情報１２９及び提案情報１３０から抽出する区分が予め定められており、情報処理部１１８は、市場動向情報１２７、技術動向情報１２８、他社情報１２９及び提案情報１３０から抽出された一部の内容を予め定められた形式で配置することによりお知らせ画面画像データを生成する。なお、抽出する区分については、公知の学習機能により常にアップデートされているものとする。
そして、開発支援装置１１０の情報処理部１１８は、通信部１３１を介して、お知らせ画面画像データを遠隔サーバ１４０に送信する（Ｓ５４）。

そして、遠隔サーバ１４０の制御部１４１は、お知らせ画面画像データを、通信部１５０を介してパソコン１０１に転送する（Ｓ５５、Ｓ５６）。
表示装置１０２は、受信したお知らせ画面画像データに基づいて、お知らせ画面画像を表示する（Ｓ５７）。

図１５は、パソコン１０１に表示されるお知らせ画面画像の一例を示す概略図である。
図示されているように、お知らせ画面画像１７０には、市場動向、技術動向及び他社比較の調査結果並びに提案情報が、予め定められた会話形式のように表示される。そして、ユーザは、画面クリック又は音声による指示によって、市場動向、技術動向、他社比較及び提案情報の少なくとも１つの調査結果の詳細画面画像（回答画面画像）を表示させることができる。以下、詳細画面画像を表示させる処理について説明する。

お知らせ画面画像が表示されている表示装置１０２を見て、ユーザが、図示しない入力部を介して画面操作を行うことにより（Ｓ５８）、表示したい調査結果等の要求コマンドが遠隔サーバ１４０を介して、開発支援装置１１０に送信される（Ｓ５９〜Ｓ６１）。なお、ユーザは、表示したい調査結果等の要求コマンドを、開発支援装置１１０の入力部１１２に音声で入力することもできる（Ｓ６２）。

開発支援装置１１０の提案情報管理部１１７は、指示された内容に応じて、回答画面画像を表示するための回答画面画像データを生成する（Ｓ６３）。例えば、提案情報管理部１１７は、提案情報１３０に格納されている市場動向、技術動向、他社比較及び提案の調査結果の内、指示を受けた調査結果のみを予め定められた形式で表示するように、回答画面画像データを生成する。
そして、開発支援装置１１０の提案情報管理部１１７は、遠隔サーバ１４０を介して、そのデータをパソコン１０１に返信する（Ｓ６４〜Ｓ６６）。
表示装置１０２は、回答画面画像データに基づいて、回答画面画像を表示する（Ｓ６７）。

図１６は、パソコン１０１に表示される回答画面画像の一例を示す概略図である。
図示されているように、回答画面画像１７１には、表示することが指示された技術動向及び提案に関する詳細な調査結果が表示されている。

以上のようにして、パソコン１０１は、開発支援装置１１０が保持する情報を、ネットワーク１０３上のデータサーバである遠隔サーバ１４０を介して、安全に取得して、それを表示することができる。

なお、この実施の形態では、開発支援装置１１０が調査及び提案する内容を市場動向、技術動向及び他社情報としているが、必ずしもこれらに限定されるものではなく、開発支援装置１１０は、開発で必要な調査であれば他の観点の情報を収集及び分析できるようにしてもよい。

また、この実施の形態では、遠隔サーバ１４０が、ネットワーク１０３に接続されているが、実施の形態はこのような例に限定されず、遠隔サーバ１４０は、ビル内のローカルＬＡＮに接続されていてもよい。

また、この実施の形態では、ユーザの認証は、パソコン１０１の画面画像上に識別ＩＤを表示させ、その画面画像に表示された識別ＩＤが撮像部１１１で取得できるかどうかで行われているが、ユーザの認証は必ずしもこの方式で認証する必要はない。例えば、別の撮像部が開発支援装置１１０又はパソコン１０１に追加され、その別の撮像部により撮像された顔の画像に基づいて、顔認証等により認証が行われてもよい。さらに、音声による声紋認証、指紋認証、又は、ユーザ名及びパスワード等による認証が行われてもよい。

また、この実施の形態では、開発支援装置１１０は、小型の携帯型のコンピュータをイメージして記載しているが、必ずしも携帯型である必要はなく、固定式のコンピュータが用いられてもよい。

以上のように、この実施の形態に係る開発支援装置１１０は、パソコン１０１の画面上に表示された実行アプリケーション及び文字情報を認識し、どのような情報を必要としている開発業務かを学習及び分析するとともに、ネットワーク１０３から関連した情報を収集及び分析することができるため、人にはできない大容量データの分析を自動的に行うことが可能となる。

また、この実施の形態に係る開発支援装置１１０によれば、開発支援装置１１０を社内ＬＡＮ等の情報系ＬＡＮに接続する必要が無いため、顧客の情報システム部門との折衝が不要となり、ネットワーク及びセキュリティに関する知識に乏しい設備業者においても、容易にネットワーク１０３を活用したシステムを構築することができる。

また、この実施の形態に係る開発支援装置１１０によれば、ユーザの情報は、開発支援装置１１０内に保持され、ネットワーク１０３上のサーバに保持されることはないため、ユーザの情報の漏えいといったセキュリティリスクを小さくすることができる。

以上の実施の形態によれば、ユーザが開発を行う際に使用する表示装置に表示された作業画面画像に基づいて、ユーザの開発を支援するための大容量データの収集を自動的に行うことができる。

また、以上の実施の形態によれば、ユーザの開発分野に対応する重要キーワードと、予め定められたキーワードとを検索キーワードとして用いて、ネットワークで検索を行うため、ユーザの開発を支援するための情報を効率的に取得することができる。

また、以上の実施の形態によれば、関連情報の一部及び提案情報の一部を含むお知らせ画面画像が表示装置に表示されるため、ユーザは、関連情報及び提案情報の概要を容易に認識することができる。

また、以上の実施の形態によれば、検索された情報は、遠隔サーバ１４０ではなく、開発支援装置１１０に蓄積されるため、蓄積された情報の漏洩の防止を容易に行うことができる。

また、以上の実施の形態によれば、パソコン１０１から開発支援装置１１０にアクセスする度に、新たな識別情報を用いて、ユーザの認証が行われるため、よりセキュリティ性を高めることができる。

なお、本発明は、上述の実施の形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施の形態及び図面に変更を加えることができるのはもちろんである。

１００ 開発支援システム、 １０１ パソコン、 １０２ 表示装置、 １０３ ネットワーク、 １１０ 開発支援装置、 １１１ 撮像部、 １１２ 入力部、 １１３ 制御部、 １１４ 画像情報管理部、 １１５ 入力情報学習部、 １１６ 外部情報分析部、 １１７ 提案情報管理部、 １１９ 記憶部、 １３１ 通信部、 １４０ 遠隔サーバ、 １４１ 制御部、 １４２ Ｗｅｂサーバ部、 １４３ 転送処理部、 １４４ 記憶部、 １５０ 通信部、 １０ メモリ、 １１ プロセッサ、 １２ 処理回路。

Claims (7)

1. ユーザが開発を行う際に使用する表示装置に表示された画面画像を撮像することのできる位置に配置され、ネットワークに接続することのできる情報処理装置であって、
   前記表示装置に表示され、前記ユーザがアプリケーションを用いて作業を行っている作業画面画像を撮像する撮像部と、
   前記作業画面画像に含まれている文字列から重要キーワードを抽出し、当該抽出された重要キーワードから前記ユーザの開発分野を特定するとともに、前記作業画面画像から前記アプリケーションを特定し、当該特定されたアプリケーションから前記ユーザの次の行動を特定する入力情報学習部と、
   前記ネットワークから、前記ユーザの開発分野及び前記ユーザの次の行動に関連する関連情報を取得する外部情報分析部と、
   前記関連情報から、前記ユーザに提案するための提案情報を生成する提案情報管理部と、を備えること
   を特徴とする情報処理装置。
2. 前記外部情報分析部は、前記重要キーワードの内、前記ユーザの開発分野に対応する重要キーワードと、予め定められたキーワードとを検索キーワードとして用いて、前記ネットワークで検索を行うことにより、前記関連情報を取得すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記関連情報の一部及び前記提案情報の一部を含む通知画面画像を表示するための通知画面画像データを生成し、当該通知画面画像データに基づいて、当該通知画面画像を前記表示装置に表示させる情報処理部をさらに備えること
   を特徴とする請求項１又は２に記載の情報処理装置。
4. 前記ネットワークには、前記表示装置と接続されたユーザ端末及び当該ユーザ端末へデータを転送するサーバが接続されており、
   前記ネットワークと通信するための通信部をさらに備え、
   前記情報処理部は、前記通信部に、前記通知画面画像データを前記サーバへ送信させることで、前記サーバに前記通知画面画像データを前記ユーザ端末へ転送させて、前記表示装置に前記通知画面画像を表示させること
   を特徴とする請求項３に記載の情報処理装置。
5. 前記情報処理部は、識別情報を生成して、前記通信部に、当該識別情報を前記サーバへ送信させることで、前記サーバに当該識別情報を前記ユーザ端末へ転送させて、前記表示装置に当該識別情報を表示させ、
   前記情報処理部は、前記撮像部で前記表示装置に表示された識別情報を撮像することで、前記ユーザの認証を行い、前記ユーザの認証が成功した場合に、前記通知画面画像データを生成すること
   を特徴とする請求項４に記載の情報処理装置。
6. 前記情報処理部は、前記表示装置に表示されている前記通知画面画像に基づいて、前記ユーザから入力された指示に回答する内容を示す回答画面画像を表示するための回答画面画像データを生成し、前記通信部に、当該回答画面画像データを前記サーバへ送信させることで、前記サーバに当該回答画面画像データを前記ユーザ端末へ転送させて、前記表示装置に当該回答画面画像を表示させること
   を特徴とする請求項４又は５に記載の情報処理装置。
7. ネットワークに接続され、ユーザが開発を行う際に使用するユーザ端末、当該ユーザ端末に接続された表示装置、当該ネットワークに接続されたサーバ及び当該ネットワークに接続され、当該表示装置に表示された画面画像を撮像することのできる位置に配置された情報処理装置を備える開発支援システムであって、
   前記情報処理装置は、
   前記表示装置に表示され、前記ユーザがアプリケーションを用いて作業を行っている作業画面画像を撮像する撮像部と、
   前記作業画面画像に含まれている文字列から重要キーワードを抽出し、当該抽出された重要キーワードから前記ユーザの開発分野を特定するとともに、前記作業画面画像から前記アプリケーションを特定し、当該特定されたアプリケーションから前記ユーザの次の行動を特定する入力情報学習部と、
   前記ネットワークから、前記ユーザの開発分野及び前記ユーザの次の行動に関連する関連情報を取得する外部情報分析部と、
   前記関連情報から、前記ユーザに提案するための提案情報を生成する提案情報管理部と、を備えること
   を特徴とする開発支援システム。

Images