JP2016116044A - Information processing system, information processing apparatus, and information processing method - Google Patents
Information processing system, information processing apparatus, and information processing method Download PDFInfo
- Publication number
- JP2016116044A JP2016116044A JP2014252433A JP2014252433A JP2016116044A JP 2016116044 A JP2016116044 A JP 2016116044A JP 2014252433 A JP2014252433 A JP 2014252433A JP 2014252433 A JP2014252433 A JP 2014252433A JP 2016116044 A JP2016116044 A JP 2016116044A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- cpu
- processing apparatus
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、複数の装置の間で画面を共有する情報処理システム、情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing system, an information processing apparatus, and an information processing method for sharing a screen among a plurality of apparatuses.
従来、ユーザの情報処理装置の表示部に表示される呼出ボタンを操作することにより、予め記憶された電話番号等の情報を他の情報処理装置へ出力することでオペレータの処理効率を向上させる技術が開示されている（例えば、特許文献１）。 Conventionally, by operating a call button displayed on a display unit of a user's information processing apparatus, information such as a telephone number stored in advance is output to another information processing apparatus, thereby improving the processing efficiency of the operator. Is disclosed (for example, Patent Document 1).
しかし、特許文献１に記載の技術では、オペレータはオペレータの指示を受けたユーザの状況を把握できないため、ユーザを効率的に支援することが難しいという問題が生じていた。
However, the technique described in
一つの側面では、ユーザを効率的に支援することができる情報処理システム、情報処理装置及び情報処理方法を提供することにある。 In one aspect, an object is to provide an information processing system, an information processing apparatus, and an information processing method that can efficiently support a user.
一態様の情報処理システムは、表示部を備える第１情報処理装置、表示部を備え、電話を発信する第２情報処理装置及び該第２情報処理装置から発信された電話を受信する通信装置を通信網を介して接続してなる情報処理システムであって、前記第１情報処理装置は、前記第２情報処理装置との通信を確立し、前記第２情報処理装置と共有する共有情報を前記第２情報処理装置の表示部と同期的に前記第１情報処理装置の表示部に表示する同期表示処理部と、動画を撮像する撮像部とを備え、前記同期表示処理部は、前記共有情報に対して前記撮像部で撮像した動画を同期的に表示することを特徴とする。 An information processing system according to one aspect includes a first information processing device including a display unit, a second information processing device including a display unit, and a communication device that receives a call transmitted from the second information processing device. An information processing system connected via a communication network, wherein the first information processing apparatus establishes communication with the second information processing apparatus and shares shared information with the second information processing apparatus. A synchronous display processing unit configured to display on the display unit of the first information processing apparatus synchronously with a display unit of the second information processing apparatus; and an imaging unit configured to capture a moving image, wherein the synchronous display processing unit includes the shared information In contrast, the moving images picked up by the image pickup unit are displayed synchronously.
一態様によれば、ユーザを効率的に支援することができる。 According to one aspect, a user can be efficiently supported.
実施の形態１
以下本実施の形態を、図面を参照して説明する。以下の説明では各図中の上下左右を用いる。図１は、情報処理システムの概要を示す模式図である。以下では本実施形態における情報処理システムの概要について説明する。情報処理システムは、第１情報処理装置１と、第２情報処理装置２と、サーバ３と、通信装置４と、通話サーバ５とを備える。第１情報処理装置１、第２情報処理装置２、サーバ３、通信装置４及び通話サーバ５はＬＡＮ（Local Area Network）、インターネット又は携帯電話網等の通信網Ｎを介して接続されている。
Hereinafter, the present embodiment will be described with reference to the drawings. In the following description, top, bottom, left and right in each figure are used. FIG. 1 is a schematic diagram showing an outline of an information processing system. Below, the outline | summary of the information processing system in this embodiment is demonstrated. The information processing system includes a first
第２情報処理装置２は、第１情報処理装置１と画面を共有する装置であり、例えばスマートフォン又はウェアラブル端末等である。本実施形態における第２情報処理装置２はスマートフォンとする。第２情報処理装置２はサーバ３を介して第１情報処理装置１と画面を同期的に表示する。また第２情報処理装置２は通話サーバ５を介して通信装置４へ電話を発信する。なお、本実施形態における電話はＩＰ（Internet Protocol）電話を含む。
The second
サーバ３は第１情報処理装置１と第２情報処理装置２との間で同期処理を行うコンピュータであり、例えばサーバコンピュータ又はプラットフォーム等である。第１情報処理装置１は第２情報処理装置２と画面を共有する装置であり、例えばコンピュータ、スマートフォン又はウェアラブル端末等である。通信装置４は第１情報処理装置１からの電話を通話サーバ５を介して着信する装置であり、例えば電話機、携帯電話又はスマートフォン等である。通話サーバ５は第２情報処理装置２と通信装置４との間で電話回線を接続する装置であり、例えばサーバコンピュータ又はプラットフォーム等である。
The
ユーザは第２情報処理装置２を用いる。ユーザとの間で後述する入力情報の操作又は電話対応等を行うオペレータは第１情報処理装置１及び通信装置４を用いる。
The user uses the second
以下、本実施形態における情報処理システムの詳細について説明する。図２は第１情報処理装置１及び第２情報処理装置２のハードウェア群を示すブロック図である。図２に示す第１情報処理装置１は、ＣＰＵ(Central Processing Unit)１１、記憶部１２、ＲＡＭ１３、入力部１４、表示部１５及び通信部１６を備える。
Details of the information processing system in the present embodiment will be described below. FIG. 2 is a block diagram illustrating a hardware group of the first
ＣＰＵ１１は、バスを介してハードウェア各部と接続されている。ＣＰＵ１１は例えば一又は複数のＣＰＵ又はマルチコアＣＰＵ等を備える。ＣＰＵ１１は、記憶部１２に記憶されたプログラム１２Ｐに従い、ハードウェアの各部の制御を行う。
The
ＲＡＭ１３は例えばＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリ等である。ＲＡＭ１３は、記憶部としても機能し、ＣＰＵ１１による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
The
記憶部１２は例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリである。記憶部１２にはＣＰＵ１１が処理を行う際に必要とする種々のデータ及びプログラム１２Ｐを格納する。
The
入力部１４はマウス、キーボード又はタッチパネル等の入力デバイスであり、受け付けた操作情報をＣＰＵ１１へ出力する。表示部１５は液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等である。
The
通信部１６は、例えば無線ＬＡＮカード又は携帯電話用通信モジュール等であり、通信網Ｎを介して各種情報をサーバ３との間で送受信する。
The
図２に示すように第２情報処理装置２は、ＣＰＵ２１、記憶部２２、ＲＡＭ２３、入力部２４、表示部２５及び通信部２６及び音声入出力部２７を備える。第２情報処理装置２のＣＰＵ２１及びＲＡＭ２３の作用及び動作は第１情報処理装置１のＣＰＵ１１及びＲＡＭ１３の作用及び動作と同様であり、簡潔のため記載を省略する。
As shown in FIG. 2, the second
記憶部２２は例えばＥＥＰＲＯＭ等の不揮発性メモリである。記憶部２２にはＣＰＵ２１が処理を行う際に必要とする種々のデータ及びプログラム２２Ｐを格納する。
The
入力部２４はタッチパネル等の入力デバイスであり、受け付けた操作情報をＣＰＵ２１へ出力する。表示部２５はＣＰＵ２１から出力された画像データを出力する。表示部２５は例えば液晶画面である。タッチパネルは表示部２５の表示画面を覆うように設けられている。タッチパネルは例えば、タップ、フリック又はスワイプ等のユーザの指先のタッチ操作により表示部２５の表示画面上における位置指定を受け付ける。タッチパネルはユーザの指先が接触する接触点の表示画面上の座標を検出し、検出した座標とともにユーザが行ったタッチ操作の操作情報をＣＰＵ２１へ出力する。なお、入力部２４はユーザの指示を受け付けるための各種ボタン、指示の確定を受け付けるエンターキー又はテンキー等でもよい。
The
通信部２６は、例えば無線ＬＡＮカード又は携帯電話用通信モジュール等であり、通信網Ｎを介して各種情報をサーバ３との間で送受信する。音声入出力部２７は、例えばマイク及びレシーバ（受話器）である。音声入出力部２７のマイクは入力された音声を音声信号に変換し、変換した音声信号をＣＰＵ２１へ出力する。ＣＰＵ２１は出力された音声信号を取得し、取得した音声信号を通信網Ｎを介して通話サーバ５へ出力する。ＣＰＵ２１は通話サーバ５から音声信号を取得し、取得した音声信号を音声入出力部２７のレシーバを介して出力する。なお、第２情報処理装置２は第１情報処理装置１と同様の構成でもよい。
The
図３はサーバ３及び通信装置４のハードウェア群を示すブロック図である。図３に示すサーバ３は、ＣＰＵ３１、記憶部３２、ＲＡＭ３３、入力部３４、表示部３５及び通信部３６を備える。サーバ３のＣＰＵ３１、ＲＡＭ３３、入力部３４及び表示部３５の作用及び動作は第２情報処理装置２のＣＰＵ２１、ＲＡＭ２３、入力部２４及び表示部２５の作用及び動作と同様であり、簡潔のため記載を省略する。
FIG. 3 is a block diagram showing hardware groups of the
記憶部３２は例えばＥＥＰＲＯＭ等の不揮発性メモリである。記憶部３２にはＣＰＵ３１が処理を行う際に必要とする種々のデータ、通話サーバ５へ発信する電話番号、画面共有ＤＢ３２１、セッションＤＢ３２２及びプログラム３２Ｐを格納する。
The
通信部３６は、例えば無線ＬＡＮカード又は携帯電話用通信モジュール等であり、通信網Ｎを介して各種情報を第１情報処理装置１及び第２情報処理装置２との間で送受信する。
The
図３に示すように通信装置４は、ＣＰＵ４１、記憶部４２、ＲＡＭ４３、入力部４４、表示部４５、通信部４６及び音声入出力部４７を備える。通信装置４のＣＰＵ４１、ＲＡＭ４３、表示部４５及び音声入出力部４７の作用及び動作は第２情報処理装置２のＣＰＵ２１、ＲＡＭ２３、表示部２５及び音声入出力部２７の作用及び動作と同様であり、簡潔のため記載を省略する。
As illustrated in FIG. 3, the communication device 4 includes a
記憶部４２は例えばＥＥＰＲＯＭ等の不揮発性メモリである。記憶部４２にはＣＰＵ４１が処理を行う際に必要とする種々のデータ及びプログラム４２Ｐを格納する。
The
通信部４６は、例えば無線ＬＡＮカード又は携帯電話用通信モジュール等であり、通信網Ｎを介して各種情報をサーバ３との間で送受信する。
The
図４は通話サーバ５のハードウェア群を示すブロック図である。図４に示すように通話サーバ５は、ＣＰＵ５１、記憶部５２、ＲＡＭ５３、入力部５４、表示部５５及び通信部５６を備える。通話サーバ５のＣＰＵ５１、ＲＡＭ５３、入力部５４及び表示部５５の作用及び動作はサーバ３のＣＰＵ３１、ＲＡＭ３３、入力部３４及び表示部３５の作用及び動作と同様であり、簡潔のため記載を省略する。
FIG. 4 is a block diagram showing a hardware group of the
記憶部５２は例えばＥＥＰＲＯＭ等の不揮発性メモリである。記憶部５２にはＣＰＵ５１が処理を行う際に必要とする種々のデータ及びプログラム５２Ｐを格納する。
The
通信部５６は、例えば無線ＬＡＮカード又は携帯電話用通信モジュール等であり、通信網Ｎを介して各種情報を第１情報処理装置１及び通信装置４との間で送受信する。
The
図５は画面共有ＤＢ３２１に格納されているデータの一例を示す図である。画面共有ＤＢ３２１は後述するセッションＩＤに基づいて第１情報処理装置１又は第２情報処理装置２との通信を確立し、第１情報処理装置１又は第２情報処理装置２と共有する情報を示す共有情報に関するデータを記憶するデータベースである。共有情報とは第１情報処理装置１の入力部１４又は第２情報処理装置２の入力部２４で入力を受け付けた情報を示す入力情報、カーソルの位置を示すカーソル位置及びオブジェクトを識別するためのオブジェクトＩＤ等が含まれる。
FIG. 5 is a diagram illustrating an example of data stored in the
画面共有ＤＢ３２１は入力情報列、オブジェクトＩＤ列、オブジェクト列及びカーソル位置列等を備える。入力情報列には入力情報が記憶される。オブジェクトＩＤ列にはオブジェクトＩＤが記憶される。オブジェクト列には共有情報に対応づけられた共有画面上に表示されるオブジェクトが記憶される。オブジェクト列には例えば、「入力欄１５Ａ，入力欄２５Ａ」又は「入力欄１５Ｂ，入力欄２５Ｂ」等が記憶される。カーソル位置列にはカーソル位置が記憶される。カーソルとは操作対象を示すアイコンである。画面共有ＤＢ３２１のオブジェクトＩＤ列はオブジェクト列に対応づけて予め記憶されている。ＣＰＵ１１又は２１は入力情報、オブジェクトＩＤ又はカーソル位置等の共有情報をサーバ３へ出力する。ＣＰＵ３１は取得した共有情報を画面共有ＤＢ３２１に記憶する。
The
図６はセッションＤＢ３２２に格納されているデータの一例を示す図である。セッションＤＢ３２２は第１情報処理装置１と通信を確立するためのセッションＩＤ(識別情報)に関するデータを記憶するデータベースである。セッションＤＢ３２２はセッションＩＤ列を備える。セッションＩＤ列にはセッションＩＤが記憶される。サーバ３のＣＰＵ３１はセッションＩＤの出力要求を第１情報処理装置１から取得する。ＣＰＵ３１は新たなセッションを開始し、セッションＩＤを生成する。ＣＰＵ３１はセッションＩＤをセッションＤＢ３２２に記憶する。
FIG. 6 is a diagram illustrating an example of data stored in the
図７は画面共有を行う前の表示部２５の一例を示す説明図である。表示部２５は第１情報処理装置１との間で画面を共有する共有画面２５１を備える。共有画面２５１は右上から下方向に２つ設けられた入力欄２５Ａ及び２５Ｂから構成される入力欄２５２と、画面共有欄２５３とを備える。画面共有欄２５３は共有ボタン２５４を備える。入力欄２５２は共有情報の入力を受け付ける欄である。画面共有欄２５３は画面を共有するための欄である。共有ボタン２５４は画面を共有するためのボタンである。
FIG. 7 is an explanatory diagram illustrating an example of the
具体的な画面共有を行う前の共有画面２５１の作用及び動作は以下の通りである。ＣＰＵ２１は共有画面２５１を表示するブラウザ２５０を出力する。ＣＰＵ２１は共有ボタン２５４をタッチ操作したか否かを判定する。ＣＰＵ２１は共有ボタン２５４をタッチ操作したと判定した場合、セッションＩＤの出力要求をサーバ３へ出力する。
The action and operation of the shared
サーバ３のＣＰＵ３１はセッションＩＤの出力要求を第１情報処理装置１から取得する。ＣＰＵ３１は新たなセッションを開始し、セッションＩＤ「１１１１１１１１」を生成する。
The
ＣＰＵ３１はセッションＩＤ「１１１１１１１１」及び予め記憶部３２に記憶された電話番号「０１２０−ＸＸＸ−ＸＸＸ」を第２情報処理装置２へ出力する。ＣＰＵ１１はセッションＩＤ「１１１１１１１１」及び電話番号「０１２０−ＸＸＸ−ＸＸＸ」をサーバ３から取得する。
The
図８はセッションＩＤを表示した共有画面２５１の一例を示す説明図である。共有画面２５１は中央にセッションＩＤ欄２５５と、セッションＩＤ欄２５５の下部に電話番号欄２５６とを備える。セッションＩＤ欄２５５はセッションＩＤを表示するための欄である。電話番号欄２５６は電話番号を表示するための欄である。ＣＰＵ２１はセッションＩＤ「１１１１１１１１」をセッションＩＤ欄２５５に表示する。ＣＰＵ２１は電話番号「０１２０−ＸＸＸ−ＸＸＸ」を電話番号欄２５６に表示する。
FIG. 8 is an explanatory diagram showing an example of the shared
ユーザは第２情報処理装置２の入力部２４で通話サーバ５への電話番号「０１２０−ＸＸＸ−ＸＸＸ」を入力する。ＣＰＵ２１は通話サーバ５へ発信する電話番号「０１２０−ＸＸＸ−ＸＸＸ」が入力部２４に入力されたか否かを判定する。ＣＰＵ２１は通話サーバ５へ発信する電話番号「０１２０−ＸＸＸ−ＸＸＸ」が入力部２４に入力されたと判定した場合、通話サーバ５への発信処理を行う。電話番号「０１２０−ＸＸＸ−ＸＸＸ」にはハイパーリンクが貼られている。またユーザが電話番号「０１２０−ＸＸＸ−ＸＸＸ」をタッチ操作した場合、ＣＰＵ２１は通話サーバ５へ発信処理を行う。
The user inputs the telephone number “0120-XXX-XXX” to the
通話サーバ５のＣＰＵ５１は第２情報処理装置２から着信を受け取る。ＣＰＵ５１は通信装置４へ呼出処理を行う。通信装置４のＣＰＵ４１は通話サーバ５を介して第２情報処理装置２からの電話を受信する。ユーザは音声入出力部１７から音声を発することでセッションＩＤ「１１１１１１１１」を通信装置４に係るオペレータへ伝える。なお、ＣＰＵ２１はセッションＩＤ「１１１１１１１１」を通話サーバ５を介して第１情報処理装置１へ出力してもよい。
The
図９はセッションＩＤの入力を行うためのブラウザ１５０の一例を示す説明図である。ブラウザ１５０は右部に設けられたＩＤ入力欄１５１と、ＩＤ入力欄１５１の下部に設けられたボタン１５２とを備える。ＩＤ入力欄１５１はセッションＩＤの入力を受け付ける欄である。ボタン１５２は受け付けたセッションＩＤをサーバ３へ出力するためのボタンである。
FIG. 9 is an explanatory diagram showing an example of a
第２情報処理装置２から電話を受信した後に、ＣＰＵ１１はＩＤ入力欄１５１でセッションＩＤの入力を受け付ける。ボタン１５２が入力部１４で操作された場合、ＣＰＵ１１は受け付けたセッションＩＤをサーバ３へ出力する。具体的にはＣＰＵ１１はＩＤ入力欄１５１でセッションＩＤの入力を受け付ける。オペレータはセッションＩＤ「１１１１１１１１」をＩＤ入力欄１５１に入力する。
After receiving a call from the second
図１０は画面共有を行った後の表示部２５及び表示部１５の一例を示す説明図である。図１０Ａは画面共有を行った後の表示部２５の一例を示す説明図である。図１０Ｂは画面共有を行った後の表示部１５の一例を示す説明図である。表示部１５は共有画面１５３を備える。共有画面１５３は右上から下方向に２つ設けられた入力欄１５Ａ及び１５Ｂから構成される入力欄１５４を備える。入力欄１５４は共有情報の入力を受け付ける欄である。
FIG. 10 is an explanatory diagram illustrating an example of the
具体的な画面共有を行った後の共有画面１５３及び２５１の作用及び動作を説明する。ＣＰＵ２１は共有画面２５１を表示するブラウザ２５０を出力する。ユーザはオペレータとの間で通話を行うことで入力欄２５２に共有情報の入力を行う。例えば、オペレータはユーザに入力欄２５Ａにユーザの名前を入力することを伝える。ユーザは入力欄２５Ａまでカーソルを移動する。
The operation and operation of the shared
ＣＰＵ２１はカーソル位置をサーバ３へ出力する。ＣＰＵ１１はカーソル位置を第２情報処理装置２から取得する。ＣＰＵ２１は取得したカーソル位置を第１情報処理装置１へ出力する。ＣＰＵ１１はカーソル位置をサーバ３から取得する。ＣＰＵ１１は取得したカーソル位置に基づいてカーソルを共有画面１５３の入力欄１５Ａに移動する。
The
オペレータはユーザに音声入出力部４７へ音声を発することで入力欄２５Ａが現在のカーソル位置であることを伝える。ユーザは入力欄２５Ａに入力情報「ユーザＡ」を入力する。ＣＰＵ２１は入力情報「ユーザＡ」をオブジェクト「入力欄１５Ａ」に対応づけられたオブジェクトＩＤ「００１」に対応づける。
The operator informs the user that the
ＣＰＵ２１は入力情報「ユーザＡ」、入力情報「ユーザＡ」に対応づけられたオブジェクトＩＤ「００１」をサーバ３へ出力する。ＣＰＵ３１は共有情報「ユーザＡ」、共有情報「ユーザＡ」に対応づけられたオブジェクトＩＤ「００１」を第２情報処理装置２から取得する。ＣＰＵ３１は取得した入力情報「ユーザＡ」、入力情報「ユーザＡ」に対応づけられたオブジェクトＩＤ「００１」を第１情報処理装置１へ出力する。
The
ＣＰＵ１１は入力情報「ユーザＡ」、入力情報「ユーザＡ」に対応づけられたオブジェクトＩＤ「００１」をサーバ３から取得する。ＣＰＵ１１は取得した入力情報「ユーザＡ」を共有画面１５３の入力欄１５Ａに表示する（図１０Ａ及びＢ）。
The
オペレータはユーザとの間で通話を行うことで入力欄２５２に入力情報の入力を行う。例えば、ユーザはオペレータに音声入出力部２７へ音声を発することでユーザが欲しい機種が「機種Ａ」であることを伝える。オペレータは入力欄２５Ｂまでカーソルを移動する。
The operator inputs input information in the
ＣＰＵ１１はカーソル位置をサーバ３へ出力する。ＣＰＵ３１はカーソル位置を第１情報処理装置１から取得する。ＣＰＵ３１は取得したカーソル位置を第２情報処理装置２へ出力する。ＣＰＵ２１はカーソル位置をサーバ３から取得する。ＣＰＵ２１は取得したカーソル位置に基づいてカーソルを共有画面２５１の入力欄２５Ｂに移動する。
The
オペレータは入力欄１５Ｂに入力情報「機種Ａ」を入力する。ＣＰＵ１１は入力情報「機種Ａ」をサーバ３へ出力する。ＣＰＵ３１は入力情報「機種Ａ」を第１情報処理装置１から取得する。ＣＰＵ３１は取得した入力情報「機種Ａ」を第２情報処理装置２へ出力する。ＣＰＵ２１は入力情報「機種Ａ」をサーバ３から取得する。ＣＰＵ２１は取得した入力情報「機種Ａ」を共有画面２５１の入力欄２５Ｂに表示する。ＣＰＵ１１は共有画面１５３を閉じ、処理を終了する。
The operator inputs input information “model A” in the
なお、共有情報はこれに限られない。共有情報はスクロールの位置を示すスクロール位置、ＵＲＬ又はボタンをタッチ操作したことを示すボタン情報等でもよい。 The shared information is not limited to this. The shared information may be a scroll position indicating a scroll position, URL or button information indicating that a button is touched.
次に、フローチャートを用いて情報処理システムの処理手順を説明する。本実施形態における情報処理システムは画面の共有を準備するための準備処理と、画面を共有する画面共有処理とを備える。図１１〜１２は準備処理の処理手順を示したフローチャートである。第２情報処理装置２のＣＰＵ２１は表示画面を表示するブラウザ２５０を出力する（ステップＳ１０）。ＣＰＵ２１は共有ボタン２５４をタッチ操作したか否かを判定する（ステップＳ１１）。ＣＰＵ２１は共有ボタン２５４をタッチ操作しなかったと判定した場合（ステップＳ１１：ＮＯ）、共有ボタン２５４をタッチ操作するまで待機する。ＣＰＵ２１は共有ボタン２５４をタッチ操作したと判定した場合（ステップＳ１１：ＹＥＳ）、セッションＩＤ及び電話番号の出力要求をサーバ３へ出力する（ステップＳ１２）。
Next, a processing procedure of the information processing system will be described using a flowchart. The information processing system according to the present embodiment includes a preparation process for preparing screen sharing and a screen sharing process for sharing a screen. 11 to 12 are flowcharts showing the processing procedure of the preparation process. The
サーバ３のＣＰＵ３１はセッションＩＤ及び電話番号の出力要求を第２情報処理装置２から取得する（ステップＳ１３）。ＣＰＵ３１は新たなセッションを開始し、第１情報処理装置１及び第２情報処理装置２に対して固有のセッションＩＤを生成する（ステップＳ１４）。
The
ＣＰＵ３１はセッションＩＤ及び記憶部３２に記憶された電話番号を第２情報処理装置２へ出力する（ステップＳ１５）。ＣＰＵ２１はセッションＩＤ及び電話番号をサーバ３から取得する（ステップＳ１６）。ＣＰＵ２１はセッションＩＤ及び電話番号を表示部２５に表示する（ステップＳ１７）。ＣＰＵ２１はサーバ３へ発信する電話番号が入力部２４に入力されたか否かを判定する（ステップＳ１８）。ＣＰＵ２１はサーバ３へ発信する電話番号が入力部２４に入力されなかったと判定した場合（ステップＳ１８：ＮＯ）、電話番号が入力部２４に入力されるまで待機する。ＣＰＵ２１は通話サーバ５へ発信する電話番号が入力部２４に入力されたと判定した場合（ステップＳ１８：ＹＥＳ）、通話サーバ５への発信処理を行う（ステップＳ１９）。
The
通話サーバ５のＣＰＵ５１は、第２情報処理装置２から着信を受け取る（ステップＳ２０）。ＣＰＵ５１は通信装置４へ呼出処理を行う（ステップＳ２１）。通信装置４のＣＰＵ４１は通話サーバ５を介して第１情報処理装置１からの電話を受信し（ステップＳ２２）、準備処理を終了する。
The
図１３は画面共有処理の処理手順を示したフローチャートである。ＣＰＵ１１はステップＳ２２の処理後、セッションＩＤの入力を受け付ける（ステップＳ３１）。オペレータはユーザから聞き取ったセッションＩＤを入力する。ＣＰＵ１１は受け付けたセッションＩＤをサーバ３へ出力する（ステップＳ３２）。なお、ＣＰＵ１１はセッションＩＤを第２情報処理装置２から取得し、取得したセッションＩＤをサーバ３に出力するようにしてもよい。ＣＰＵ３１はセッションＩＤを第１情報処理装置１から取得する（ステップＳ３３）。
FIG. 13 is a flowchart showing the processing procedure of the screen sharing process. CPU11 receives the input of session ID after the process of step S22 (step S31). The operator inputs the session ID heard from the user. The
ＣＰＵ２１は入力部２４で共有情報の入力を受け付ける（ステップＳ３４）。ＣＰＵ２１は受け付けた共有情報を共有画面２５１のオブジェクトＩＤに対応づける（ステップＳ３５）。ＣＰＵ２１は共有情報を同期して表示する（ステップＳ３６）。具体的にはＣＰＵ２１はサーバ３から共有情報を取得する。ＣＰＵ２１はサーバ３へ受け付けた共有情報を出力する。ＣＰＵ２１は取得した共有情報を共有画面２５１に表示する。ＣＰＵ１１はブラウザを表示する（ステップＳ３７）。ＣＰＵ１１は入力部１４で共有情報の入力を受け付ける（ステップＳ３８）。ＣＰＵ１１は受け付けた共有情報を共有画面１５３のオブジェクトＩＤに対応づける（ステップＳ３９）。
The
ＣＰＵ１１は共有情報を同期して表示する（ステップＳ４０）。具体的にはＣＰＵ１１はサーバ３から共有情報を取得する。ＣＰＵ１１はサーバ３へ共有情報を出力する。ＣＰＵ１１は取得した共有情報を共有画面１５３に表示する。
The
ＣＰＵ３１は同期処理を行う（ステップＳ４１）。具体的にはＣＰＵ３１は第１情報処理装置１又は第２情報処理装置２から共有情報を取得し、取得した共有情報を第２情報処理装置２又は第１情報処理装置１へ出力する。ＣＰＵ１１はステップＳ４０の処理を終了した後、共有画面１５３を閉じ（ステップＳ４２）、画面共有処理を終了する。
The
なお、本実施形態の情報処理システムはサーバ３及び通話サーバ５で処理を行ったが、一のサーバで処理を行ってもよい。また本実施形態では第１情報処理装置１のＣＰＵ１１が入力部１４でセッションＩＤの入力を受け付けたが、第２情報処理装置２のＣＰＵ２１が入力部２４でセッションＩＤの入力を受け付けてもよい。その場合、ＣＰＵ２１は受け付けたセッションＩＤをサーバ３へ出力する。
In the information processing system according to the present embodiment, processing is performed by the
また本実施形態では第２情報処理装置２と通信装置４とは別の装置であったが、一の装置であってもよい。また、本実施形態ではサーバ３を設けたが、第１情報処理装置１又は第２情報処理装置２がサーバ３の機能を有してもよい。その場合、第１情報処理装置１と第２情報処理装置２との間で直接共有情報の取得又は出力を行う。
In the present embodiment, the second
一態様によれば、ユーザを効率的に支援することができる。一態様によれば、画面を共有することでさらにユーザを効率的に支援することができる。一態様によれば、セッションＩＤを用いることで容易に画面を共有することができる。 According to one aspect, a user can be efficiently supported. According to one aspect, the user can be further efficiently supported by sharing the screen. According to one aspect, the screen can be easily shared by using the session ID.
実施の形態２
実施の形態２は撮像した動画を共有する処理を行う実施形態に関する。図１４は第１情報処理装置１のハードウェア群を示すブロック図である。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。第１情報処理装置１はさらに撮像部１７を備える。撮像部１７は動画を撮像するための撮像装置であり、例えばＣＣＤ（Charge-coupled device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ又は赤外線カメラ等である。なお、動画はコンテンツに含まれる。
The second embodiment relates to an embodiment that performs processing for sharing a captured moving image. FIG. 14 is a block diagram illustrating a hardware group of the first
図１５は画面共有を行った後の表示部２５及び表示部１５の一例を示す説明図である。図１５Ａは画面共有を行った後の表示部２５の一例を示す説明図である。図１５Ｂは画面共有を行った後の表示部１５の一例を示す説明図である。共有画面１５３は下部に表示欄１６１を備える。共有画面２５１は下部に表示欄２６１を備える。表示欄１６１及び２６１は撮像した動画を表示する欄である。
FIG. 15 is an explanatory diagram illustrating an example of the
具体的な画面共有を行った後の共有画面１５３及び２５１の作用及び動作を説明する。ＣＰＵ１１は撮像部１７でオペレータの動画を撮像する。ＣＰＵ１１は共有情報及びオペレータの動画を同期して表示する。具体的にはＣＰＵ１１はサーバ３から共有情報を取得する。ＣＰＵ１１はサーバ３へ共有情報及びオペレータの動画を出力する。ＣＰＵ２１は取得した共有情報及びオペレータの動画を共有画面１５３に表示する。なお、共有情報には動画の拡大及び縮小又は音量等が含まれる。
The operation and operation of the shared
ＣＰＵ２１は共有情報及びオペレータの動画を同期して表示する。具体的にはＣＰＵ２１はサーバ３から共有情報及びオペレータの動画を取得する。ＣＰＵ２１はサーバ３へ共有情報及びオペレータの動画を出力する。ＣＰＵ２１は取得した共有情報及びオペレータの動画を共有画面２５１に表示する。
The
ＣＰＵ３１は同期処理を行う。具体的にはＣＰＵ３１は第１情報処理装置１又は第２情報処理装置２から共有情報及びオペレータの動画を取得し、取得した共有情報及びオペレータの動画を第２情報処理装置２又は第１情報処理装置１へ出力する。
The
図１６は画面共有処理を示すフローチャートである。ステップＳ１０〜４２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。 FIG. 16 is a flowchart showing the screen sharing process. Since the processing of steps S10 to S42 is the same as that of the information processing system according to the above-described first embodiment, description thereof is omitted for the sake of brevity.
ＣＰＵ１１はステップＳ３７の処理を終了した後、撮像部１７で動画を撮像し（ステップＳ５１）、処理をステップＳ３８に移す。ＣＰＵ１１はステップＳ３９の処理を終了した後、共有情報及び動画を同期して表示する（ステップＳ５２）。具体的にはＣＰＵ１１はサーバ３から共有情報及び動画を取得する。ＣＰＵ１１はサーバ３へ共有情報及び動画を出力する。ＣＰＵ１１は取得した共有情報及び動画を共有画面１５３に表示する。
After completing the process in step S37, the
ＣＰＵ２１は共有情報及び動画を同期して表示する（ステップＳ５３）。具体的にはＣＰＵ２１はサーバ３から共有情報及び動画を取得する。ＣＰＵ２１はサーバ３へ共有情報及び動画を出力する。ＣＰＵ２１は取得した共有情報及び動画を共有画面２５１に表示する。
The
ＣＰＵ３１は同期処理を行う（ステップＳ５４）。具体的にはＣＰＵ３１は第１情報処理装置１又は第２情報処理装置２から共有情報及び動画を取得し、取得した共有情報及び動画を第２情報処理装置２又は第１情報処理装置１へ出力する。
The
なお、本実施形態では第１情報処理装置１が動画を撮像したが、第２情報処理装置２が動画を撮像するようにしてもよい。
In the present embodiment, the first
一態様によれば、オペレータが表示された動画を共有することでユーザとのコミュニケーションの向上を図ることができる。 According to one aspect, the operator can improve the communication with the user by sharing the displayed moving image.
実施の形態３
実施の形態３は撮像したコンテンツを共有する処理を行う実施形態に関する。図１７は第２情報処理装置２のハードウェア群を示すブロック図である。第２情報処理装置２はさらに撮像部２８を備える。以下、特に説明する構成、作用以外の構成及び作用は実施の形態２と同等であり、簡潔のため記載を省略する。撮像部２８はコンテンツを撮像し、撮像したコンテンツをＣＰＵ２１へ出力する。コンテンツとは例えば、画像又は動画等である。なお、コンテンツは予め記憶部２２に記憶されたテキスト又はプログラム等でもよい。
図１８はコンテンツを共有する表示部２５及び表示部１５の一例を示す説明図である。
図１８Ａは表示部２５の一例を示す説明図である。図１８Ｂは表示部１５の一例を示す説明図である。共有画面２５１は上部に設けられたコンテンツ欄２５８と、下部に設けられた共有ボタン２５９とを備える。共有画面１５３は上部に設けられたコンテンツ欄１５８を備える。コンテンツ欄２５８及び１５８はコンテンツを表示するための欄である。共有ボタン２５９はコンテンツを共有するためのボタンである。
FIG. 18 is an explanatory diagram illustrating an example of the
FIG. 18A is an explanatory diagram illustrating an example of the
具体的な情報処理システムの作用及び動作を説明する。ユーザは撮像部２８でコンテンツを撮像する。ＣＰＵ２１は撮像したコンテンツをコンテンツ欄２５８に表示する。ユーザは共有ボタン２５９をタッチ操作する。ＣＰＵ２１はコンテンツを同期して表示する。具体的にはＣＰＵ２１はコンテンツをサーバ３へ出力する。ＣＰＵ３１はコンテンツを第２情報処理装置２から取得する。ＣＰＵ３１はコンテンツを第１情報処理装置１へ出力する。ＣＰＵ１１はコンテンツをサーバ３から取得する。ＣＰＵ１１はコンテンツをコンテンツ欄１５８に表示する。
A specific operation and operation of the information processing system will be described. The user images content with the
図１９は画面共有処理を示すフローチャートである。ステップＳ１０〜５４の処理は上述の実施の形態２に係る情報処理システムと同様であるので、簡潔のため説明を省略する。 FIG. 19 is a flowchart showing the screen sharing process. Since the processing in steps S10 to S54 is the same as that in the information processing system according to the second embodiment, the description thereof is omitted for the sake of brevity.
ＣＰＵ２１は共有情報及びコンテンツの入力を受け付け（ステップＳ６１）、処理をステップＳ３５に移す。ＣＰＵ２１はステップＳ３５の処理を終了した後、共有情報、動画及びコンテンツを同期して表示する（ステップＳ６２）。具体的にはＣＰＵ２１はサーバ３から共有情報、動画及びコンテンツを取得する。ＣＰＵ２１はサーバ３へ共有情報、動画及びコンテンツを出力する。ＣＰＵ２１は取得した共有情報、動画及びコンテンツを共有画面２５１に表示する。
The
ＣＰＵ１１は共有情報、動画及びコンテンツを同期して表示する（ステップＳ６３）。具体的にはＣＰＵ１１はサーバ３から共有情報、動画及びコンテンツを取得する。ＣＰＵ１１はサーバ３へ共有情報、動画及びコンテンツを出力する。ＣＰＵ１１は取得した共有情報、動画及びコンテンツを共有画面１５３に表示する。
The
ＣＰＵ３１は同期処理を行う（ステップＳ６４）。具体的にはＣＰＵ３１は第１情報処理装置１又は第２情報処理装置２から共有情報、動画及びコンテンツを取得し、取得した共有情報、動画及びコンテンツを第２情報処理装置２又は第１情報処理装置１へ出力する。
The
なお、本実施形態では第２情報処理装置２がコンテンツの入力を受け付けたが、第１情報処理装置１がコンテンツの入力を受け付けるようにしてもよい。
In the present embodiment, the second
一態様によれば、オペレータはコンテンツを共有することでユーザの状況を理解できるため、容易にユーザに対して受付対応をすることができる。 According to one aspect, the operator can understand the situation of the user by sharing the content, and therefore can easily accept the user.
実施の形態４
実施の形態４は電話の待ち時間に処理を行う実施形態に関する。図２０は準備処理を示すフローチャートである。以下、特に説明する構成、作用以外の構成及び作用は実施の形態３と同等であり、簡潔のため記載を省略する。ステップＳ１０〜６４の処理は上述の実施の形態３に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ５１はステップＳ１９の処理を終了した後、通信装置４が通話中であるか否かを判定する（ステップＳ７１）。ＣＰＵ５１は通信装置４が通話中でないと判定した場合（ステップＳ７１：ＮＯ）、処理をステップＳ２０に移す。ＣＰＵ５１は通信装置４が通話中であると判定した場合（ステップＳ７１：ＹＥＳ）、第２情報処理装置２へコンテンツを出力し（ステップＳ７２）、通話が終わるまで待機する。なお、本実施形態におけるコンテンツは予め記憶部５２に記憶されている。
Embodiment 4
The fourth embodiment relates to an embodiment in which processing is performed during a telephone waiting time. FIG. 20 is a flowchart showing the preparation process. In the following, the configuration and operation other than those specifically explained and the operation are the same as those of the third embodiment, and the description is omitted for the sake of brevity. Since the processing in steps S10 to S64 is the same as that of the information processing system according to the above-described third embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S19, the
ＣＰＵ２１は通話サーバ５からコンテンツを取得する（ステップＳ７３）。ＣＰＵ２１は取得したコンテンツを表示部２５に表示し（ステップＳ７４）、処理を終了する。
The
一態様によれば、ユーザがオペレータと通話する前にパンフレット又は見積書等のコンテンツを見ることができるため、さらにオペレータはユーザを効率的に支援することができる。 According to one aspect, since the user can view content such as a brochure or a quotation before calling the operator, the operator can further efficiently assist the user.
実施の形態５
実施の形態５は第２通信装置２Ｂを含む情報処理システムに係る実施形態に関する。図２１は、情報処理システムの概要を示す模式図である。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。以下では本実施形態における情報処理システムの概要について説明する。情報処理システムは、第１情報処理装置１Ａと、第１通信装置１Ｂと、第２情報処理装置２Ａと、第２通信装置２Ｂと、サーバ３と、通話サーバ５とを備える。第１情報処理装置１Ａ、第１通信装置１Ｂ、第２情報処理装置２Ａ、第２通信装置２Ｂ、サーバ３及び通話サーバ５はＬＡＮ（Local Area Network）、インターネット又は携帯電話網等の通信網Ｎを介して接続されている。
The fifth embodiment relates to an embodiment relating to an information processing system including the
第２情報処理装置２Ａは、第１情報処理装置１Ａと画面を共有する装置であり、例えばコンピュータ、タブレット端末又はウェアラブル端末等である。第２情報処理装置２Ａはタブレット端末として説明する。第２情報処理装置２Ａはサーバ３を介して第１情報処理装置１Ａと画面を同期して表示する。第２通信装置２Ｂは通話サーバ５を介して第１通信装置１Ｂへ電話を発信する装置であり、例えば電話機、携帯電話又はスマートフォン等である。なお、本実施形態における電話はＩＰ（Internet Protocol）電話を含む。
The second
サーバ３は第１情報処理装置１Ａと第２情報処理装置２Ａとの間で同期処理を行うコンピュータであり、例えばサーバコンピュータ又はプラットフォーム等である。第１情報処理装置１Ａは第２情報処理装置２Ａと画面を共有する装置であり、例えばコンピュータ、スマートフォン又はウェアラブル端末等である。第１通信装置１Ｂは第２通信装置２Ｂからの電話を通話サーバ５を介して着信する装置であり、例えば電話機、携帯電話又はスマートフォン等である。通話サーバ５は第２通信装置２Ｂと第１通信装置１Ｂとの間で電話回線を接続する装置であり、例えばサーバコンピュータ又はプラットフォーム等である。
The
ユーザは第２情報処理装置２Ａ及び第２通信装置２Ｂを用いる。ユーザとの間で後述する入力情報の操作又は電話対応等を行うオペレータは第１情報処理装置１Ａ及び第１通信装置１Ｂを用いる。
The user uses the second
以下、本実施形態における情報処理システムの詳細について説明する。図２２は第１情報処理装置１Ａ及び第１通信装置１Ｂのハードウェア群を示すブロック図である。図２２に示す第１情報処理装置１Ａは、ＣＰＵ１１１、記憶部１１２、ＲＡＭ１１３、入力部１１４、表示部１１５、通信部１１６及び撮像部１１７を備える。第１情報処理装置１ＡのＣＰＵ１１１、記憶部１１２、ＲＡＭ１１３、入力部１１４、表示部１１５、通信部１１６及び撮像部１１７の作用及び動作は情報処理装置１のＣＰＵ１１、記憶部１２、ＲＡＭ１３、入力部１４、表示部１５、通信部１６及び撮像部１７の作用及び動作と同様であるため、記載を省略する。
Details of the information processing system in the present embodiment will be described below. FIG. 22 is a block diagram showing a hardware group of the first
図２２に示すように第１通信装置１Ｂは、ＣＰＵ１２１、記憶部１２２、ＲＡＭ１２３、入力部１２４、表示部１２５、通信部１２６及び音声入出力部１２７を備える。第１通信装置１ＢのＣＰＵ１２１、ＲＡＭ１２３及び表示部１２５の作用及び動作は第１情報処理装置１ＡのＣＰＵ１１１、ＲＡＭ１１３及び表示部１１５の作用及び動作と同様であり、簡潔のため記載を省略する。
As illustrated in FIG. 22, the
記憶部１２２は例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリである。記憶部１２２にはＣＰＵ１２１が処理を行う際に必要とする種々のデータ及びプログラム１２Ｂを格納する。
The
入力部１２４はユーザの指示を受け付けるための各種ボタン、指示の確定を受け付けるエンターキー又はテンキー等であり、受け付けた操作情報をＣＰＵ１２１へ出力する。通信部１２６は、例えば無線ＬＡＮカード又は携帯電話用通信モジュール等であり、通信網Ｎを介して各種情報をサーバ３との間で送受信する。
The
音声入出力部１２７は、例えばマイク及びレシーバ（受話器）である。音声入出力部１２７は入力された音声を音声信号に変換し、変換した音声信号をＣＰＵ１２１へ出力する。ＣＰＵ１２１は出力された音声信号を取得し、取得した音声信号を通信網Ｎを介して通話サーバ５へ出力する。ＣＰＵ１２１は通話サーバ５から音声信号を取得し、取得した音声信号を音声入出力部１２７を介して出力する。
The voice input /
図２３は第２情報処理装置２Ａ及び第２通信装置２Ｂのハードウェア群を示すブロック図である。図２３に示すように第２情報処理装置２Ａは、ＣＰＵ２１１、記憶部２１２、ＲＡＭ２１３、入力部２１４、表示部２１５及び通信部２１６を備える。第２情報処理装置２ＡのＣＰＵ２１１、ＲＡＭ２１３、入力部２１４、表示部２１５、通信部２１６及び撮像部２１７の作用及び動作は第１情報処理装置１ＡのＣＰＵ１１１、ＲＡＭ１１３、入力部１１４、表示部１１５、通信部１１６及び撮像部１１７の作用及び動作と同様であり、簡潔のため記載を省略する。
FIG. 23 is a block diagram showing a hardware group of the second
記憶部２１２は例えばＥＥＰＲＯＭ等の不揮発性メモリである。記憶部２１２にはＣＰＵ２１１が処理を行う際に必要とする種々のデータ及びプログラム２２Ａを格納する。
The
図２３に示すように第２通信装置２Ｂは、ＣＰＵ２２１、記憶部２２２、ＲＡＭ２２３、入力部２２４、表示部２２５及び通信部２２６を備える。第２通信装置２ＢのＣＰＵ２２１、ＲＡＭ２２３、入力部２２４、表示部２２５、通信部２２６及び音声入出力部２２７の作用及び動作は第１通信装置１ＢのＣＰＵ１２１、ＲＡＭ１２３、入力部１２４、表示部１２５、通信部１２６及び音声入出力部１２７の作用及び動作と同様であり、簡潔のため記載を省略する。
As shown in FIG. 23, the
記憶部２２２は例えばＥＥＰＲＯＭ等の不揮発性メモリである。記憶部２２２にはＣＰＵ２２１が処理を行う際に必要とする種々のデータ及びプログラム２２Ｂを格納する。
The
具体的な画面共有を行う前の共有画面２５１の作用及び動作は以下の通りである。ＣＰＵ２１１は共有画面２５１を表示するブラウザ２５０を出力する。ＣＰＵ２１１は共有ボタン２５４をタッチ操作したか否かを判定する。ＣＰＵ２１１は共有ボタン２５４をタッチ操作したと判定した場合、セッションＩＤの出力要求をサーバ３へ出力する。
The action and operation of the shared
サーバ３のＣＰＵ３１はセッションＩＤの出力要求を第１情報処理装置１Ａから取得する。ＣＰＵ３１は新たなセッションを開始し、セッションＩＤ「１１１１１１１１」を生成する。
The
ＣＰＵ３１はセッションＩＤ「１１１１１１１１」及び予め記憶部３２に記憶された電話番号「０１２０−ＸＸＸ−ＸＸＸ」を第２情報処理装置２Ａへ出力する。ＣＰＵ２１１はセッションＩＤ「１１１１１１１１」及び電話番号「０１２０−ＸＸＸ−ＸＸＸ」をサーバ３から取得する。
The
ＣＰＵ２１１はセッションＩＤ「１１１１１１１１」をセッションＩＤ欄２５５に表示する。ＣＰＵ２１１は電話番号「０１２０−ＸＸＸ−ＸＸＸ」を電話番号欄２５６に表示する。
The
ユーザは第２通信装置２Ｂの入力部２２４で通話サーバ５への電話番号「０１２０−ＸＸＸ−ＸＸＸ」を入力する。ＣＰＵ２２１は通話サーバ５へ発信する電話番号「０１２０−ＸＸＸ−ＸＸＸ」が入力部２２４に入力されたか否かを判定する。ＣＰＵ２２１は通話サーバ５へ発信する電話番号「０１２０−ＸＸＸ−ＸＸＸ」が入力部２２４に入力されたと判定した場合、通話サーバ５への発信処理を行う。
The user inputs the telephone number “0120-XXX-XXX” to the
通話サーバ５のＣＰＵ５１は第２通信装置２Ｂから着信を受け取る。ＣＰＵ５１は第１通信装置１Ｂへ呼出処理を行う。第１通信装置１ＢのＣＰＵ１２１は通話サーバ５を介して第２通信装置２Ｂからの電話を受信する。ユーザは音声入出力部２２７から音声を発することでセッションＩＤ「１１１１１１１１」を第１通信装置１Ｂに係るオペレータへ伝える。
The
第２通信装置２Ｂから第１通信装置１Ｂへ電話を受信した後に、ＣＰＵ１１１はＩＤ入力欄１５１でセッションＩＤの入力を受け付ける。ボタン１５２が入力部１１４で操作された場合、ＣＰＵ１１１は受け付けたセッションＩＤをサーバ３へ出力する。具体的にはＣＰＵ１１１はＩＤ入力欄１５１でセッションＩＤの入力を受け付ける。オペレータはセッションＩＤ「１１１１１１１１」をＩＤ入力欄１５１に入力する。なお、ＣＰＵ２１１はセッションＩＤ「１１１１１１１１」を通話サーバ５を介して第１情報処理装置１Ａへ出力してもよい。
After receiving a call from the
図２４は画面共有を行った後の表示部２１５及び表示部１１５の一例を示す説明図である。図２４Ａは画面共有を行った後の表示部２１５の一例を示す説明図である。図２４Ｂは画面共有を行った後の表示部１１５の一例を示す説明図である。共有画面１５３は左下部に表示欄１６１を備える。共有画面１５３は右下部に表示欄１６２を備える。共有画面２５１は左下部に表示欄２６１を備える。共有画面２５１は右下部に表示欄２６２を備える。表示欄１６１、２６１、１６２及び２６２は撮像した動画を表示する欄である。
FIG. 24 is an explanatory diagram illustrating an example of the
具体的な画面共有を行った後の共有画面１５３及び２５１の作用及び動作を説明する。ＣＰＵ１１１は撮像部１１７でオペレータの動画を撮像する。ＣＰＵ１１１は共有情報、ユーザの動画及びオペレータの動画を同期して表示する。具体的にはＣＰＵ１１１はサーバ３から共有情報、ユーザの動画及びオペレータの動画を取得する。ＣＰＵ１１１はサーバ３へ共有情報、ユーザの動画及びオペレータの動画を出力する。ＣＰＵ１１１は取得した共有情報を共有画面１５３に表示する。ＣＰＵ１１１はユーザの動画を表示欄１６２に表示する。ＣＰＵ１１１はオペレータの動画を表示欄１６１に表示する。なお、共有情報には動画の拡大及び縮小又は音量等が含まれる。
The operation and operation of the shared
ＣＰＵ２１１は撮像部２１７でユーザの動画を撮像する。ＣＰＵ２１１は共有情報、ユーザの動画及びオペレータの動画を同期して表示する。具体的にはＣＰＵ２１１はサーバ３から共有情報、ユーザの動画及びオペレータの動画を取得する。ＣＰＵ２１１はサーバ３へ共有情報、ユーザの動画及びオペレータの動画を出力する。ＣＰＵ２１１は取得した共有情報を共有画面２５１に表示する。ＣＰＵ２１１はユーザの動画を表示欄２６２に表示する。ＣＰＵ２１１はオペレータの動画を表示欄２６１に表示する。
The
ＣＰＵ３１は同期処理を行う。具体的にはＣＰＵ３１は第１情報処理装置１Ａ又は第２情報処理装置２Ａから共有情報、ユーザの動画及びオペレータの動画を取得し、取得した共有情報、ユーザの動画及びオペレータの動画を第２情報処理装置２Ａ又は第１情報処理装置１Ａへ出力する。
The
なお、共有情報はこれに限られない。共有情報はスクロールの位置を示すスクロール位置、ＵＲＬ又はボタンをタッチ操作したことを示すボタン情報等でもよい。 The shared information is not limited to this. The shared information may be a scroll position indicating a scroll position, URL or button information indicating that a button is touched.
次に、フローチャートを用いて情報処理システムの処理手順を説明する。本実施形態における情報処理システムは画面の共有を準備するための準備処理と、画面を共有する画面共有処理とを備える。図２５〜２６は準備処理の処理手順を示したフローチャートである。第２情報処理装置２ＡのＣＰＵ２１１は表示画面を表示するブラウザ２５０を出力する（ステップＳ８１）。ＣＰＵ２１１は共有ボタン２５４をタッチ操作したか否かを判定する（ステップＳ８２）。ＣＰＵ２１１は共有ボタン２５４をタッチ操作しなかったと判定した場合（ステップＳ８２：ＮＯ）、共有ボタン２５４をタッチ操作するまで待機する。ＣＰＵ２１１は共有ボタン２５４をタッチ操作したと判定した場合（ステップＳ８２：ＹＥＳ）、セッションＩＤ及び電話番号の出力要求をサーバ３へ出力する（ステップＳ８３）。
Next, a processing procedure of the information processing system will be described using a flowchart. The information processing system according to the present embodiment includes a preparation process for preparing screen sharing and a screen sharing process for sharing a screen. 25 to 26 are flowcharts showing the processing procedure of the preparation process. The
サーバ３のＣＰＵ３１はセッションＩＤ及び電話番号の出力要求を第２情報処理装置２Ａから取得する（ステップＳ８４）。ＣＰＵ３１は新たなセッションを開始し、第１情報処理装置１Ａ及び第２情報処理装置２Ａに対して固有のセッションＩＤを生成する（ステップＳ８５）。
The
ＣＰＵ３１はセッションＩＤ及び記憶部３２に記憶された電話番号を第２情報処理装置２Ａへ出力する（ステップＳ８６）。ＣＰＵ２１１はセッションＩＤ及び電話番号をサーバ３から取得する（ステップＳ８７）。ＣＰＵ２１１はセッションＩＤ及び電話番号を表示部２１５に表示する（ステップＳ８８）。第２通信装置２ＢのＣＰＵ２２１はサーバ３へ発信する電話番号が入力部２２４に入力されたか否かを判定する（ステップＳ８９）。ＣＰＵ２２１はサーバ３へ発信する電話番号が入力部２２４に入力されなかったと判定した場合（ステップＳ８９：ＮＯ）、電話番号が入力部２２４に入力されるまで待機する。ＣＰＵ２２１は通話サーバ５へ発信する電話番号が入力部２２４に入力されたと判定した場合（ステップＳ８９：ＹＥＳ）、通話サーバ５への発信処理を行う（ステップＳ９０）。
The
通話サーバ５のＣＰＵ５１は第２通信装置２Ｂから着信を受け取る（ステップＳ９１）。ＣＰＵ５１は第１通信装置１Ｂへ呼出処理を行う（ステップＳ９２）。第１通信装置１ＢのＣＰＵ１２１は通話サーバ５を介して第２通信装置２Ｂからの電話を受信し（ステップＳ９３）、準備処理を終了する。
The
図２７は画面共有処理の処理手順を示したフローチャートである。ＣＰＵ１１１はステップＳ９３の処理後、セッションＩＤの入力を受け付ける（ステップＳ９４）。オペレータはユーザから聞き取ったセッションＩＤを入力する。ＣＰＵ１１１は受け付けたセッションＩＤをサーバ３へ出力する（ステップＳ９５）。なお、ＣＰＵ１１１はセッションＩＤを第２情報処理装置２Ａから取得し、取得したセッションＩＤをサーバ３に出力するようにしてもよい。ＣＰＵ３１はセッションＩＤを第１情報処理装置１Ａから取得する（ステップＳ９６）。
FIG. 27 is a flowchart showing a processing procedure of screen sharing processing. After the process of step S93, the CPU 111 receives an input of a session ID (step S94). The operator inputs the session ID heard from the user. The CPU 111 outputs the accepted session ID to the server 3 (step S95). Note that the CPU 111 may acquire the session ID from the second
ＣＰＵ１１１はブラウザを表示する（ステップＳ９７）。ＣＰＵ１１１は撮像部１１７で動画を撮像する（ステップＳ９８）。ＣＰＵ１１１は入力部１１４で共有情報の入力を受け付ける（ステップＳ９９）。ＣＰＵ１１１は受け付けた共有情報を共有画面１５３のオブジェクトＩＤに対応づける（ステップＳ１００）。ＣＰＵ１１１は共有情報及び動画を同期して表示する（ステップＳ１０１）。具体的にはＣＰＵ１１はサーバ３から共有情報及び動画を取得する。ＣＰＵ１１はサーバ３へ共有情報及び動画を出力する。ＣＰＵ１１は取得した共有情報及び動画を共有画面１５３に表示する。
The CPU 111 displays a browser (step S97). The CPU 111 captures a moving image with the imaging unit 117 (step S98). The CPU 111 accepts input of shared information through the input unit 114 (step S99). The CPU 111 associates the received shared information with the object ID of the shared screen 153 (step S100). The CPU 111 displays the shared information and the moving image in synchronization (step S101). Specifically, the
ＣＰＵ２１１は撮像部２１８で動画を撮像する（ステップＳ１０２）。ＣＰＵ２１１は入力部２１４で共有情報の入力を受け付ける（ステップＳ１０３）。ＣＰＵ２１１は受け付けた共有情報を共有画面２５１のオブジェクトＩＤに対応づける（ステップＳ１０４）。ＣＰＵ２１は共有情報及び動画を同期して表示する（ステップＳ１０５）。具体的にはＣＰＵ２１１はサーバ３から共有情報及び動画を取得する。ＣＰＵ２１１はサーバ３へ共有情報及び動画を出力する。ＣＰＵ２１１は取得した共有情報及び動画を共有画面２５１に表示する。
The
ＣＰＵ３１は同期処理を行う（ステップＳ１０６）。具体的にはＣＰＵ３１は第１情報処理装置１Ａ又は第２情報処理装置２Ａから共有情報及び動画を取得し、取得した共有情報及び動画を第２情報処理装置２Ａ又は第１情報処理装置１Ａへ出力する。ＣＰＵ１１１はＳ１０１の処理を終了した後、共有画面１５３を閉じ（ステップＳ１０７）、画面共有処理を終了する。
The
なお、本実施形態の情報処理システムはサーバ３及び通話サーバ５で処理を行ったが、一のサーバで処理を行ってもよい。また本実施形態では第１情報処理装置１ＡのＣＰＵ１１１が入力部１１４でセッションＩＤの入力を受け付けたが、第２情報処理装置２ＡのＣＰＵ２１１が入力部２１４でセッションＩＤの入力を受け付けてもよい。その場合、ＣＰＵ２１１は受け付けたセッションＩＤをサーバ３へ出力する。
In the information processing system according to the present embodiment, processing is performed by the
また本実施形態ではサーバ３と第１通信装置１Ｂとは別の装置であったが、一の装置であってもよい。
In the present embodiment, the
一態様によれば、第１通信装置１Ｂを用いるため、既存の設備に容易に応用できる。
According to one aspect, since the
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. Further, each embodiment can be appropriately combined within a range in which processing contents are not contradictory.
１ 第１情報処理装置
１Ａ 第１情報処理装置
１Ｂ 第１通信装置
２ 第２情報処理装置
２Ａ 第２情報処理装置
２Ｂ 第２通信装置
３ サーバ
４ 通信装置
５ 通話サーバ
DESCRIPTION OF
Claims (8)
前記第１情報処理装置は、
前記第２情報処理装置との通信を確立し、前記第２情報処理装置と共有する共有情報を前記第２情報処理装置の表示部と同期的に前記第１情報処理装置の表示部に表示する同期表示処理部と、
動画を撮像する撮像部とを備え、
前記同期表示処理部は、
前記共有情報に対して前記撮像部で撮像した動画を同期的に表示する
ことを特徴とする情報処理システム。 A first information processing device including a display unit, a second information processing device including a display unit, and a communication device that receives a call transmitted from the second information processing device are connected via a communication network. An information processing system,
The first information processing apparatus
Communication with the second information processing device is established, and shared information shared with the second information processing device is displayed on the display unit of the first information processing device in synchronization with the display unit of the second information processing device. A synchronous display processing unit;
An imaging unit that captures moving images,
The synchronous display processing unit
An information processing system characterized by synchronously displaying a moving image captured by the imaging unit with respect to the shared information.
前記通信装置へ発信するための電話番号及び前記第１情報処理装置と通信を確立するための識別情報を取得する取得部
を備えることを特徴とする請求項１に記載の情報処理システム。 The second information processing apparatus
The information processing system according to claim 1, further comprising: an acquisition unit configured to acquire a telephone number for transmitting to the communication device and identification information for establishing communication with the first information processing device.
前記識別情報に基づいて前記第２情報処理装置との通信を確立し、前記第２情報処理装置と共有する共有情報を前記第２情報処理装置の表示部と同期的に前記第１情報処理装置の表示部に表示するようにしてある
ことを特徴とする請求項２に記載の情報処理システム。 The synchronous display processing unit
Communication with the second information processing apparatus is established based on the identification information, and shared information shared with the second information processing apparatus is synchronized with the display unit of the second information processing apparatus in the first information processing apparatus. The information processing system according to claim 2, wherein the information processing system is displayed on the display unit.
を備えることを特徴とする請求項１から請求項３のいずれか１つに記載の情報処理システム。 The information processing system according to any one of claims 1 to 3, further comprising: a content processing unit that displays content shared with the first information processing device on its own display unit.
前記第３情報処理装置は、
前記通信装置が通話中であるか否かを判定する通話判定部と、
該通話判定部で前記通信装置が通話中であると判定した場合、前記第２情報処理装置へ前記第２情報処理装置の表示部に表示するコンテンツを出力する請求項１から請求項４のいずれか１つに記載の情報処理システム。 A third information processing device for connecting the communication device and the second information processing device via a telephone line;
The third information processing apparatus
A call determination unit for determining whether or not the communication device is in a call;
The content to be displayed on the display unit of the second information processing apparatus is output to the second information processing apparatus when the communication determination unit determines that the communication apparatus is busy. The information processing system as described in any one.
前記他の情報処理装置との通信を確立し、前記他の情報処理装置と共有する共有情報を前記他の情報処理装置の表示部と同期的に自身の表示部に表示する同期表示処理部と、
動画を撮像する撮像部とを備え、
前記同期表示処理部は、
前記共有情報に対して前記撮像部で撮像した動画を同期的に表示するようにしてある
ことを特徴とする情報処理装置。 An information processing apparatus connected to another information processing apparatus via a communication network,
A synchronous display processing unit that establishes communication with the other information processing device and displays shared information shared with the other information processing device on a display unit of the other information processing device in synchronization with the display unit of the other information processing device; ,
An imaging unit that captures moving images,
The synchronous display processing unit
An information processing apparatus, wherein a moving image captured by the imaging unit is displayed synchronously with respect to the shared information.
前記他の情報処理装置との通信を確立し、前記他の情報処理装置と共有する共有情報を前記他の情報処理装置の表示部と同期的に自身の表示部に表示し、
撮像部により撮像した動画を取得し、
前記共有情報に対して撮像した動画を同期的に表示する
処理を実行する情報処理方法。 An information processing method in an information processing apparatus connected to another information processing apparatus and a communication apparatus via a communication network,
Establishing communication with the other information processing apparatus, and displaying shared information shared with the other information processing apparatus on its own display unit in synchronization with the display unit of the other information processing apparatus,
Get the video captured by the imaging unit,
An information processing method for executing processing for synchronously displaying a captured moving image with respect to the shared information.
前記第１情報処理装置は、
前記第２情報処理装置との通信を確立し、前記第２情報処理装置と共有する共有情報を前記第２情報処理装置の表示部と同期的に前記第１情報処理装置の表示部に表示する同期表示処理部と、
動画を撮像する撮像部とを備え、
前記同期表示処理部は、
前記共有情報に対して前記撮像部で撮像した動画を同期的に表示する
ことを特徴とする情報処理システム。
An information processing system in which first and second information processing devices including a display unit, a first communication device that receives a call, and a second communication device that transmits a call to the first communication device are connected via a communication network. ,
The first information processing apparatus
Communication with the second information processing device is established, and shared information shared with the second information processing device is displayed on the display unit of the first information processing device in synchronization with the display unit of the second information processing device. A synchronous display processing unit;
An imaging unit that captures moving images,
The synchronous display processing unit
An information processing system characterized by synchronously displaying a moving image captured by the imaging unit with respect to the shared information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252433A JP2016116044A (en) | 2014-12-12 | 2014-12-12 | Information processing system, information processing apparatus, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252433A JP2016116044A (en) | 2014-12-12 | 2014-12-12 | Information processing system, information processing apparatus, and information processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016116044A true JP2016116044A (en) | 2016-06-23 |
Family
ID=56142440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014252433A Ceased JP2016116044A (en) | 2014-12-12 | 2014-12-12 | Information processing system, information processing apparatus, and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016116044A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018125720A (en) * | 2017-02-01 | 2018-08-09 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2020010107A (en) * | 2018-07-04 | 2020-01-16 | Ｐｓソリューションズ株式会社 | Server, control method of server, control program of server, and remote support system |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11346266A (en) * | 1998-06-02 | 1999-12-14 | Hitachi Ltd | Computer telephony integration system and information providing device and switchboard controller and storage medium used for the same |
| JP2001094671A (en) * | 1999-09-24 | 2001-04-06 | Hitachi Ltd | Call center system |
| JP2002320038A (en) * | 2001-04-20 | 2002-10-31 | Osas Co Ltd | Cti system, connection method for the cti system and operator assignment method for the cti system |
| US6614783B1 (en) * | 1997-04-01 | 2003-09-02 | Cosmocom, Inc. | Multimedia telecommunication automatic call distribution system using internet/PSTN call routing |
| JP2003333189A (en) * | 2002-05-15 | 2003-11-21 | Oki Electric Ind Co Ltd | Support system |
| WO2004070616A1 (en) * | 2003-02-03 | 2004-08-19 | Mvp, Inc. | Synchronization program |
| JP2005332179A (en) * | 2004-05-19 | 2005-12-02 | Ntt Docomo Tokai Inc | Communication device, communication system, and communication method |
| US20090031027A1 (en) * | 2007-07-23 | 2009-01-29 | Abernethy Jr Michael N | Relationship-Centric Portals for Communication Sessions |
| JP2009239614A (en) * | 2008-03-27 | 2009-10-15 | Fujitsu Ltd | Telephone cooperation method for browser packaged device, telephone cooperation system for browser packaged device, and telephone cooperation apparatus for browser packaged device |
| JP2010226210A (en) * | 2009-03-19 | 2010-10-07 | Nippon Telegraph & Telephone East Corp | Cooperation system |
| US20110249081A1 (en) * | 2010-04-09 | 2011-10-13 | Kay Christopher E | System and Method for Providing Customer Support on a User Interface |
| JP2013026667A (en) * | 2011-07-15 | 2013-02-04 | Nec Corp | Information processing system, information processing method, information processing device and control method and control program thereof |
-
2014
- 2014-12-12 JP JP2014252433A patent/JP2016116044A/en not_active Ceased
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6614783B1 (en) * | 1997-04-01 | 2003-09-02 | Cosmocom, Inc. | Multimedia telecommunication automatic call distribution system using internet/PSTN call routing |
| JPH11346266A (en) * | 1998-06-02 | 1999-12-14 | Hitachi Ltd | Computer telephony integration system and information providing device and switchboard controller and storage medium used for the same |
| JP2001094671A (en) * | 1999-09-24 | 2001-04-06 | Hitachi Ltd | Call center system |
| JP2002320038A (en) * | 2001-04-20 | 2002-10-31 | Osas Co Ltd | Cti system, connection method for the cti system and operator assignment method for the cti system |
| JP2003333189A (en) * | 2002-05-15 | 2003-11-21 | Oki Electric Ind Co Ltd | Support system |
| WO2004070616A1 (en) * | 2003-02-03 | 2004-08-19 | Mvp, Inc. | Synchronization program |
| JP2005332179A (en) * | 2004-05-19 | 2005-12-02 | Ntt Docomo Tokai Inc | Communication device, communication system, and communication method |
| US20090031027A1 (en) * | 2007-07-23 | 2009-01-29 | Abernethy Jr Michael N | Relationship-Centric Portals for Communication Sessions |
| JP2009239614A (en) * | 2008-03-27 | 2009-10-15 | Fujitsu Ltd | Telephone cooperation method for browser packaged device, telephone cooperation system for browser packaged device, and telephone cooperation apparatus for browser packaged device |
| JP2010226210A (en) * | 2009-03-19 | 2010-10-07 | Nippon Telegraph & Telephone East Corp | Cooperation system |
| US20110249081A1 (en) * | 2010-04-09 | 2011-10-13 | Kay Christopher E | System and Method for Providing Customer Support on a User Interface |
| JP2013026667A (en) * | 2011-07-15 | 2013-02-04 | Nec Corp | Information processing system, information processing method, information processing device and control method and control program thereof |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018125720A (en) * | 2017-02-01 | 2018-08-09 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2020010107A (en) * | 2018-07-04 | 2020-01-16 | Ｐｓソリューションズ株式会社 | Server, control method of server, control program of server, and remote support system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6272552B2 (en) | Device binding method, apparatus, program, and recording medium | |
| JP6292797B2 (en) | Mobile terminal and its video call service operation method | |
| JP5849484B2 (en) | Transmission terminal, display data transmission method, program, information providing apparatus, and transmission system | |
| JP7255728B2 (en) | Communication terminal, communication system, transmission method, and program | |
| KR102049789B1 (en) | Apparatus and method for trasnsmitting an information in portable device | |
| CN109151044B (en) | Information pushing method and device, electronic equipment and storage medium | |
| CN111601066B (en) | Information acquisition method and device, electronic equipment and storage medium | |
| JP6595525B2 (en) | Communication support apparatus, method, and computer program | |
| JP2016126432A (en) | Remote conference program, terminal device, and remote conference method | |
| CN110102063B (en) | Identification binding method, device, terminal, server and storage medium | |
| US9729826B2 (en) | Communication management system, communication system, and communication management method | |
| JP5308837B2 (en) | Mobile terminal synchronization system and method | |
| EP3188463A1 (en) | Operation system, communication terminal, communication system, operation method, and program | |
| WO2017020671A1 (en) | Video interaction method and apparatus, and video source device | |
| US10102299B2 (en) | File transmission method, file transmission apparatus and file transmission system | |
| JP2016116044A (en) | Information processing system, information processing apparatus, and information processing method | |
| CN107230240B (en) | Shooting method and mobile terminal | |
| CN106911948B (en) | Display control method and device, control equipment and electronic equipment | |
| US9979849B2 (en) | Communication path selection for remote control system of an image processing apparatus, remote control and communication path selection method, and non-transitory computer-readable recording medium encoded with remote control and communication path selection program | |
| US9007312B2 (en) | Device and method for transmitting data in portable terminal | |
| CN110366044B (en) | Method, device and system for acquiring target object | |
| JP2016116043A (en) | Information processing system, information processing apparatus, and information processing method | |
| JP2012032961A (en) | Image display device, image display method and image display program | |
| JP2020013419A (en) | Information processing method, information processing device, and program | |
| JP2018060513A (en) | Communication terminal, communication system, transmission method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20190528 |