JP2015115857A - Device, system, method, and program - Google Patents
Device, system, method, and program Download PDFInfo
- Publication number
- JP2015115857A JP2015115857A JP2013257911A JP2013257911A JP2015115857A JP 2015115857 A JP2015115857 A JP 2015115857A JP 2013257911 A JP2013257911 A JP 2013257911A JP 2013257911 A JP2013257911 A JP 2013257911A JP 2015115857 A JP2015115857 A JP 2015115857A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- transmission
- person
- transmission target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、各拠点に設置された情報入力ボードに入力された情報を複数拠点で共有する技術に関するものである。 The present invention relates to a technique for sharing information input to an information input board installed at each site at a plurality of sites.
近年、遠隔会議等を支援する為に、ホワイトボード等の情報入力ボードを複数の拠点に設置し、各拠点の情報入力ボードをカメラで撮像して得た画像を他拠点の情報入力ボードにプロジェクタで投影する事で、複数拠点間で情報を共有するシステムが提案されている。 In recent years, in order to support remote conferences, etc., information input boards such as whiteboards have been installed at multiple sites, and images obtained by capturing information input boards at each site with cameras are projected onto information input boards at other sites. A system for sharing information among multiple bases has been proposed.
このようなシステムでは、自拠点の情報入力ボードの記載内容を撮像して得た画像を他拠点に送信し、他拠点では、受信した画像と既に投影している画像とを合成して、合成した画像を当該他拠点の情報入力ボードに投影する（例えば、特許文献１を参照）。 In such a system, an image obtained by capturing the description contents of the information input board at the local site is transmitted to another site, and the other site synthesizes the received image with the already projected image. The projected image is projected onto the information input board at the other base (for example, see Patent Document 1).
しかしながら、特許文献１の場合には、常に情報入力ボードの盤面の全面を撮像した画像を他拠点に送信しているのでシステムの処理負荷が大きかった。
However, in the case of
本発明に係る情報処理装置は、それぞれに情報入力ボードが設置された自拠点と他拠点との間で情報入力ボード上の情報を共有するための装置であって、情報入力ボードを撮像して撮像画像を取得する撮像処理手段と、取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像よりも前に取得された過去の撮像画像とを比較して、当該人物が通過した領域を特定する特定手段と、取得した撮像画像から前記特定された領域に相当する部分を抽出して、前記他拠点へ送信するための送信画像を生成する送信画像生成手段とを備えたことを特徴とする。 An information processing apparatus according to the present invention is an apparatus for sharing information on an information input board between a local site where an information input board is installed and another site, and images the information input board. When the acquired image includes a person region in the acquired image processing unit and the acquired image, the image is compared with the past image acquired before the acquired image. A specifying means for specifying the area that has passed, and a transmission image generating means for extracting a portion corresponding to the specified area from the acquired captured image and generating a transmission image for transmission to the other base. It is characterized by that.
本発明によれば、他拠点に送信する画像の領域を限定出来る為、処理を行うシステムの負荷や通信コストを軽減でき、速やかに他拠点と更新された記載内容を共有する事ができる。 According to the present invention, since the area of an image to be transmitted to another base can be limited, the load on the system for processing and the communication cost can be reduced, and the updated description can be quickly shared with the other base.
以下、本発明を実施するための形態について図面を用いて説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. However, the components described in this embodiment are merely examples, and are not intended to limit the scope of the present invention thereto.
＜本システムの構成＞
図１は、本実施例における、複数の拠点間で情報を共有するためのシステム（以下、情報共有システム）の構成の一例を示す図である。情報共有システム１００の各拠点には、情報処理システムと情報入力ボードとが存在する。本実施例の情報共有システム１００は２つの拠点からなり、情報処理システム１１０と情報入力ボード１１４とで構成される拠点を拠点Ａ（自拠点）、情報処理システム１２０と情報入力ボード１２４とで構成される拠点を拠点Ｂ（他拠点）と呼ぶこととする。
<Configuration of this system>
FIG. 1 is a diagram illustrating an example of a configuration of a system (hereinafter referred to as an information sharing system) for sharing information between a plurality of bases in the present embodiment. An information processing system and an information input board exist at each site of the
本実施例にかかる、情報処理システム１１０は、ＰＣ１１１と、プロジェクタ（投影装置）１１２と、カメラ（撮像装置）１１３とを有する。情報処理システム１２０は、ＰＣ１２１と、プロジェクタ１２２と、カメラ１２３とを有する。拠点Ａの情報処理システム１１０は、ＬＡＮやＷＡＮなどに代表されるネットワーク１３０を介して、拠点Ｂにある情報処理システム１２０と接続されている。以下、ＰＣ１２１については、ＰＣ１１１と同様の構成であり、基本的に異なるところはないので説明を省略する。
The information processing system 110 according to the present embodiment includes a
なお、本実施例の情報共有システム１００は、拠点Ａと拠点Ｂの２つの拠点からなるが、合計の拠点数が３以上（つまり、他拠点の数が複数）でも構わない。ここでは説明を簡単にするため他拠点の数を１箇所としている。
Note that the
本明細書において、情報入力ボードは、スクリーンやホワイトボードなどに代表される。情報入力ボードの盤面には、文字や図形をマーカペン等で手書きしたり、文字や図形が記入されている糊付の付箋を貼ったり、文字や図形等が印刷された文書やカード等をテープや磁石等を用いて貼ったりすることが可能である。以下、情報入力ボードの盤面の共有領域（詳細は後述する）に記載して各拠点と共有する情報を共有情報と記述する。 In this specification, the information input board is represented by a screen, a white board, and the like. On the board of the information input board, characters and figures are handwritten with a marker pen, etc., sticky sticky notes with letters and figures filled in, and documents and cards with letters and figures printed on tape or It can be pasted using a magnet or the like. Hereinafter, information shared with each base described in a shared area (details will be described later) on the surface of the information input board is described as shared information.
ＰＣ１１１は、カメラ１１３を制御し、一定時間毎（例えば０．５秒毎）に情報入力ボード１１４の盤面を撮像した撮像画像を取得する。
The PC 111 controls the
なお、図１に示す情報処理システムは、ＰＣにプロジェクタとカメラが接続されているが、ＰＣ自体がプロジェクタやカメラの機能を有していてもよい。また、各拠点の情報処理システムはネットワークを介して接続される構成であるが、各拠点の情報処理システムがサーバを介して接続し、上述したＰＣにおける処理内容の一部を当該サーバで処理するような構成としてもよい。 In the information processing system shown in FIG. 1, a projector and a camera are connected to a PC, but the PC itself may have functions of a projector and a camera. In addition, the information processing system at each site is configured to be connected via a network, but the information processing system at each site is connected via a server, and a part of the processing contents in the PC described above is processed by the server. It is good also as such a structure.
図２は、本実施例における、ＰＣ１１１の内部構成の一例を示す図である。ＰＣ１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ ２０５、ディスプレイＩ／Ｆ ２０６、外部メモリＩ／Ｆ ２０７、外部Ｉ／Ｆ ２０８、マウスＩ／Ｆ ２１１、ネットワークＩ／Ｆ ２１３を有する。これらはシステムバス２０４で接続されている。
FIG. 2 is a diagram illustrating an example of an internal configuration of the
キーボードＩ／Ｆ ２０５にはキーボード２０９が接続され、マウスＩ／Ｆ ２１１にはマウス２１２が接続される。ＰＣ１１１は、ユーザがキーボード２０９及びマウス２１２で入力した入力情報を受け付ける。ディスプレイＩ／Ｆ ２０６にはプロジェクタ１１２が接続される。ＰＣ１１１は、プロジェクタ１１２を介して情報入力ボード１１４に画像を投影する。外部Ｉ／Ｆ ２０８にはカメラ１１３が接続される。カメラ１１３は、情報入力ボード１１４の盤面の記載内容を撮像し、ＰＣ１１１は、カメラ１１３が撮像した画像を取得する。ＰＣ１１１は、予め設定された時間間隔で撮像するようカメラ１１３を制御してもよいし、ユーザがマウス２１２やキーボード２０９で入力した入力情報に応じて撮像するようカメラ１１３を制御してもよい。
A
ＰＣ１１１は、情報処理システム１２０へネットワークＩ／Ｆ ２１３を介して情報入力ボード１１４の盤面の撮像画像に基づく画像を送信する。また、ＰＣ１１１は、情報処理システム１２０からネットワークＩ／Ｆ ２１３を介して情報入力ボード１２４の盤面の撮像画像に基づく画像を受信する。
The PC 111 transmits an image based on a captured image of the surface of the
ＣＰＵ２０１は、ＰＣ１１１全体の制御を行い、ＲＯＭ２０３やＨＤＤ等の外部メモリ２１０などに記憶された本実施例を実現するプログラムを、ＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、ＰＣ１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。
The
図３（ａ）及び図３（ｂ）は、実施例１における、図１の構成を具体化した図である。図３（ａ）において、拠点Ａには、情報入力ボード１１４と、プロジェクタ１１２と、カメラ１１３とが設置されている。図３（ｂ）において、拠点Ｂには、情報入力ボード１２４と、プロジェクタ１２２と、カメラ１２３とが設置されている。拠点Ａにおいて、プロジェクタ１１２は、投影画像３１０を情報入力ボード１１４の盤面上（情報入力ボード上）に存在する共有領域３１１に投影する。拠点Ａのユーザ３５１は、共有領域３１１に投影された投影画像３１０の内容に応じて、情報入力ボード１１４の盤面の共有領域３１１にマーカペンで文字図形等を書き込む。文字図形等が書き込まれた共有領域３１１は、カメラ１１３で撮像され、ＰＣ１１１は、撮像画像３１２を取得する。
FIG. 3A and FIG. 3B are diagrams illustrating the configuration of FIG. 1 in the first embodiment. 3A, an
投影画像３１０は、プロジェクタ１１２によって共有領域３１１に投影する画像である。投影画像３１０は、拠点ＢにおけるＰＣ１２１が拠点Ｂの情報入力ボード１２４の盤面の共有領域３２１を撮像して得た画像に所定の処理（後述するステップ９２１等の処理）を施して送信される画像である。
The projected
共有領域３１１は、各拠点と記載内容を共有する領域である。共有領域３１１の位置と大きさは、情報入力ボード１１４の盤面に投影された際の投影画像３１０の領域と同じとする。
The shared
撮像画像３１２は、カメラ１１３によって共有領域３１１を撮像した画像である。カメラ１１３の撮像範囲である領域は、共有領域３１１と同じとする。即ち、撮像画像３１２には共有領域３１１以外の領域は写っていないものとする。
The captured
図３（ｂ）に示すように、拠点Ｂにおいても拠点Ａと同様に、情報入力ボード１２４の盤面上に共有領域３２１が存在し、プロジェクタ１２２が共有領域３２１に重なるように投影画像３２０を投影する。また、拠点Ｂにおいて、カメラ１２３が共有領域３２１を撮像する事で撮像画像３２２を生成している。
As shown in FIG. 3B, at the base B as well as the base A, the shared
尚、本実施例では共有領域と、プロジェクタが投影画像を投影する領域と、カメラが撮像画像を生成する為に撮像する領域が全て同じであるとしたが、これらの領域は全て同じでなくても良い。投影画像を投影する領域とカメラが撮像する領域は互いに共通する領域があれば良く、その共通する領域の中に共有領域が含まれていれば良い。 In the present embodiment, the shared area, the area where the projector projects the projected image, and the area where the camera captures the captured image are all the same. However, these areas are not all the same. Also good. The area where the projected image is projected and the area captured by the camera need only be in common with each other, and the common area may be included in the common area.
続いて、ＰＣ１１１のソフトウェア構成について説明する。ここでも、説明の便宜上、自拠点である拠点Ａ側のＰＣ１１１について説明することとするが、拠点Ｂ側のＰＣ１２１も同様である。
Next, the software configuration of the
図４は、本実施例に係る、ＰＣ１１１のソフトウェア構成を示す機能ブロック図である。ＰＣ１１１は、撮像処理部４０１、人物領域導出部４０２、送信対象領域特定部４０３、送信画像生成部４０４、通信部（送受信する手段）４０５、合成部４０６、投影処理部４０７の各機能部を有する。
FIG. 4 is a functional block diagram illustrating the software configuration of the
撮像処理部４０１は、フレームＩＤを外部メモリ２１０等から取得し、また、情報入力ボード１１４の盤面の共有領域３１１を一定時間毎（例えば０．５秒毎）に撮像し、フレーム毎に撮像を行う。フレームは、連続して撮像した画像の１コマであり、撮像時刻に関連付けられている。フレームＩＤは、一連の処理（後述のステップ９０５及びステップ９１０を参照）で撮像される撮像画像や、当該撮像画像に対応する人物領域画像等の各種画像を識別する為に、共通して使用されるＩＤである。フレームＩＤは、一連の処理（後述のステップ９０１〜ステップ９２６を参照）が実行される度に１つ加算され、外部メモリ２１０等に格納される。本明細書では、１つ前のフレームＩＤに紐付けられた画像を、１フレーム前の画像と表現する。
The
人物領域導出部４０２は、撮像された撮像画像の中から人物を検出して、検出した人物に基づき人物領域を導出する。ここで、人物領域とは人の腕や体等の人物の領域を指し、本明細書でいう人物領域には、ユーザの手で保持されるマーカペンやイレーサ等、ユーザの手と一体となって移動する領域を含むものとする。人物領域を導出する方法の具体例としては、撮像された撮像画像を二値化し、キャニー法等のエッジ検出技術を用いて撮像画像に含まれる物体の輪郭を検出する方法がある。そして、検出された物体の輪郭のうち、当該輪郭で囲われた領域の面積が閾値以上で、且つ撮像画像の下端から伸びている物体の輪郭を、人物領域として特定してもよい。ここで述べた方法の他、例えば背景差分法やトラッキングを用いて人物領域を抽出してもよい。そして、抽出された人物領域に基づいて、人物領域画像を生成する。人物領域画像とは、撮像画像と同じサイズのビット深度が１の画像であって、人物領域に含まれる座標は画素値が１、それ以外の座標は画素値が０となる画像である。即ち、人物領域は人物領域画像中で画素値が１である領域であり、人物領域画像の画素値が全て０である場合は、人物領域が存在しないという事になる。
The person
送信対象領域特定部４０３は、生成された人物領域画像に基づいて送信対象領域を特定する。また送信対象領域特定部４０３は、導出された送信対象領域に基づき送信対象領域画像を生成する。送信対象領域とは、撮像画像の中で拠点Ｂの情報処理システム１２０に送信すべき領域であり、処理のタイミングにより送信対象領域の大きさや、形状が異なる。送信対象領域は、現在の撮像画像と現在の撮像画像を撮像した時刻よりも前に撮像した過去の撮像画像とを比較すること等によって導出された人物領域に基づいて特定された領域であり、人物が通過した領域である。送信対象領域は、２フレーム前の人物領域画像に含まれる人物領域と１フレーム前の人物領域画像に含まれる人物領域とを包含する領域を導出し、当該導出した領域と、１フレーム前の人物領域画像に含まれる人物領域との差分を求めることで導出される。
The transmission target
送信対象領域画像とは、撮像画像と同じサイズのビット深度が１の画像であって、上述の送信対象領域に含まれる座標は画素値が１、それ以外の座標は画素値が０となる画像である。即ち、送信対象領域は送信対象領域画像中で画素値が１である領域であり、送信対象領域画像の画素値が全て０である場合は、送信対象領域が存在しないという事になる。送信対象領域が存在する送信対象領域画像は、未送信の送信対象領域画像リストに一時的に格納される。 The transmission target area image is an image having the same size as the captured image and having a bit depth of 1, in which the coordinates included in the transmission target area have a pixel value of 1, and the other coordinates have a pixel value of 0. It is. That is, the transmission target area is an area having a pixel value of 1 in the transmission target area image, and when the pixel values of the transmission target area image are all 0, the transmission target area does not exist. The transmission target area image in which the transmission target area exists is temporarily stored in an untransmitted transmission target area image list.
未送信の送信対象領域画像リストとは、未だ外部に送信されていない送信画像に対応する送信対象領域画像を特定するための詳細情報が、リスト形式で列挙されたものである。詳細情報には、例えば、撮像時刻、フレームＩＤ、送信対象領域画像の名前、保存形式を表す拡張子を含む。送信画像は、撮像画像から共有情報を含む画像領域を抽出した画像である。 The untransmitted transmission target area image list is a list of detailed information for specifying transmission target area images corresponding to transmission images that have not yet been transmitted to the outside in a list format. The detailed information includes, for example, an imaging time, a frame ID, a name of the transmission target area image, and an extension indicating a storage format. A transmission image is an image obtained by extracting an image region including shared information from a captured image.
送信画像生成部４０４は、撮像画像及び上記送信対象領域画像を用いて、撮像画像から送信対象領域に相当する部分を抽出して、送信画像を生成する。
The transmission
通信部４０５は、生成された送信画像のデータを他拠点の情報処理システム１２０へ送信する。また、通信部４０５は、他拠点から送信されてきた送信画像等のデータを受信する。
The
合成部４０６は、他拠点から受信した送信画像を用いて画像合成処理を行い、情報入力ボード１１４の盤面に投影する投影画像（合成画像）を生成する。
The
投影処理部４０７は、合成処理によって得られた投影画像を、投影している投影画像に代えて、情報入力ボード１１４の盤面の共有領域３１１に投影する。
The
なお、ＰＣ１１１は、本発明と直接の関係がない一般的な情報処理装置が有する上記機能以外の諸機能を有してもよい。
The
＜実施例１の概要＞
本実施例における情報処理システムの動作の概要について、具体例を用いて説明する。
<Overview of Example 1>
An outline of the operation of the information processing system in the present embodiment will be described using a specific example.
図５（ａ）〜図５（ｅ）は、本実施例における、図３に示す各拠点の共有領域３１１及び共有領域３２１の記載状態を示す図である。この具体例で想定する情報入力ボード１１４の共有領域３１１及び共有領域３２１の記載状態について説明する。まず初期の状態として、拠点Ａの共有領域３１１には、図５（ａ）のように「ＡＢＣＤＥＦ」という文字列５０１と「ＧＨＩ」という文字列５０２とがマーカペンで書き込まれているとして考える。一方、拠点Ｂの共有領域３２１には、図５（ｂ）のように「あいう」という文字列５０３と「かきく」という文字列５０４とがマーカペンで書き込まれているとして考える。
FIG. 5A to FIG. 5E are diagrams illustrating the state of description of the shared
この状態で拠点Ａと拠点Ｂで互いの情報を共有する為には、拠点Ａの共有領域３１１の記載内容を、拠点Ｂの共有領域３２１に投影させ、拠点Ｂの共有領域３２１の記載内容を、拠点Ａの共有領域３１１に投影させる必要がある。具体的には、拠点ＡのＰＣ１１１は、図５（ａ）に示す共有領域３１１の内容をカメラ１１３で撮像し、撮像した画像を拠点Ｂの情報処理システム１２０に送信する。そして、拠点Ｂの情報処理システム１２０は、画像を受信し、図５（ｂ）に示す共有領域３２１に、文字列５０１と文字列５０２を含む画像（図５（ａ））をプロジェクタ１２２で投影する。拠点Ｂにおいて、投影した共有領域３２１の内容は、図５（ｄ）のようになる。
In order to share information between the base A and the base B in this state, the description content of the shared
また、拠点ＢのＰＣ１２１は、図５（ｂ）に示す共有領域３２１の内容をカメラ１２３で撮像し、撮像した画像を拠点Ａの情報処理システム１１０に送信する。そして、拠点Ａの情報処理システム１１０は、画像を受信し、図５（ａ）に示す共有領域３１１に、文字列５０３と文字列５０４を含む画像（図５（ｂ））をプロジェクタ１１２で投影する。拠点Ａにおいて、投影した共有領域３１１の内容は、図５（ｃ）のようになる。よって、拠点Ａの共有領域３１１に表示された内容（図５（ｃ））および拠点Ｂの共有領域３２１に表示された内容（図５（ｄ））がどちらも同様の内容となる。したがって、情報入力ボード１１４の共有領域３１１に記載された内容を、拠点Ａと拠点Ｂとで互いに共有することが可能となる。
Further, the
本実施例では、拠点Ａにて、図５（ｃ）に示すような情報入力ボード１１４の共有領域３１１の状態から、図５（ｅ）に示すように、文字列５０１と文字列５０３にかかるように線分５０５が引かれるという想定で説明を行う。この想定では、拠点Ａにおける情報入力ボード１１４の共有領域３１１に記載された線分５０５の部分が、拠点Ｂと共有したい共有情報である。
In this embodiment, at the site A, the
拠点Ａの情報入力ボード１１４の共有領域３１１に投影される画像（図５（ｂ））は、投影画像として、予めＰＣ１１１の外部メモリ２１０等に格納されているものとする。拠点Ｂの情報入力ボード１２４の共有領域３２１に投影される画像（図５（ａ））は、投影画像として、予めＰＣ１２１の外部メモリ２１０等に格納されているものとする。
It is assumed that an image (FIG. 5B) projected on the shared
図６は、この想定における、図３に示す拠点Ａの共有領域３１１及び拠点Ｂの共有領域３２１の状態の推移と、それぞれの時点での各種画像の生成の様子の一覧を示す図である。この想定における拠点Ａの共有領域３１１の状態の推移を図６（ａ１）〜図６（ａ６）を用いて説明する。時刻ｔ１〜ｔ６は、拠点Ａの情報入力ボードの共有領域を撮像した時刻を指す。撮像時刻ｔ１〜ｔ６に対応するフレームＩＤについて、時刻ｔ１に対応するものをフレームＩＤ５１２３、時刻ｔ２に対応するものをフレームＩＤ５１２４、時刻ｔ３に対応するものをフレームＩＤ５１２５とする。また、時刻ｔ４に対応するものをフレームＩＤ５１２６、時刻ｔ５に対応するものをフレームＩＤ５１２７、時刻ｔ６に対応するものをフレームＩＤ５１２８とする。
FIG. 6 is a diagram showing a transition of the state of the shared
図６（ａ１）は、時刻ｔ１における共有領域３１１の状態であり、ユーザ３５１の腕６０１が共有領域３１１の前に差し掛かる前の状態である。
FIG. 6A1 shows the state of the shared
図６（ａ２）は、時刻ｔ２における共有領域３１１の状態であり、マーカペンを持ったユーザ３５１の腕６０１が線分５０５の始点に置かれた状態である。
FIG. 6A2 shows the state of the shared
図６（ａ３）は、時刻ｔ３における共有領域３１１の状態であり、ユーザ３５１が線分５０５を引いている途中の状態である。
FIG. 6A3 shows the state of the shared
図６（ａ４）は、時刻ｔ４における共有領域３１１の状態であり、マーカペンを持ったユーザ３５１の腕６０１が線分５０５の終点付近に置かれた状態である。
FIG. 6A4 shows the state of the shared
図６（ａ５）は、時刻ｔ５における共有領域３１１の状態であり、ユーザ３５１が線分５０５を引き終わり、ユーザ３５１の腕６０１が共有領域３１１の外に出た状態である。
FIG. 6A5 shows the state of the shared
図６（ａ６）は、時刻ｔ６における共有領域３１１の状態であり、ユーザ３５１の腕６０１が共有領域３１１から更に離れた状態である。尚、時刻ｔ１よりも前の状態では共有領域３１１の前にはユーザ３５１の腕等の人物は無かったものとし、時刻ｔ１の段階では未送信の送信対象領域画像は存在しない（つまり、未送信の送信対象領域画像リストは空である）とする。また、各時刻の間隔は、本実施例に係るシステムが後述する図９に示したフローを実行する間隔の時間と等しいものとする。
FIG. 6A6 shows the state of the shared
先ず時刻ｔ１において、拠点ＡのＰＣ１１１の送信対象領域特定部４０３は、送信対象領域画像の生成を行う。時刻ｔ１よりも前の状態では共有領域３１１の前にはユーザ３５１の腕等の人物は無かったという想定の為、２フレーム前の人物領域画像にも１フレーム前の人物領域画像にも人物領域は存在しない。よって、送信対象領域特定部４０３は、図６（ｂ１）に示すような画素値が全て０の送信対象領域画像を生成する。図６において、送信対象領域画像及び人物領域画像は、画素値が１の画素を黒、画素が０の画素を白として表現する。この時点では、情報入力ボード１１４の共有領域３１１には、投影画像（図５（ｂ））が投影されたままとなっている。次に、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。カメラ１１３が共有領域３１１を撮像することで、撮像画像として図６（ｄ１）に示す画像が取得される。そして、撮像処理部４０１は、図６（ｄ１）に示す画像を時刻ｔ１における撮像画像として、フレームＩＤ５１２３と紐付けて外部メモリ２１０等に格納する。
First, at time t1, the transmission target
その後、人物領域導出部４０２が人物領域の導出を行うが、時刻ｔ１及び時刻ｔ１よりも前の状態では撮像画像中に人物は無い。よって、時刻ｔ１における人物領域画像は図６（ｅ１）に示すように画素値が全て０になり、人物領域導出部４０２は、図６（ｅ１）に示す画像をフレームＩＤ５１２３と紐付けて格納する。未送信の送信対象領域画像リストはこの時点では空である為、拠点Ｂの情報処理システム１２０への送信処理は行われず、このまま処理を終える。よって、拠点Ｂの情報入力ボード１２４の共有領域３２１には、投影画像（図５（ａ））が投影されたままとなる。投影画像（図５（ａ））が共有領域３２１に投影された状態を図６（ｈ１）に示す。
Thereafter, the person
次に時刻ｔ２において、拠点ＡのＰＣ１１１の送信対象領域特定部４０３は、送信対象領域画像の生成を行う。この時点での２フレーム前の人物領域画像は、人物領域がないため画素値が全て０の画像である。また、この時点での１フレーム前の人物領域画像は、１フレーム前において外部メモリ２１０等に格納された画素値が全て０の画像（図６（ｅ１））である。よって、送信対象領域特定部４０３は、図６（ｂ２）に示すような画素値が全て０の送信対象領域画像を生成する。この時点では、情報入力ボード１１４の共有領域３１１には、投影画像（図５（ｂ））が投影されたままとなっている。次に、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。カメラ１１３が共有領域３１１を撮像することで、撮像画像として図６（ｄ２）に示す画像が取得される。そして、撮像処理部４０１は、図６（ｄ２）に示す画像を時刻ｔ２における撮像画像として、フレームＩＤ５１２４と紐付けて外部メモリ２１０等に格納する。
Next, at time t2, the transmission target
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、１フレーム前の撮像画像（図６（ｄ１））や現フレームの撮像画像（図６（ｄ２））に基づいて、図６（ｅ２）に示す領域６０２が人物領域であると判断する。そして、人物領域導出部４０２は、図６（ｅ２）に示す人物領域画像をフレームＩＤ５１２４と紐付けて外部メモリ２１０等に格納する。未送信の送信対象領域画像リストはこの時点では空である為、拠点Ｂの情報処理システム１２０への送信処理は行われず、このまま処理を終える。よって、拠点Ｂの情報入力ボード１２４の共有領域３２１には、投影画像（図５（ａ））が投影されたままとなる。投影画像（図５（ａ））が共有領域３２１に投影された状態を図６（ｈ２）に示す。
Thereafter, the person
次に時刻ｔ３において、拠点ＡのＰＣ１１１の送信対象領域特定部４０３は、送信対象領域画像の生成を行う。この時点での２フレーム前の人物領域画像は、２フレーム前に外部メモリ２１０等に格納された画素値が全て０の画像（図６（ｅ１））である。また、１フレーム前の人物領域画像は、１フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ２））である。２フレーム前の人物領域画像（図６（ｅ１））に含まれる人物領域と、１フレーム前の人物領域画像（図６（ｅ２））に含まれる人物領域６０２とが包含された領域と、１フレーム前の人物領域画像（図６（ｅ２））に含まれる人物領域６０２との差分は、０である。よって、送信対象領域特定部４０３は、図６（ｂ３）に示すような画素値が全て０の送信対象領域画像を生成する。この時点では、情報入力ボード１１４の共有領域３１１には、投影画像（図５（ｂ））が投影されたままとなっている。次に、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。カメラ１１３が共有領域３１１を撮像することで、撮像画像として図６（ｄ３）に示す画像が取得される。そして、撮像処理部４０１は、図６（ｄ３）に示す画像を時刻ｔ３における撮像画像として、フレームＩＤ５１２５と紐付けて外部メモリ２１０等に格納する。
Next, at time t3, the transmission target
その後、人物領域導出部４０２は、人物領域の導出が行われる。人物領域導出部４０２は、１フレーム前の撮像画像（図６（ｄ２））や現フレームの撮像画像（図６（ｄ３））に基づいて、図６（ｅ３）に示す領域６０２が人物領域であると判断する。そして、人物領域導出部４０２は、図６（ｅ３）に示す人物領域画像をフレームＩＤ５１２５と紐付けて外部メモリ２１０等に格納する。未送信の送信対象領域画像リストはこの時点では空である為、拠点Ｂの情報処理システム１２０への送信処理は行われず、このまま処理を終える。よって、拠点Ｂの情報入力ボード１２４の共有領域３２１には、投影画像（図５（ａ））が投影されたままとなる。投影画像（図５（ａ））が共有領域３２１に投影された状態を図６（ｈ３）に示す。
Thereafter, the person
次に時刻ｔ４において、拠点ＡのＰＣ１１１の送信対象領域特定部４０３は、送信対象領域画像の生成を行う。
Next, at time t4, the transmission target
この時点での２フレーム前の人物領域画像は、２フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ２））であって、人物領域６０２を含む画像である。また、この時点での１フレーム前の人物領域画像は、１フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ３））であって、人物領域６０３を含む画像である。送信対象領域特定部４０３は、２フレーム前の人物領域６０２と１フレーム前の人物領域６０３の両方を包含する最小の矩形領域を導出する。
The person area image two frames before at this point is an image (FIG. 6 (e2)) stored in the
図７は、本実施例における、送信対象領域画像を生成する処理における領域の単位の一例を示す図である。図７では、共有領域３１１の外枠を実線で表し、共有領域３１１の枠内の点線は、共有領域３１１の縦と共有領域３１１の横をそれぞれ８分割して、共有領域３１１を６４個に分割していることを表す。
FIG. 7 is a diagram illustrating an example of an area unit in the process of generating the transmission target area image in the present embodiment. In FIG. 7, the outer frame of the shared
上記の最小の矩形領域の導出は、送信対象領域特定部４０３によって、図７に示すような共有領域３１１を６４個に分割した小領域の単位で行われる。
The derivation of the minimum rectangular area is performed by the transmission target
図８（ａ）〜図８（ｅ）は、本実施例における、送信対象領域を特定する様子を示す図である。図８では、図７に示すような、共有領域３１１を６４分割した領域の単位で、人物領域を包含する最小の矩形領域が生成される。
Fig.8 (a)-FIG.8 (e) are figures which show a mode that a transmission object area | region is specified in a present Example. In FIG. 8, a minimum rectangular area including the person area is generated in units of areas obtained by dividing the shared
図８（ａ）において、２フレーム前の人物領域画像（図６（ｅ２））に含まれる人物領域６０２と１フレーム前の人物領域画像（図６（ｅ１））に含まれる人物領域６０３を含む最小の矩形領域は８０１で示す領域である為、領域８０１が導出される領域になる。次に、送信対象領域特定部４０３は、１フレーム前の人物領域６０３を包含する最小の矩形領域を導出する。この様子を図８（ｂ）に示す。
8A, a
図８（ｂ）において、人物領域６０３を含む最小の矩形領域は領域８０２で示す領域である為、領域８０２は、送信対象領域特定部４０３によって導出される領域になる。その後、送信対象領域特定部４０３は、送信対象領域を特定する。
In FIG. 8B, since the minimum rectangular area including the
図８（ｂ）において、送信対象領域特定部４０３は、導出した領域８０１から、導出した領域８０２を引いた斜線の領域である領域６０４が、送信対象領域であると決定する。その後、送信対象領域特定部４０３は、領域６０４の画素値を１、他の画素値を０とした送信対象領域画像を生成する（図６（ｂ４）を参照）。
In FIG. 8B, the transmission target
撮像処理部４０１は、この時点における投影画像（図５（ｂ））をフレームＩＤ５１２６に紐付けて外部メモリ２１０等に格納する。その後、撮像処理部４０１は、この時点における投影画像（図５（ｂ））のうち破線の送信対象領域６０４に相当する部分の画素値を、所定の画素値に置き換えた投影画像を生成する。具体的には、例えば、送信対象領域画像の画素値が０である座標の画素は投影画像の同座標の画素値を反映し、送信対象領域画像の画素値が１である座標の画素は白色とした画像を生成する。本実施例では、撮像処理部４０１は、投影画像（図５（ｂ））のうち送信対象領域６０４に相当する部分を白色で塗り潰した投影画像（図６（ｃ４））を生成する。これにより、投影画像（図５（ｂ））における文字列５０３の「あいう」に該当する情報が消去される。よって、投影画像（図５（ｂ））のうち送信対象領域６０４に相当する部分を、均一の色にすることが可能となる。
The
その後、投影処理部４０７は、投影画像（図６（ｃ４））を投影する。この状態で投影処理部４０７は、カメラ１１３に共有領域３１１の撮像を指示する。カメラ１１３が共有領域３１１を撮像することで、撮像画像として図６（ｄ４）に示す画像が取得される。撮像処理部４０１は、図６（ｄ４）に示す画像を時刻ｔ４における撮像画像としてフレームＩＤ５１２６と紐付けて外部メモリ２１０等に格納する。次に、投影処理部４０７は、外部メモリ２１０等に格納した画像（図５（ｂ））に投影を切り替える事で、元の状態に戻す。次に、送信画像生成部４０４は、未送信の送信対象領域画像リストに送信対象領域画像（図６（ｂ４））を追加する。
Thereafter, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図６（ｄ３））や現在のフレームの撮像画像（図６（ｄ４））に基づいて、図６（ｅ４）に示す領域６０５が人物領域であると判断する。そして、人物領域導出部４０２は、図６（ｅ４）に示す人物領域画像を外部メモリ２１０等に格納する。未送信の送信対象領域画像リストにはこの時点で送信対象領域画像（図６（ｂ４））が含まれ、また、送信対象領域画像６０４と人物領域６０５に重複は無い為、送信画像生成部４０４は、拠点Ｂの情報処理システム１２０への送信処理に移る。
Thereafter, the person
送信画像生成部４０４は、撮像画像（図６（ｄ４））から送信対象領域６０４に相当する部分を抽出した送信画像（図６（ｆ４））を生成する。具体的には、送信画像生成部４０４は、外部メモリ２１０等に格納された撮像画像（図６（ｄ４））を、送信対象領域画像（（図６（ｂ４）））の画素値が０である座標の画素は白色になるようマスクする。これによって、送信画像生成部４０４は、撮像画像（図６（ｄ４））から送信対象領域６０４の部分のみを抽出する。送信対象領域の部分のみを抽出する事で、送信画像（図６（ｆ４））を生成する。なお、本実施例にかかるＰＣ１１１の機能部として機能する不図示の画像補正部が、送信画像が生成される前の画像に色味補正やエッジ強調等の画像補正を掛けてもよい。以下、この機能については、送信画像が生成される段階の度に機能し得るが、処理内容が上記と同様であるため、説明を省略する。
The transmission
次に、通信部４０５は、送信画像（図６（ｆ４））及びフレームＩＤ５１２６を拠点Ｂの通信部４２７へ送信する。次に、送信画像生成部４０４は、送信対象領域画像（図６（ｂ４））を未送信の送信対象領域画像リストから削除する。この時点で未送信の送信対象領域画像リストは空になった為、これ以上の拠点Ｂの情報処理システム１２０への送信処理は行われず、このまま処理を終える。
Next, the
一方、拠点ＢのＰＣ１２１の通信部４０５は、拠点Ａの通信部４０５によって送信された送信画像及びフレームＩＤ５１２６を受信する。ＰＣ１２１の投影処理部４０７は、受信した送信画像を用いて投影処理を行う。先ずＰＣ１２１の投影処理部４０７は、投影画像（図５（ａ））を取得する。次に、ＰＣ１２１の合成部４０６は、取得された投影画像（図５（ａ））と受信した送信画像（図６（ｆ４））を合成する。この合成によって生成された投影画像を図６（ｇ４）に示す。この画像の合成は、例えば、受信された画像に係る画像のうち白の画素は投影画像の画素値を、それ以外の画素は受信された画像の画素値を使用するような画像を生成する事によって行われる。
On the other hand, the
その後、ＰＣ１２１の投影処理部４０７は、生成された投影画像（図６（ｇ４））を受信されたフレームＩＤ５１２６に紐付けて情報処理システム１２０の外部メモリ２１０等に格納する。ＰＣ１２１の投影処理部４０７は、生成された投影画像（図６（ｇ４））を共有領域３２１に投影する。こうして生成された投影画像（図６（ｇ４））が共有領域３２１に投影された状態を図６（ｈ４）に示す。図６（ｈ４）では、１フレーム前における図６（ｈ３）に示す共有領域３１１の表示と比較して、拠点Ａの情報入力ボード１１４の共有領域３１１に書き込まれた線分５０５だけが、拠点Ｂの情報入力ボード１２４の共有領域３２１に投影されている。よって、本実施例に係る情報共有システム１００は、画像を処理する領域及び送信処理を行なう領域を、拠点Ａの情報入力ボード１１４の共有領域３１１に書き込まれた部分に限定することが可能となる。したがって、情報共有システム１００が処理する負担が軽減され、当該書き込まれた情報を他拠点と迅速に共有することが可能となる。
Thereafter, the
次に時刻ｔ５において、拠点ＡのＰＣ１１１の送信対象領域特定部４０３は、送信対象領域画像の生成を行う。この時点での２フレーム前の人物領域画像は、２フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ３））であって、人物領域６０３を含む画像である。また、この時点での１フレーム前の人物領域画像は、１フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ４））であって、人物領域６０５を含む画像である。送信対象領域特定部４０３は、２フレーム前の人物領域６０３と１フレーム前の人物領域６０５の両方を包含する最小の矩形領域を導出する。この様子を図８（ｃ）に示す。
Next, at time t5, the transmission target
図８（ｃ）において、２フレーム前の人物領域画像（図６（ｅ３））に含まれる人物領域６０３と１フレーム前の人物領域画像（図６（ｅ４））に含まれる人物領域６０５を含む最小の矩形領域は、８０３で示す領域である。このため、領域８０３が送信対象領域特定部４０３によって導出される領域になる。次に、送信対象領域特定部４０３は、１フレーム前の人物領域６０５を包含する最小の矩形領域を導出する。この様子を図８（ｄ）に示す。
8C, a
図８（ｄ）において、人物領域６０５を含む最小の矩形領域は８０４で示す領域である為、領域８０４が送信対象領域特定部４０３によって導出される領域になる。その後、送信対象領域特定部４０３は、送信対象領域を特定する。
In FIG. 8D, since the minimum rectangular area including the
図８（ｄ）において、送信対象領域特定部４０３は、導出した領域８０３から、導出した領域８０４を引いた斜線の領域である領域６０６が、送信対象領域であると決定する。その後、送信対象領域特定部４０３は、領域６０６の画素値を１、他の画素値を０とした送信対象領域画像を生成する（図６（ｂ５）を参照）。
In FIG. 8D, the transmission target
撮像処理部４０１は、この時点における投影画像（図５（ｂ））をフレームＩＤ５１２７に紐付けて外部メモリ２１０等に格納する。その後、撮像処理部４０１は、投影画像（図５（ｂ））のうち破線の送信対象領域６０６に相当する部分を白色で塗り潰した投影画像（図６（ｃ５））を生成する。
The
その後、投影処理部４０７は、投影画像（図６（ｃ５））を投影する。この状態で撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。カメラ１１３が共有領域３１１を撮像することで、撮像画像として図６（ｄ５）に示す画像が取得される。撮像処理部４０１は、図６（ｄ５）に示す画像を時刻ｔ５における撮像画像としてフレームＩＤ５１２７と紐付けて外部メモリ２１０等に格納する。次に、投影処理部４０７は、外部メモリ２１０等に格納した画像（図５（ｂ））に投影を切り替える事で、元の状態に戻す。次に、送信画像生成部４０４は、未送信の送信対象領域画像リストに送信対象領域画像（図６（ｂ５））を追加する。
Thereafter, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図６（ｄ４））や現在のフレームの撮像画像（図６（ｄ５））に基づいて、人物は存在しないと判断する。そして、人物領域導出部４０２は、図６（ｅ５）に示すような画素値が全て０の人物領域画像をフレームＩＤ５１２７と紐付けて外部メモリ２１０等に格納する。未送信の送信対象領域画像リストにはこの時点で送信対象領域画像（図６（ｂ５））が含まれ、また、人物領域は存在せず、送信対象領域に人物領域が含まれる事も無い為、拠点Ｂの情報処理システム１２０への送信処理に移る。
Thereafter, the person
送信画像生成部４０４は、撮像画像（図６（ｄ５））から送信対象領域６０６に相当する部分を抽出した送信画像（図６（ｆ５））を生成する。
The transmission
次に、通信部４０５は、送信画像（図６（ｆ５））及び現在のフレームＩＤ５１２７を拠点Ｂの通信部４２７へ送信する。次に、送信画像生成部４０４は、送信対象領域画像（図６（ｂ５））を未送信の送信対象領域画像リストから削除する。この時点で未送信の送信対象領域画像リストは空になった為、これ以上の拠点Ｂの情報処理システム１２０への送信処理は行われず、このまま処理を終える。
Next, the
一方、拠点ＢのＰＣ１２１の通信部４０５は、拠点ＡのＰＣ１１１の通信部４０５によって送信された送信画像及びフレームＩＤ５１２７を受信する。拠点ＢのＰＣ１２１の投影処理部４０７は、受信した送信画像を用いて投影処理を行う。先ずＰＣ１２１の投影処理部４０７は、受信されたフレームＩＤ５１２７の１つ前のフレームＩＤ５１２６に紐付けられた投影画像（図６（ｇ４））を取得する。次に、ＰＣ１２１の合成部４０６は、取得された投影画像（図６（ｇ４））と受信した送信画像（図６（ｆ５））を合成する。この合成によって生成された投影画像を図６（ｇ５）に示す。その後、ＰＣ１２１の投影処理部４０７は、生成された投影画像（図６（ｇ５））をフレームＩＤ５１２７に紐付けて情報処理システム１２０の外部メモリ２１０等に格納する。ＰＣ１２１の投影処理部４０７は、生成された投影画像（図６（ｇ５））を共有領域３２１に投影する。こうして生成された投影画像（図６（ｇ５））が共有領域３２１に投影された状態を図６（ｈ５）に示す。
On the other hand, the
次に時刻ｔ６において、拠点ＡのＰＣ１１１の送信対象領域特定部４０３は、送信対象領域画像の生成を行う。この時点での２フレーム前の人物領域画像は、２フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ４））であって、人物領域６０５を含む画像である。また、１フレーム前の人物領域画像は、１フレーム前に外部メモリ２１０等に格納された画像（図６（ｅ５））であって、人物領域を含まない画像である。よって、送信対象領域特定部４０３は、２フレーム前の人物領域画像を包含する最小の矩形領域を導出する。この様子を図８（ｅ）に示す。
Next, at time t6, the transmission target
図８（ｅ）において、２フレーム前の人物領域画像（図６（ｅ４））に含まれる人物領域６０５を含む最小の矩形領域は、６０７で示す斜線の領域である為、領域６０７が導出される領域になる。その後、送信対象領域特定部４０３は、送信対象領域６０７の画素値を１、他の画素値を０とした送信対象領域画像を生成する（図６（ｂ６）を参照）。
In FIG. 8E, since the minimum rectangular area including the
撮像処理部４０１は、この時点における投影画像（図５（ｂ））をフレームＩＤ５１２８に紐付けて外部メモリ２１０等に格納する。その後、撮像処理部４０１は、投影画像（図５（ｂ））のうち破線の送信対象領域６０７に相当する部分を白色で塗り潰した投影画像（図６（ｃ６））を生成する。
The
その後、投影処理部４０７は、投影画像（図６（ｃ６））を投影する。この状態で、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。カメラ１１３が共有領域３１１を撮像することで、撮像画像として図６（ｄ６）に示す画像が取得される。撮像処理部４０１は、図６（ｄ６）に示す画像を時刻ｔ６における撮像画像としてフレームＩＤ５１２８と紐付けて外部メモリ２１０等に格納する。次に、投影処理部４０７は、外部メモリ２１０等に格納した画像（図５（ｂ））に投影を切り替える事で、元の状態に戻す。次に、送信画像生成部４０４は、未送信の送信対象領域画像リストに送信対象領域画像（図６（ｂ６））を追加する。
Thereafter, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図６（ｄ５））や現在の撮像画像（図６（ｄ６））に基づいて、人物は存在しないと判断する。そして、人物領域導出部４０２は、図６（ｅ６）に示すような画素値が全て０の人物領域画像をフレームＩＤ５１２８と紐付けて外部メモリ２１０等に格納する。未送信の送信対象領域画像リストには、この時点で送信対象領域画像（図６（ｂ６））が含まれ、また、人物領域は存在せず、送信対象領域に人物領域が含まれる事も無い為、拠点Ｂの情報処理システム１２０への送信処理に移る。
Thereafter, the person
送信画像生成部４０４は、撮像画像（図６（ｄ６））から送信対象領域６０７に相当する部分を抽出した送信画像（図６（ｆ６））を生成する。
The transmission
次に、通信部４０５は、送信画像（図６（ｆ６））及び現在のフレームＩＤ５１２８を拠点Ｂの通信部４２７へ送信する。次に、送信画像生成部４０４は、送信対象領域画像（図６（ｂ６））を未送信の送信対象領域画像リストから削除する。この時点で未送信の送信対象領域画像リストは空になった為、これ以上の拠点Ｂの情報処理システム１２０への送信処理は行われず、このまま処理を終える。
Next, the
拠点ＢのＰＣ１２１の通信部４０５は、拠点ＡのＰＣ１１１の通信部４０５によって送信された送信画像及びフレームＩＤ５１２８を受信する。拠点ＢのＰＣ１２１の投影処理部４０７は、受信した送信画像を用いて投影処理を行う。先ずＰＣ１２１の投影処理部４０７は、受信されたフレームＩＤ５１２８の１つ前のフレームＩＤ５１２７に紐付けられた投影画像（図６（ｇ５））を取得する。次に、ＰＣ１２１の合成部４０６は、取得した投影画像（図６（ｇ５）と受信した送信画像（図６（ｆ６））を合成する。この合成によって生成され生成された投影画像を図６（ｇ６）に示す。その後、ＰＣ１２１の投影処理部４０７は、生成された投影画像（図６（ｇ６））をフレームＩＤ５１２８に紐付けて情報処理システム１２０の外部メモリ２１０等に格納する。ＰＣ１２１の投影処理部４０７は、生成された投影画像（図６（ｇ６））を共有領域３２１に投影する。こうして生成された投影画像（図６（ｇ６））が共有領域３２１に投影された状態を図６（ｈ６）に示す。
The
＜送信画像の生成処理及び送信処理＞
次に、図６で説明したような動作を実現する、情報共有システムにおける処理について説明する。説明の便宜上、ここでも自拠点としての拠点Ａにおける情報処理システム１１０における処理を中心として説明することとするが、他拠点としての拠点Ｂにおける情報処理システム１２０においても同様の処理がなされるものである。
<Transmission image generation processing and transmission processing>
Next, processing in the information sharing system that realizes the operation described in FIG. 6 will be described. For the sake of convenience of explanation, the processing in the information processing system 110 at the base A as its own base will be mainly described here, but the same processing is performed also in the
図９は、本実施例における、自拠点としての拠点Ａの情報処理システム１１０のカメラ１１３が情報入力ボード１１４の共有領域３１１の記載内容を撮像し、他拠点としての拠点Ｂの情報処理システム１２０に送信するまでの処理の流れを示すフローチャートである。なお、本フローチャートで示す一連の処理は、一定の時間間隔（例えば０．５秒毎）で情報入力ボード１１４の共有領域３１１をカメラ１１３で撮像する毎に実行される。この一連の処理は、フレーム毎で行われるものとする。例えば、撮像の間隔をさらに短くした上で（例えば、０．１秒毎）、２フレーム毎や３フレーム毎といったように複数フレームに１度の割合で処理を実行するようにしてもよい。また、本フローチャートで示す手順は、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
FIG. 9 shows the
ステップ９０１において、撮像処理部４０１は、外部メモリ２１０等からフレームＩＤを取得する。
In step 901, the
次に、ステップ９０２において、送信画像生成部４０４は、外部メモリ２１０等から未送信の送信対象領域画像リストを取得する。
In
その後、ステップ９０３において、送信対象領域特定部４０３は、送信対象領域画像（図６（ｂ４）等を参照）の生成を行う。送信対象領域画像の生成の詳細は後述する。
Thereafter, in step 903, the transmission target
次に、ステップ９０４において、撮像処理部４０１は、送信対象領域画像中に送信対象領域が存在するかどうかを判断する。具体的には、ステップ９０３で送信対象領域特定部４０３が生成した送信対象領域画像の画素値が全て０かどうかの判定を行なう。
Next, in
ステップ９０４で送信対象領域が存在しないと判断した場合は、ステップ９０５において、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。その後、ステップ９０６において、撮像処理部４０１は、ステップ９０５で取得した撮像画像（図６（ｄ１）等を参照）をステップ９０１で取得したフレームＩＤと紐付けて外部メモリ２１０等に格納し、処理をステップ９１６に進める。
If it is determined in
ステップ９０４で送信対象領域が存在すると判断した場合、ステップ９０７において撮像処理部４０１は、この時点でプロジェクタ１１２に投影させている画像（図５（ｂ）を参照）を保存する。この時点でプロジェクタ１１２に投影させている画像は、ステップ９０１で取得されたフレームＩＤに紐付けて外部メモリ２１０等に格納される。
If it is determined in
次に、ステップ９０８において、撮像処理部４０１は、ステップ９０３で送信対象領域特定部４０３が生成した送信対象領域画像を用い、投影画像のうち送信対象領域を白色で塗りつぶした画像（図６（ｃ４）等を参照）を生成する。
Next, in step 908, the
その後、ステップ９０９において、投影処理部４０７は、プロジェクタ１１２へ、ステップ９０８で撮像処理部４０１が生成した画像を投影するよう指示を出す。
Thereafter, in
ステップ９１０において、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示し、撮像画像（図６（ｄ４）等を参照）を取得する。ステップ９０８、ステップ９０９及びステップ９１０により、投影が含まれない、マーカペンで直に書き込まれた情報だけの共有領域３１１の撮像画像が得られる。
In step 910, the
その後、ステップ９１１において、撮像処理部４０１は、ステップ９１０で取得した撮像画像をステップ９０１で取得されたフレームＩＤに紐付けて外部メモリ２１０等に格納する。
Thereafter, in step 911, the
次に、ステップ９１２において、撮像処理部４０１は、ステップ９０７で格納した投影画像（図５（ｂ）を参照）を外部メモリ２１０等から取得する。
Next, in
その後、ステップ９１３において、投影処理部４０７は、プロジェクタ１１２へ、ステップ９１２で取得した画像を投影するよう指示を出す。
Thereafter, in
ステップ９１４において、送信画像生成部４０４は、ステップ９０３で送信対象領域特定部４０３が生成した送信対象領域画像（図６（ｂ４）等を参照）を、ステップ９０２で取得された未送信の送信対象領域画像リストに追加する。
In step 914, the transmission
その後、ステップ９１５において、人物領域導出部４０２は、ステップ９０１で取得されたフレームＩＤから１を引いたフレームＩＤに紐付けられている、すなわち１フレーム前の撮像画像を外部メモリ２１０等から取得する。
Thereafter, in step 915, the person
ステップ９１６において、人物領域導出部４０２は、ステップ９０６又はステップ９１１で外部メモリ２１０等に格納された撮像画像から、人物領域を導出する。
In step 916, the person
ステップ９１７において、人物領域導出部４０２は、ステップ９１６で導出した人物領域の画素値を１、その他の領域の画素値を０とした人物領域画像（図６（ｅ４）等を参照）を生成する。
In step 917, the person
その後、ステップ９１８において、人物領域導出部４０２は、ステップ９１７で生成した人物領域画像を、ステップ９０１で撮像処理部４０１が取得したフレームＩＤと紐付けて外部メモリ２１０等に格納する。
Thereafter, in
ステップ９１９において、送信画像生成部４０４は、未送信の送信対象領域画像リストに含まれている送信対象領域画像の全件について、ステップ９２０の判断をしたかどうかを判断する。全件について判断した場合は処理をステップ９２４に移す。また、ステップ９１９において、送信画像生成部４０４は、未送信の送信対象領域画像リストが空の場合も、送信対象領域画像の全件について判断したとみなして、処理をステップ９２４に移す。
In step 919, the transmission
一方、ステップ９２０の判断をしていない送信対象領域画像があると判断した場合、ステップ９２０において、送信画像生成部４０４は、そのうちの一つの送信対象領域画像について、送信対象領域内に人物が含まれるかどうかを判断する。送信対象領域内に人物が含まれるかどうかは、具体的には、このステップで対象としている送信対象領域画像と、ステップ９１８で外部メモリ２１０等に格納された人物領域画像で論理積を算出し、画素値が１である画素が存在するかどうかによって判断する。画素値が１である画素が存在する、つまり二つの領域に重複する領域が有ると判断された場合、送信対象領域内に人物が含まれるという事になる為、この送信対象領域については送信処理を行わずに処理をステップ９１９に戻す。
On the other hand, if it is determined that there is a transmission target area image that has not been determined in step 920, in step 920, the transmission
送信対象領域に人物が含まれる場合、ステップ９２０において、送信画像生成部４０４は、この送信対象領域画像を未送信の送信対象領域画像リストに追加した上で、処理をステップ９１９に戻す。この場合のステップ９１９では、送信画像生成部４０４は、未送信の送信対象領域画像リストに追加された当該送信対象領域画像が、一度、ステップ９２０において判断がされているため、「ＹＥＳ」としてステップ９２４に処理を進める。これにより、次フレームでも送信対象領域に人物が含まれる場合、送信画像生成部４０４は、送信対象領域に対応する送信対象領域画像を未送信の送信対象領域画像リストに追加する。このため、未送信の送信対象領域画像リストには、複数の送信対象領域画像が追加される場合がある。この場合、次フレームにおけるステップ９１９において、送信画像生成部４０４は、上記複数の送信対象領域画像が含まれる未送信の送信対象領域画像リストの全件について、ステップ９２０の判断がされたかどうかを判定する。この未送信の送信対象領域画像リストに追加された送信対象領域画像のうち１つでも、ステップ９２０の判断がされていない場合、ステップ９１９において、送信画像生成部４０４は、「ＮＯ」と判断する。そしてステップ９２０の判断がされていない当該送信対象領域画像について、ステップ９２０の判断がなされる。
When a person is included in the transmission target area, in step 920, the transmission
１フレーム前における一連の処理（ステップ９１９及びステップ９２０を参照）が実行された際に、送信対象領域は存在するが撮像画像中の送信対象領域に人物が写っている場合は、送信画像を生成せず、拠点Ｂの情報処理システム１２０への送信処理は保留される。これにより、ユーザの腕などが含まれた撮像画像を拠点Ｂの共有領域に投影してしまうことが抑止される。また、これにより、送信対象領域内に人物が含まれている場合には拠点Ｂの情報処理システム１２０への送信処理を保留にして、送信対象領域内から人物が離れると、拠点Ｂの情報処理システム１２０への送信処理を行うことが可能となる。なお、ステップ９１９において、ステップ９２０の判断が終了したかどうかについて判定する方法については、例えば、未送信の送信対象領域画像リストに、フレームＩＤごとにチェックボックスを設けるといった方法が考えられる。そして、ステップ９２０の判断が終了した場合に、当該チェックボックスに自動的にチェックを入れる。そして、ステップ９１９において、当該チェックが入っている場合、当該チェックに対応するフレームＩＤに紐付いている送信対象領域画像については、ステップ９２０の判定が済んでいるものとして、ステップ９２４に処理を進めるとしてよい。また、ステップ９１９において、当該チェックが入っていない場合、当該チェックに対応するフレームＩＤに紐付いている送信対象領域画像については、ステップ９２０に処理を進めるとしてよい。
When a series of processes one frame before (see step 919 and step 920) are executed, if a transmission target area exists but a person is reflected in the transmission target area in the captured image, a transmission image is generated. Instead, the transmission process to the
ステップ９２０において送信画像生成部４０４が送信対象領域内に人物が含まれないと判断した場合、送信画像生成部４０４は、拠点Ｂの情報処理システム１２０に送信する送信画像の生成処理に移行する。
When the transmission
ステップ９２１において、送信画像生成部４０４は、ステップ９０６又はステップ９１１で格納された撮像画像から送信対象領域に相当する部分のみを抽出する。送信対象領域に相当する部分のみを抽出する事で、送信画像（図６（ｆ４）等を参照）を生成する。
In
その後、ステップ９２２において、通信部４０５は、ネットワークＩ／Ｆ ２１３、ネットワーク１３０を介して、ステップ９２１で送信画像生成部４０４が生成した送信画像を、拠点Ｂの情報処理システム１２０に送信する。また、通信部４０５は、送信画像を生成するために使用した撮像画像に紐付けられたフレームＩＤを、送信画像とともに、拠点Ｂの情報処理システム１２０に送信する。
Thereafter, in step 922, the
その後、ステップ９２３において、送信画像生成部４０４は、このステップで対象としている送信対象領域画像を未送信の送信対象領域画像リストから削除し、処理をステップ９１９に戻す。ステップ９１９で未送信の送信対象領域画像リストに含まれる全ての送信対象領域画像についてステップ９２０の判断がなされたと判断された場合、処理をステップ９２４に進める。
Thereafter, in step 923, the transmission
ステップ９２４において、送信画像生成部４０４は、未送信の送信対象領域画像リストを外部メモリ２１０等に格納する。
In step 924, the transmission
次に、ステップ９２５において、撮像処理部４０１は、ステップ９０１で取得したフレームＩＤに１を加算する。
Next, in
ステップ９２６において、撮像処理部４０１は、その後、ステップ９２５で導出した新しいフレームＩＤを外部メモリ２１０等に格納し、処理を終了する。
In
図１０は、図９のステップ９０３に示した送信対象領域画像（図６（ｂ４）等を参照）を生成する処理の詳細を示すフローチャートである。本フローチャートで示す手順も図９と同様、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
FIG. 10 is a flowchart showing details of the processing for generating the transmission target region image (see FIG. 6B4, etc.) shown in step 903 of FIG. Similarly to FIG. 9, the procedure shown in this flowchart is stored in one of the
図１０に示すステップ１００１において送信対象領域特定部４０３は、ステップ９０１で取得されたフレームＩＤから２を引いたフレームＩＤに紐付けられた人物領域画像、即ち２フレーム前の人物領域画像を外部メモリ２１０等から取得する。
In step 1001 shown in FIG. 10, the transmission target
次に、ステップ１００２において、送信対象領域特定部４０３は、ステップ９０１で取得されたフレームＩＤから１を引いたフレームＩＤに紐付けられた人物領域画像、即ち１フレーム前の人物領域画像を、外部メモリ２１０等から取得する。
Next, in
その後、ステップ１００３において、送信対象領域特定部４０３は、ステップ１００１で取得した２フレーム前の人物領域画像の画素値が全て０かどうかの判定を行う事で、人物領域画像中に人物領域が存在するかどうかの判断を行う。
Thereafter, in
送信対象領域特定部４０３がステップ１００３で人物領域が存在しないと判断した場合は、ステップ１００４において、送信対象領域特定部４０３は、全ての座標の画素値を０とした送信対象領域画像（図６（ｂ１）等を参照）を生成し、処理を終える。
If the transmission target
ステップ１００３で２フレーム前の人物領域画像中に人物領域が存在すると判断された場合、ステップ１００５において送信対象領域特定部４０３は、ステップ１００２で取得した１フレーム前の人物領域画像の画素値が全て０かどうかの判定を行う。判定を行う事によって、送信対象領域特定部４０３は、１フレーム前の人物領域画像中に人物領域が存在するかどうかを判断する。
When it is determined in
人物領域が存在しないと判断した場合は、ステップ１００６において、送信対象領域特定部４０３は、２フレーム前の人物領域画像を包含する最小の矩形領域を導出する。
If it is determined that the person area does not exist, in step 1006, the transmission target
その後、図１０に示すステップ１００７において、送信対象領域特定部４０３は、ステップ１００６で導出した領域に含まれる座標の画素値を１、他の画素値を０とした送信対象領域画像（図６（ｂ６）を参照）を生成し、処理を終える。
After that, in
ステップ１００５で１フレーム前の人物領域画像にも人物が存在すると判断した場合は、ステップ１００８において、送信対象領域特定部４０３は、２フレーム前の人物領域と１フレーム前の人物領域の両方を包含する最小の矩形領域を導出する。
If it is determined in
次に、ステップ１００９において、送信対象領域特定部４０３は、１フレーム前の人物領域を包含する最小の矩形領域を導出する。
Next, in step 1009, the transmission target
次に、ステップ１０１０において、送信対象領域特定部４０３は、ステップ１００８で求めた領域からステップ１００９で求めた領域を引いた領域を導出する。尚、ステップ１００８、ステップ１００９、及びステップ１０１０の処理においてもステップ１００６と同様、領域の導出は図７に示すような共有領域３１１を６４個に分割した小領域の単位で行う。
Next, in step 1010, the transmission target
その後、ステップ１０１１において、送信対象領域特定部４０３は、ステップ１０１０で導出した領域に含まれる座標の画素値を１、他の画素値を０とした送信対象領域画像（図６（ｂ４）等を参照）を生成し、処理を終える。これにより、システムが処理する画像のデータのサイズを小さくすることができるため、システムの負荷が軽減され、画像のデータの通信コストも軽減することが可能となる。したがって、拠点Ａの情報入力ボード１１４の共有領域３１１に記載された内容を拠点Ｂの情報入力ボード１２４の共有領域３２１に迅速に投影して、記載内容をすばやく共有することが可能となる。
Thereafter, in step 1011, the transmission target
図１１は、本実施例における、拠点Ｂの情報処理システム１２０が拠点Ａから送信されてきた送信画像と投影画像とを合成した画像を、共有領域３２１に投影する処理のフローチャートである。本フローチャートで示す手順は、そのプログラムがＰＣ１２１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
FIG. 11 is a flowchart of processing for projecting an image obtained by combining the transmission image and the projection image transmitted from the site A by the
図１１に示すステップ１１０１において、拠点ＢのＰＣ１２１の通信部４０５は、図９に示すステップ９２２で拠点ＡのＰＣ１１１の通信部４０５から送信された送信画像及びフレームＩＤを受信する。
In
拠点ＢのＰＣ１２１の通信部４０５が送信画像及びフレームＩＤを受信した場合は、ステップ１１０２において、ＰＣ１２１の投影処理部４０７は、外部メモリ２１０等に格納されている投影画像を取得する。この投影画像は、ＰＣ１２１の投影処理部４０７がステップ１１０４で外部メモリ２１０等に格納されている投影画像とする。また、この投影画像は、受信したフレームＩＤに最も近いフレームＩＤに紐付けられた投影画像であって、最新の投影画像とする。
When the
ステップ１１０３においてＰＣ１２１の合成部４０６は、ステップ１１０２で外部メモリ２１０等から取得された投影画像と、ステップ１１０１でＰＣ１２１の通信部４０５から取得した送信画像とを合成する。当該合成する事で、投影画像（図６（ｇ４）等を参照）を生成する。
In step 1103, the combining
その後、ステップ１１０４において、ＰＣ１２１の投影処理部４０７は、ステップ１１０３で合成部４０６が合成した投影画像を受信したフレームＩＤに紐付けて外部メモリ２１０等に格納する。
Thereafter, in step 1104, the
ステップ１１０５において、その後、ＰＣ１２１の投影処理部４０７は、プロジェクタ１２２へ、ステップ１１０３で合成部４０６が合成した投影画像を情報入力ボード１２４の共有領域３２１に投影するよう指示を出し、処理を終える（図６（ｈ４）等を参照）。
In
通常、情報入力ボードの盤面に記載するためには、ユーザはマーカペンを持ち、自分の腕を動かすことによって、情報入力ボードの盤面に文字図形等を書き込んでいく。つまり、人物であるユーザの腕が通過した領域が、文字図形等が書き込まれた可能性が高い領域と推定することができる。本実施例により、人物が通過した領域を、送信すべき領域として特定し、当該特定された領域を他拠点に送信することで、情報入力ボードの盤面に記載された内容を含む可能性が高い画像を他拠点の情報入力ボードの盤面に投影することが可能となる。また、本実施例により、情報入力ボードの盤面に記載するユーザの腕等が、他拠点の情報入力ボードの盤面に極力投影されないようにすることが可能となる。 Usually, in order to write on the surface of the information input board, the user holds a marker pen and moves his / her arm to write a character figure or the like on the surface of the information input board. That is, it can be estimated that the area through which the user's arm as a person passes has a high possibility of writing a character graphic or the like. According to the present embodiment, an area through which a person has passed is specified as an area to be transmitted, and the specified area is transmitted to another base, so that there is a high possibility that the contents described on the board of the information input board are included. An image can be projected on the surface of an information input board at another site. Further, according to the present embodiment, it is possible to prevent the user's arm or the like described on the board of the information input board from being projected as much as possible on the board of the information input board at another base.
尚、本実施例にかかる図６で示す具体例では、ユーザの腕を左上から右下に移動させて書き込みが行われているが、ユーザの腕を右下から左上に移動させて書き込みが行われた場合でも、本実施例による効果は、実現可能である。この場合、例えば、ユーザ３５１の腕６０１を、文字列５０１の「ＡＢＣＤＥＦ」の「Ｆ」の付近から、文字列５０１の「あいう」の「あ」の付近まで移動させて、線分５０５が書き込まれる。線分５０５が書き込まれる際、線分５０５がユーザ３５１の腕６０１によって隠れる場合には、上述したステップ９２０の処理において、送信画像生成部４０４は送信画像を生成せず、送信処理は保留となる。そして、線分５０５からユーザ３５１の腕６０１が離れると、送信処理が行なわれる。これによって、他拠点に送信する画像の情報を、ユーザ３５１の腕６０１が通過した領域に限定することが可能となるため、本実施例による効果と同様の効果を得ることが可能となる。
In the specific example shown in FIG. 6 according to the present embodiment, writing is performed by moving the user's arm from the upper left to the lower right, but writing is performed by moving the user's arm from the lower right to the upper left. Even in such a case, the effect of the present embodiment can be realized. In this case, for example, the
＜実施例１の効果＞
以上説明したように、本実施例によれば、自拠点で情報入力ボードの盤面の記載内容を更新した際、更新された領域だけに限定して画像を処理し、他拠点への送信を行う事ができる。
<Effect of Example 1>
As described above, according to the present embodiment, when the description content of the board of the information input board is updated at the local site, the image is processed only in the updated area and transmitted to other sites. I can do things.
本実施例によれば、情報入力ボードの盤面へ投影している投影画像の一部分を均一の色に切り替え、且つ、情報入力ボード上の記載が更新されている可能性の高い領域に限定する。したがって、情報入力ボードの記載内容が重なり合うなどの視覚エコーのような問題を生じさせることを抑止できる。また、情報入力ボードの盤面へ投影している投影画像の一部分を均一の色に切り替えた後、短時間で投影していた投影画像に戻し、且つ、均一の色に切替える領域を可能な限り小さくすることで、ユーザから一時的に見えなくなる投影内容を可能な限り少なくできる。 According to the present embodiment, a part of the projected image projected onto the board surface of the information input board is switched to a uniform color and limited to an area where the description on the information input board is likely to be updated. Therefore, it is possible to suppress the occurrence of problems such as visual echo such as overlapping description contents of the information input board. In addition, after switching a part of the projected image projected onto the board of the information input board to a uniform color, the projected image is returned to the projected image in a short time, and the area to be switched to the uniform color is made as small as possible. By doing so, it is possible to reduce the amount of projection that is temporarily invisible to the user as much as possible.
また、本実施例によれば、投影画像に特別な画像処理を施す領域だけでなく、撮像画像の中で画像解析の対象とする領域も、できるだけサイズを小さくして、情報入力ボードの盤面の記載内容を更新する可能性が高い領域に限定することができる。よって、画像の処理範囲を限定する事ができ、情報共有システムの処理負荷を軽減することが可能となる。 Further, according to the present embodiment, not only the area where the projection image is subjected to special image processing but also the area which is the target of image analysis in the captured image is made as small as possible so that the board surface of the information input board This can be limited to an area where there is a high possibility of updating the description. Therefore, the image processing range can be limited, and the processing load on the information sharing system can be reduced.
さらに、本実施例によれば、拠点間で情報入力ボードの盤面の表示を共有させるために送受信する画像のデータについて、情報入力ボードの盤面の記載内容の更新の可能性が高い領域に限定することができる。よって、他拠点に送信する画像のデータのサイズを小さくでき、情報共有システムの通信コストを軽減することが可能となる。 Furthermore, according to the present embodiment, the image data transmitted and received to share the display of the information input board surface between the bases is limited to an area where there is a high possibility of updating the description content of the information input board surface. be able to. Therefore, it is possible to reduce the size of image data to be transmitted to another site, and to reduce the communication cost of the information sharing system.
以上のように、本実施例によれば、情報共有システムが処理する内容を、情報入力ボードの盤面の記載内容が更新された領域に限定することが可能となり、情報共有システムの処理負荷、記憶容量、通信速度等の観点から有益となる。また、情報共有システムの性能向上やコストダウンにつながることが期待できる。 As described above, according to the present embodiment, it is possible to limit the contents to be processed by the information sharing system to the area where the description contents on the board of the information input board are updated. This is useful from the viewpoint of capacity, communication speed, and the like. It can also be expected to lead to improved performance and cost reduction of the information sharing system.
なお、本実施例では、各種画像やフレームＩＤ、リストなどが外部メモリ２１０に格納されるとしているが、勿論、外部メモリ２１０のほか、ＲＯＭ２０３、ＲＡＭ２０２などの記憶領域に記憶されてもよい。
In the present embodiment, various images, frame IDs, lists, and the like are stored in the
また、本実施例では、送信対象領域内に人物が含まれる場合、送信画像を送信しないとしているが（ステップ９２０でＹｅｓ）、送信対象領域から現フレームの人物領域を引いて得た領域を使用して、送信画像を生成しても良い。この際、現フレームの人物領域の部分は記載内容が人物によって隠れてしまって撮像されていないため、次のフレームで、現フレームの人物領域を含めて送信対象領域を特定するようにしても良い。 In this embodiment, when a person is included in the transmission target area, the transmission image is not transmitted (Yes in step 920), but the area obtained by subtracting the person area of the current frame from the transmission target area is used. Then, a transmission image may be generated. At this time, the portion of the person area of the current frame is not captured because the description is hidden by the person, and therefore the transmission target area including the person area of the current frame may be specified in the next frame. .
実施例１では他拠点での投影時に視覚エコーの発生を抑える為に、自拠点の情報入力ボードに投影された投影画像のうち、送信対象領域に相当する部分の画素値を所定の画素値に置き替える処理（実施例１のステップ９０７〜ステップ９１３を参照）を説明した。実施例２では、送信対象領域に相当する部分の画素値を所定の画素値に置き替えずに、視覚エコーの発生を抑えつつ、自拠点の情報入力ボードに書き込まれた情報を他拠点と共有する方法を説明する。尚、本実施例におけるシステム構成と、受信側の拠点の情報入力ボードへの投影処理は実施例１と同一とする。
In the first embodiment, in order to suppress the occurrence of visual echoes at the time of projection at another site, the pixel value of the portion corresponding to the transmission target area in the projection image projected on the information input board at the own site is set to a predetermined pixel value. The replacement process (see
＜本実施例のソフトウェア構成＞
ＰＣ１１１のソフトウェア構成について説明する。ここでも、説明の便宜上、自拠点である拠点Ａ側のＰＣ１１１について説明することとするが、拠点Ｂ側のＰＣ１２１も同様である。
<Software configuration of the present embodiment>
The software configuration of the
図１２は、本実施例に係る、ＰＣ１１１のソフトウェア構成を示す機能ブロック図である。ＰＣ１１１は、撮像処理部４０１、人物領域導出部４０２、送信対象領域特定部４０３、送信画像生成部４０４、通信部４０５、合成部４０６、投影処理部４０７、背景画像生成部１２０１の各機能部を有する。
FIG. 12 is a functional block diagram illustrating the software configuration of the
送信画像生成部４０４は、撮像処理部４０１で撮像された画像から送信対象領域に相当する部分を抽出して画像を生成し、及び背景画像から送信対象領域に相当する部分を抽出して画像を生成する。背景画像は、人物領域を含まない画像であって、拠点Ｂの情報処理システム１２０に送信する送信画像を生成するために使用される画像である。送信画像生成部４０４は、それぞれ抽出した画像の画像差分を取って送信画像を生成する。
The transmission
背景画像生成部１２０１は、人物領域画像中に人物領域が含まれていない場合、撮像画像を背景画像として外部メモリ２１０等に格納する。
When the person area image does not include the person area, the background
他の各機能部については、実施例１と同様の機能であるため、説明を省略する。 Since the other functional units have the same functions as those in the first embodiment, the description thereof is omitted.
＜実施例２の概要＞
本実施例における情報処理システムの動作の概要について、具体例を用いて説明する。尚、この具体例で想定する情報入力ボードの盤面の記載状態は、実施例１のものと同じとする。
<Overview of Example 2>
An outline of the operation of the information processing system in the present embodiment will be described using a specific example. The state of the information input board assumed in this specific example is the same as that in the first embodiment.
図１３は、この想定における拠点Ａの共有領域３１１及び拠点Ｂの共有領域３２１の状態の推移と、それぞれの時点での送信画像の生成や各種画像の入出力の様子の一覧を示す図である。この想定における拠点Ａの共有領域３１１の状態の推移は図１３（ａ１）〜図１３（ａ５）に示す通りである。図１３（ａ１）〜図１３（ａ５）は、実施例１における図６（ａ１）〜図６（ａ５）にそれぞれ対応する。
FIG. 13 is a diagram showing a state transition of the shared
本実施例では、実施例１とは異なり、未送信の送信対象領域画像リストを使用しない。その代わり、他拠点へ送信画像を送信するか否かの判定を、実施例１とは異なる方法で行う。それは、送信対象領域画像中に送信対象領域が存在するか否かを判定して、判定結果に基づいて他拠点への送信処理の内容を決定する方法である。具体的には、送信対象領域画像中に送信対象領域が存在する場合、送信画像を作成し、作成した送信画像を他拠点へ送信する。また、送信対象領域画像中に送信対象領域が存在しない場合、送信画像を作成せず他拠点への送信処理も行わない。 In the present embodiment, unlike the first embodiment, an untransmitted transmission target area image list is not used. Instead, whether or not to transmit the transmission image to another base is determined by a method different from that in the first embodiment. This is a method of determining whether or not a transmission target area exists in the transmission target area image and determining the content of transmission processing to another base based on the determination result. Specifically, when a transmission target area exists in the transmission target area image, a transmission image is created and the created transmission image is transmitted to another base. In addition, when the transmission target area does not exist in the transmission target area image, the transmission image is not created and the transmission process to another base is not performed.
尚、時刻ｔ１よりも前の状態では共有領域３１１の前にはユーザ３５１の腕等の人物は無かったものとする。また、各時刻の間隔はシステムが図１４に示したフローを実行する間隔の時間と等しいものとする。
Note that it is assumed that there is no person such as the arm of the
尚、時刻ｔ１〜ｔ５は、拠点Ａの情報入力ボードの共有領域を撮像した時刻を指す。また、撮像時刻ｔ１〜ｔ６に対応するフレームＩＤについて、時刻ｔ１に対応するものをフレームＩＤ５２２３、時刻ｔ２に対応するものをフレームＩＤ５２２４、時刻ｔ３に対応するものをフレームＩＤ５２２５とする。また、時刻ｔ４に対応するものをフレームＩＤ５２２６、時刻ｔ５に対応するものをフレームＩＤ５２２７とする。 Times t1 to t5 indicate times when the shared area of the information input board at the base A is imaged. Also, regarding the frame IDs corresponding to the imaging times t1 to t6, the frame ID 5223 corresponds to the time t1, the frame ID 5224 corresponds to the time t2, and the frame ID 5225 corresponds to the time t3. Also, a frame ID 5226 corresponds to time t4, and a frame ID 5227 corresponds to time t5.
先ず時刻ｔ１において、拠点ＡのＰＣ１１１の撮像処理部４０１は、撮像画像として図１３（ｂ１）に示す画像を取得する。次に、撮像処理部４０１は、取得した画像（図１３（ｂ１））を時刻ｔ１における撮像画像として、フレームＩＤ５２２３と紐付けて外部メモリ２１０等に格納する。その後、人物領域導出部４０２は、１フレーム前の撮像画像を外部メモリ２１０等から取得する。時刻ｔ１よりも前の状態では共有領域３１１の前にはユーザ３５１の腕等の人物は無かったという想定である為、この時点で取得される１フレーム前の撮像画像は図１３（ｂ１）に示す画像と同様である。
First, at time t1, the
その後、人物領域導出部４０２が人物領域の導出を行うが、時刻ｔ１及び時刻ｔ１よりも前の状態では撮像画像中に人物は無い。よって、人物領域導出部４０２を生成する時刻ｔ１における人物領域画像は、図１３（ｃ１）に示すように画素値が全て０になる。その後、人物領域導出部４０２は、生成した人物領域画像（図１３（ｃ１））を外部メモリ２１０等に格納する。
Thereafter, the person
その後、送信対象領域特定部４０３は、送信対象領域画像の生成を行う。時刻ｔ１よりも前の状態では共有領域３１１の前にはユーザ３５１の腕等の人物は無かったという想定の為、１フレーム前の人物領域画像にも現フレームの人物領域画像（図１３（ｃ１））にも人物領域は存在しない。よって、送信対象領域特定部４０３は、図１３（ｄ１）に示すような画素値が全て０の送信対象領域画像を生成する。図１３において、送信対象領域画像及び人物領域画像は、画素値が１の画素を黒、画素が０の画素を白として表現する。送信対象領域画像（図１３（ｄ１））の画素値が全て０である為、拠点Ｂへ画像が送信されず、拠点Ｂの情報入力ボード１２４の共有領域３２１には、投影画像（図５（ａ））が投影されたままとなる。投影画像（図５（ａ））が共有領域３２１に投影された状態を図１３（ｈ１）に示す。
Thereafter, the transmission target
背景画像生成部１２０１は、外部メモリ２１０等に格納された撮像画像（図１３（ｂ１））を背景画像（図１３（ｅ１））として外部メモリ２１０等に格納して処理を終える。背景画像生成部１２０１は、撮像画像（図１３（ｂ１））に紐付けられたフレームＩＤ５２２３を、背景画像（図１３（ｅ１））に紐付けて、外部メモリ２１０等に格納する。以下、背景画像ついては、説明の便宜上、異なるフレームＩＤごとに図１３（ｅ２）〜図１３（ｅ５）で示すが、それぞれ、図１３（ｅ１）に示す背景画像と変わりがない。
The background
次に時刻ｔ２において、拠点ＡのＰＣ１１１の撮像処理部４０１は、撮像画像として図１３（ｂ２）に示す画像を取得する。次に、撮像処理部４０１は、取得した画像（図１３（ｂ２））を時刻ｔ２における撮像画像として、フレームＩＤ５２２４と紐付けて外部メモリ２１０等に格納する。その後、人物領域導出部４０２は、フレームＩＤ５２２３と紐付けられて格納された１フレーム前の撮像画像（図１３（ｂ１））を外部メモリ２１０等から取得する。
Next, at time t2, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図１３（ｂ１））や撮像処理部４０１が取得した撮像画像（図１３（ｂ２））に基づいて、図１３（ｃ２）に示す領域６０２が人物領域であると判断する。そして、人物領域導出部４０２は、図１３（ｃ２）に示す人物領域画像をフレームＩＤ５２２４と紐付けて外部メモリ２１０等に格納する。
Thereafter, the person
その後、送信対象領域特定部４０３は、送信対象領域画像の生成を行う。送信対象領域特定部４０３は、図１３（ｄ２）に示すような画素値が全て０の送信対象領域画像を生成する。送信対象領域画像（図１３（ｄ２））中に送信対象領域が存在しない為、拠点Ｂへ画像が送信されず、拠点Ｂの情報入力ボード１２４の共有領域３２１には、投影画像（図５（ａ））が投影されたままとなる。投影画像（図５（ａ））が共有領域３２１に投影された状態を図１３（ｈ２）に示す。
Thereafter, the transmission target
また、人物領域導出部４０２が生成した人物領域画像（図１３（ｃ２））中に人物領域が存在する為、背景画像を生成せずに処理を終える。したがって、外部メモリ２１０等には、１フレーム前の背景画像（図１３（ｅ１））と同じ内容の背景画像（図１３（ｅ２））が格納されたままとなっている。
Further, since the person area exists in the person area image (FIG. 13 (c2)) generated by the person
次に時刻ｔ３において、拠点ＡのＰＣ１１１の撮像処理部４０１は、撮像画像として図１３（ｂ３）に示す画像を取得する。次に、撮像処理部４０１は、取得した画像（図１３（ｂ３））を時刻ｔ３における撮像画像として、フレームＩＤ５２２５と紐付けて外部メモリ２１０等に格納する。その後、人物領域導出部４０２は、フレームＩＤ５２２４と紐付けられて格納された１フレーム前の撮像画像（図１３（ｂ２））を外部メモリ２１０等から取得する。
Next, at time t3, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図１３（ｂ２））や撮像処理部４０１が取得した撮像画像（図１３（ｂ３））に基づいて、図１３（ｃ３）に示す領域６０３が人物領域であると判断する。そして、人物領域導出部４０２は、図１３（ｃ３）に示す人物領域画像をフレームＩＤ５２２５と紐付けて外部メモリ２１０等に格納する。
Thereafter, the person
その後、送信対象領域特定部４０３は、送信対象領域画像の生成を行う。送信対象領域特定部４０３は、１フレーム前の人物領域６０２と現フレームの人物領域６０３の両方を包含する最小の矩形領域を導出する。この様子を図８（ａ）に示す。
Thereafter, the transmission target
図８（ａ）において、１フレーム前の人物領域画像（図１３（ｃ２））に含まれる人物領域６０２と現フレームの人物領域画像（図１３（ｃ３））に含まれる人物領域６０３を含む最小の矩形領域は８０１で示す領域である為、領域８０１が導出される領域になる。
In FIG. 8A, the minimum including the
次に、送信対象領域特定部４０３は、現フレームの人物領域６０３を包含する最小の矩形領域を導出する。この様子を図８（ｂ）に示す。
Next, the transmission target
図８（ｂ）において、人物領域６０３を含む最小の矩形領域は８０２で示す領域である為、領域８０２は、送信対象領域特定部４０３によって導出される領域になる。その後、送信対象領域特定部４０３は、送信対象領域を特定する。
In FIG. 8B, since the minimum rectangular area including the
図８（ｂ）において、送信対象領域特定部４０３は、導出した領域８０１から、導出した領域８０２を引いた斜線の領域である領域６０４が、送信対象領域であると決定する。その後、送信対象領域特定部４０３は、領域６０４の画素値を１、他の画素値を０とした送信対象領域画像を生成する（図１３（ｄ３）を参照）。
In FIG. 8B, the transmission target
送信対象領域画像（図１３（ｄ３））中に送信対象領域が存在する為、拠点Ｂの情報処理システム１２０への送信処理に移る。
Since there is a transmission target area in the transmission target area image (FIG. 13 (d3)), the process proceeds to the transmission process to the
先ず送信画像生成部４０４は、撮像された撮像画像（図１３（ｂ３））から送信対象領域６０４を抽出した画像を生成する。次に、送信画像生成部４０４は、この時点で最新の背景画像（図１３（ｅ１））を外部メモリ２１０等から取得する。そして、送信画像生成部４０４は、背景画像（図１３（ｅ１））から送信対象領域６０４を抽出した画像を生成する。その後、送信画像生成部４０４は、２つの抽出した画像の間で画像差分を取り送信画像（図１３（ｆ３））を生成する。
First, the transmission
その後、通信部４０５は、送信画像（図１３（ｆ３））及び現在のフレームＩＤ５２２５を拠点Ｂの通信部４２７へ送信する。人物領域導出部４０２が生成した人物領域画像（図１３（ｃ３））中に人物領域が存在する為、背景画像を生成せずに処理を終える。したがって、外部メモリ２１０等には、２フレーム前の背景画像（図１３（ｅ１））と同じ内容の背景画像（図１３（ｅ３））が格納されたままとなっている。
Thereafter, the
拠点ＢのＰＣ１２１の通信部４０５は、拠点ＡのＰＣ１１１の通信部４０５によって送信された送信画像及びフレームＩＤ５２２５を受信する。拠点ＢのＰＣ１２１の投影処理部４０７は、受信した送信画像を用いて投影処理を行う。先ずＰＣ１２１の投影処理部４０７は、投影画像（図５（ａ））を取得する。次に、ＰＣ１２１の合成部４０６は、取得した投影画像（図５（ａ））と受信した送信画像（図１３（ｆ３））を合成する。この合成によって生成された投影画像を図１３（ｇ３）に示す。その後、ＰＣ１２１の投影処理部４０７は、生成された投影画像（図１３（ｇ３））を受信されたフレームＩＤ５２２５に紐付けて情報処理システム１２０の外部メモリ２１０等に格納する。ＰＣ１２１の投影処理部４０７は、生成された投影画像（図１３（ｇ３））を共有領域３２１に投影する。こうして生成された投影画像（図１３（ｇ３））が共有領域３２１に投影された状態を図１３（ｈ３）に示す。図１３（ｈ３）では、１フレーム前における図１３（ｈ２）に示す共有領域３１１の表示と比較して、拠点Ａの情報入力ボード１１４の共有領域３１１に書き込まれた線分５０５だけが、拠点Ｂの情報入力ボード１２４の共有領域３２１に投影されている。よって、本実施例に係る情報共有システム１００は、投影画像のうち送信対象領域に相当する部分の画素値を所定の画素値に置き替える処理を行わずに、実施例１の効果と同様の効果を実現することが可能となる。即ち、本実施例に係る情報共有システム１００は、画像を処理する領域及び送信処理を行なう領域を、拠点Ａの情報入力ボード１１４の共有領域３１１に書き込まれた部分に限定することが可能となる。したがって、視覚エコーの発生を抑えつつ、情報共有システム１００が処理する負担が軽減され、当該書き込まれた情報を他拠点と迅速に共有することが可能となる。
The
次に時刻ｔ４において、拠点ＡのＰＣ１１１の撮像処理部４０１は、撮像画像として図１３（ｂ４）に示す画像を取得する。次に、撮像処理部４０１は、取得した画像（図１３（ｂ４））を時刻ｔ４における撮像画像として、フレームＩＤ５２２６と紐付けて外部メモリ２１０等に格納する。その後、人物領域導出部４０２は、フレームＩＤ５２２５と紐付けられて格納された１フレーム前の撮像画像（図１３（ｂ３））を外部メモリ２１０等から取得する。
Next, at time t4, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図１３（ｂ３））や撮像処理部４０１が取得した撮像画像（図１３（ｂ４））に基づいて、図１３（ｃ４）に示す領域６０５が人物領域であると判断する。そして、人物領域導出部４０２は、図１３（ｃ４）に示す人物領域画像をフレームＩＤ５２２６と紐付けて外部メモリ２１０等に格納する。
Thereafter, the person
その後、送信対象領域特定部４０３は、送信対象領域画像の生成を行う。送信対象領域特定部４０３は、１フレーム前の人物領域６０３と現フレームの人物領域６０５の両方を包含する最小の矩形領域を導出する。この様子を図８（ｃ）に示す。
Thereafter, the transmission target
図８（ｃ）において、１フレーム前の人物領域画像（図１３（ｃ３））に含まれる人物領域６０３と現フレームの人物領域画像（図１３（ｃ４））に含まれる人物領域６０５を含む最小の矩形領域は８０３で示す領域である為、領域８０３が導出される領域になる。次に、送信対象領域特定部４０３は、現フレームの人物領域６０５を包含する最小の矩形領域を導出する。この様子を図８（ｄ）に示す。
In FIG. 8C, the minimum including the
図８（ｄ）において、人物領域６０５を含む最小の矩形領域は８０４で示す領域である為、領域８０４が送信対象領域特定部４０３によって導出される領域になる。その後、送信対象領域特定部４０３は、送信対象領域を特定する。
In FIG. 8D, since the minimum rectangular area including the
図８（ｄ）において、送信対象領域特定部４０３は、導出した領域８０３から、導出した領域８０４を引いた斜線の領域である領域６０６が、送信対象領域であると決定する。その後、送信対象領域特定部４０３は、領域６０６の画素値を１、他の画素値を０とした送信対象領域画像を生成する（図１３（ｄ４）を参照）。
In FIG. 8D, the transmission target
送信対象領域画像（図１３（ｄ４））中に送信対象領域が存在する為、拠点Ｂの情報処理システム１２０への送信処理に移る。
Since there is a transmission target area in the transmission target area image (FIG. 13 (d4)), the process proceeds to the transmission processing to the
まず送信画像生成部４０４は、撮像された撮像画像（図１３（ｂ４））から送信対象領域６０６に相当する部分を抽出した画像を生成する。次に、送信画像生成部４０４は、この時点で最新の背景画像（図１３（ｅ１））を外部メモリ２１０等から取得する。そして、送信画像生成部４０４は、背景画像（図１３（ｅ１））から送信対象領域６０６に相当する部分を抽出した画像を生成する。その後、送信画像生成部４０４は、２つの抽出した画像の間で画像差分を取り送信画像（図１３（ｆ４））を生成する。
First, the transmission
その後、通信部４０５は、送信画像（図１３（ｆ４））及び現在のフレームＩＤ５２２６を拠点Ｂの通信部４２７へ送信する。人物領域導出部４０２が生成した人物領域画像（図１３（ｃ４））中に人物領域が存在する為、背景画像を生成せずに処理を終える。したがって、外部メモリ２１０等には、３フレーム前の背景画像（図１３（ｅ１））と同じ内容の背景画像（図１３（ｅ４））が格納されたままとなっている。
Thereafter, the
拠点ＢのＰＣ１２１の通信部４０５は、拠点ＡのＰＣ１１１の通信部４０５によって送信された送信画像及びフレームＩＤ５２２６を受信する。拠点ＢのＰＣ１２１の投影処理部４０７は、受信した送信画像を用いて投影処理を行う。先ずＰＣ１２１の投影処理部４０７は、受信されたフレームＩＤ５２２６の１つ前のフレームＩＤ５２２５に紐付けられた投影画像（図１３（ｇ３））を取得する。次に、ＰＣ１２１の合成部４０６は、取得した投影画像（図１３（ｇ３））と受信した送信画像（図１３（ｆ４））を合成する。この合成によって生成された投影画像を図１３（ｇ４）に示す。その後、ＰＣ１２１の投影処理部４０７は、生成された投影画像（図１３（ｇ４））をフレームＩＤ５２２６に紐付けて情報処理システム１２０の外部メモリ２１０等に格納する。ＰＣ１２１の投影処理部４０７は、生成された投影画像（図１３（ｇ４））を共有領域３２１に投影する。こうして生成された投影画像（図１３（ｇ４））が共有領域３２１に投影された状態を図１３（ｈ４）に示す。
The
次に時刻ｔ５において、拠点ＡのＰＣ１１１の撮像処理部４０１は、撮像画像として図１３（ｂ５）に示す画像を取得する。次に、撮像処理部４０１は、取得した画像（図１３（ｂ５））を時刻ｔ５における撮像画像として、フレームＩＤ５２２７と紐付けて外部メモリ２１０等に格納する。その後、人物領域導出部４０２は、フレームＩＤ５２２６と紐付けられて格納された１フレーム前の撮像画像（図１３（ｂ４））を外部メモリ２１０等から取得する。
Next, at time t5, the
その後、人物領域導出部４０２は、人物領域の導出を行う。人物領域導出部４０２は、この時点での１フレーム前の撮像画像（図１３（ｂ４））や撮像処理部４０１が取得した撮像画像（図１３（ｂ５））に基づいて、人物は存在しないと判断する。そして、人物領域導出部４０２は、図１３（ｃ５）に示す人物領域画像をフレームＩＤ５２２７と紐付けて外部メモリ２１０等に格納する。
Thereafter, the person
その後、送信対象領域特定部４０３は、送信対象領域画像の生成を行う。送信対象領域特定部４０３は、１フレーム前の人物領域６０５を包含する最小の矩形領域を導出する。この様子を図８（ｅ）に示す。
Thereafter, the transmission target
図８（ｅ）において、１フレーム前の人物領域画像（図１３（ｃ４））に含まれる人物領域６０５を含む最小の矩形領域は、６０７で示す斜線の領域である為、領域６０７が導出される領域になる。その後、送信対象領域特定部４０３は、領域６０７の画素値を１、他の画素値を０とした送信対象領域画像を生成する（図１３（ｄ５）を参照）。
In FIG. 8E, the smallest rectangular area including the
送信対象領域画像（図１３（ｄ５））中に送信対象領域が存在する為、拠点Ｂの情報処理システム１２０への送信処理に移る。
Since there is a transmission target area in the transmission target area image (FIG. 13 (d5)), the process proceeds to the transmission processing to the
まず送信画像生成部４０４は、撮像された撮像画像（図１３（ｂ５））から送信対象領域６０７に相当する部分を抽出した画像を生成する。次に、送信画像生成部４０４は、この時点で最新の背景画像（図１３（ｅ１））を外部メモリ２１０等から取得する。そして、送信画像生成部４０４は、背景画像（図１３（ｅ１））から送信対象領域６０７に相当する部分を抽出した画像を生成する。その後、送信画像生成部４０４は、２つの抽出した画像の間で画像差分を取り送信画像（図１３（ｆ５））を生成する。
First, the transmission
その後、通信部４０５は、送信画像（図１３（ｆ５））及び現在のフレームＩＤ５２２７を拠点Ｂの通信部４２７へ送信する。人物領域導出部４０２が生成した人物領域画像（図１３（ｃ５））中に人物領域が存在する為、背景画像を生成せずに処理を終える。したがって、外部メモリ２１０等には、４フレーム前の背景画像（図１３（ｅ１））と同じ内容の背景画像（図１３（ｅ５））が格納されたままとなっている。
Thereafter, the
拠点ＢのＰＣ１２１の通信部４０５は、拠点ＡのＰＣ１１１の通信部４０５によって送信された送信画像及びフレームＩＤ５２２７を受信する。拠点ＢのＰＣ１２１の投影処理部４０７は、受信した送信画像を用いて投影処理を行う。先ずＰＣ１２１の投影処理部４０７は、受信されたフレームＩＤ５２２７の１つ前のフレームＩＤ５２２６に紐付けられた投影画像（図１３（ｇ４））を取得する。次に、ＰＣ１２１の合成部４０６は、取得した投影画像（図１３（ｇ４））と受信した送信画像（図１３（ｆ５））を合成する。この合成によって生成された投影画像を図１３（ｇ５）に示す。その後、ＰＣ１２１の投影処理部４０７は、生成された投影画像（図１３（ｇ５））をフレームＩＤ５２２７に紐付けて情報処理システム１２０の外部メモリ２１０等に格納する。ＰＣ１２１の投影処理部４０７は、生成された投影画像（図１３（ｇ５））を共有領域３２１に投影する。こうして生成された投影画像（図１３（ｇ５））が共有領域３２１に投影された状態を図１３（ｈ５）に示す。
The
＜送信画像の生成処理及び送信処理＞
次に、図１３で説明したような処理を実現する、情報共有システムにおける処理について説明する。説明の便宜上、ここでも自拠点としての拠点Ａにおける情報処理システム１１０における動作を中心として説明することとするが、他拠点としての拠点Ｂにおける情報処理システム１２０においても同様の動作がなされるものである。
<Transmission image generation processing and transmission processing>
Next, processing in the information sharing system that realizes the processing described with reference to FIG. 13 will be described. For the sake of convenience of explanation, the description here will focus on the operation of the information processing system 110 at the site A as its own site, but the same operation is also performed at the
図１４は、本実施例における、自拠点としての拠点Ａの情報処理システム１１０のカメラ１１３が共有領域３１１の記載内容を撮像し、他拠点としての拠点Ｂの情報処理システム１２０に送信するまでの処理の流れを示すフローチャートである。なお、本フローチャートで示す一連の処理は、一定の時間間隔（例えば０．５秒毎）でカメラ１１３で情報入力ボード１１４の共有領域３１１を撮像する毎（フレーム毎）に実行される。また、本フローチャートで示す手順は、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
FIG. 14 illustrates the process until the
先ず図１４に示すステップ１４０１において、撮像処理部４０１は、外部メモリ２１０等からフレームＩＤを取得する。またフレームＩＤは、ステップ１４０１〜ステップ１４１５の一連の処理が実行される度にステップ１４１７で加算され、ステップ１４１８で外部メモリ２１０等に格納される。
First, in step 1401 shown in FIG. 14, the
次に、ステップ１４０２において、撮像処理部４０１は、カメラ１１３に共有領域３１１の撮像を指示する。
Next, in
その後、ステップ１４０３において、撮像処理部４０１は、ステップ１４０２で取得した撮像画像（図１３（ｂ１）等を参照）をステップ１４０１で取得したフレームＩＤと紐付けて外部メモリ２１０等に格納する。
Thereafter, in
ステップ１４０４において、人物領域導出部４０２は、ステップ１４０１で取得されたフレームＩＤから１を引いたフレームＩＤに紐付けられている、すなわち１フレーム前の撮像画像を外部メモリ２１０等から取得する。
In step 1404, the person
その後、ステップ１４０５において人物領域導出部４０２は、ステップ１４０３で外部メモリ２１０等に格納された撮像画像のうち、人の腕や体等の人物領域を導出する。
Thereafter, in step 1405, the person
次に、ステップ１４０６において、人物領域導出部４０２は、ステップ１４０５で導出した人物の領域の画素値を１、その他の領域の画素値を０とした人物領域画像（図１３（ｃ２）等を参照）を生成する。
Next, in step 1406, the person
次にステップ１４０７において、人物領域導出部４０２は、ステップ１４０６で生成した人物領域画像を、ステップ１４０１で撮像処理部４０１が取得したフレームＩＤと紐付けて外部メモリ２１０等に格納する。
In
その後、ステップ１４０８において、送信対象領域特定部４０３は、送信対象領域画像（図１３（ｄ３）等を参照）の生成を行う。送信対象領域画像の生成の詳細は後述する。
Thereafter, in step 1408, the transmission target
次に、ステップ１４０９において、送信画像生成部４０４は、送信対象領域画像中に送信対象領域が存在するかどうかを判断する。具体的には、ステップ１４０８で送信対象領域特定部４０３が生成した送信対象領域画像の画素値が全て０かどうかの判定を行う。
In
ステップ１４０９で送信対象領域が存在しないと判断した場合、送信画像生成部４０４は、処理をステップ１４１５に進める。
If it is determined in
ステップ１４０９で送信対象領域が存在すると判断した場合、拠点Ｂの情報処理システム１２０に送信する送信画像の生成の処理に移行する。
If it is determined in
まずステップ１４１０において、送信画像生成部４０４は、ステップ１４０３で格納された撮像画像を、送信対象領域画像の画素値が０である座標の画素は白になるようマスクする事で、撮像画像から送信対象領域に相当する部分のみを抽出する。そして、送信画像生成部４０４は、抽出した画像（第１の画像）を生成する。
First, in step 1410, the transmission
次に、ステップ１４１１において、送信画像生成部４０４は、外部メモリ２１０等に格納されている最新のフレームＩＤに紐付けられた背景画像（図１３（ｅ１）等を参照）を取得する。
Next, in
その後、ステップ１４１２において、送信画像生成部４０４は、ステップ１４１１で取得した背景画像に対してステップ１４１０と同様に送信対象領域でマスクする事で、背景画像から送信対象領域に相当する部分のみを抽出する。そして、送信画像生成部４０４は、抽出した画像（第２の画像）を生成する。
Thereafter, in
ステップ１４１３において、送信画像生成部４０４は、ステップ１４１０で抽出した画像とステップ１４１２で抽出した画像との間で画像差分を取り送信画像（図１３（ｆ３）等を参照）を生成する。
In step 1413, the transmission
ステップ１４１４において、通信部４０５は、ネットワークＩ／Ｆ２１３、ネットワーク１３０を介して、ステップ１４１３で送信画像生成部４０４が生成した送信画像を、拠点Ｂの情報処理システム１２０に送信する。これにより、実施例１に係る図９に示すステップ９０６〜ステップ９１３における白マスク処理を行わずに、視覚エコーの発生の抑止、画像のデータのサイズの縮小を達成することが可能となる。
In
その後、ステップ１４１５において、背景画像生成部１２０１は、人物領域画像中に人物領域があるかどうかの判定を行う。具体的には、ステップ１４０６で人物領域導出部４０２が生成した人物領域画像の画素値が全て０かどうかの判定を行う。
Thereafter, in
ステップ１４１５で人物領域画像中に人物領域が無いと判断した場合、背景画像生成部１２０１は、処理をステップ１４１７に進める。
If it is determined in
ステップ１４１５で人物領域があると判断した場合は、ステップ１４１６において、背景画像生成部１２０１は、ステップ１４０３で外部メモリ２１０等に格納された撮像画像を、背景画像として外部メモリ２１０等に格納し、背景画像を生成する。背景画像生成部１２０１は、当該撮像画像に紐付けられたフレームＩＤと同じフレームＩＤを背景画像に紐付けて、外部メモリ２１０等に格納する。
If it is determined in
その後、ステップ１４１７において、撮像処理部４０１は、ステップ１４０１で取得したフレームＩＤに１を加算する。
Thereafter, in step 1417, the
続いて、ステップ１４１８において、撮像処理部４０１は、ステップ１４１７で導出した新しいフレームＩＤを外部メモリ２１０等に格納し、処理を終える。
Subsequently, in
図１５は、図１４のステップ１４０８に示した送信対象領域画像（図１３（ｄ３）等を参照）を生成する処理の詳細を示すフローチャートである。本フローチャートで示す手順も図１４と同様、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
FIG. 15 is a flowchart showing details of processing for generating the transmission target region image (see FIG. 13 (d3) and the like) shown in step 1408 of FIG. Similarly to FIG. 14, the procedure shown in this flowchart is stored in any of the
ステップ１５０１において、送信対象領域特定部４０３は、ステップ１４０１で取得されたフレームＩＤから１を引いたフレームＩＤに紐付けられた人物領域画像、即ち１フレーム前の人物領域画像を、外部メモリ２１０等から取得する。
In step 1501, the transmission target
次に、ステップ１５０２において、送信対象領域特定部４０３は、ステップ１４０７で外部メモリ２１０等に格納された人物領域画像、即ち現フレームの人物領域画像を、外部メモリ２１０等から取得する。
Next, in
その後、ステップ１５０３において、送信対象領域特定部４０３は、ステップ１５０１で取得した１フレーム前の人物領域画像の画素値が全て０かどうかの判定を行う事で、人物領域画像中に人物領域が存在するかどうかの判断を行う。
Thereafter, in step 1503, the transmission target
送信対象領域特定部４０３がステップ１５０３で人物領域が存在しないと判断した場合は、ステップ１５０４において、送信対象領域特定部４０３は、全ての座標の画素値を０とした送信対象領域画像（図１３（ｄ１）等を参照）を生成し、処理を終える。
If the transmission target
ステップ１５０３で１フレーム前の人物領域画像中に人物領域が存在すると判断された場合、ステップ１５０５において、送信対象領域特定部４０３は、ステップ１５０２で取得した現フレームの人物領域画像の画素値が全て０かどうかの判定を行う。判定を行う事によって、送信対象領域特定部４０３は、現フレームの人物領域画像中に人物領域が存在するかどうかを判断する。
If it is determined in step 1503 that a person area exists in the person area image one frame before, in
送信対象領域特定部４０３が人物領域が存在しないと判断した場合は、ステップ１５０６において、送信対象領域特定部４０３は、１フレーム前の人物領域画像を包含する最小の矩形領域を導出する。
If the transmission target
この矩形領域の導出は、実施例１と同様に図７に示すような共有領域３１１を６４個に分割した小領域の単位で行う。
The derivation of the rectangular area is performed in units of small areas obtained by dividing the shared
その後、ステップ１５０７において、送信対象領域特定部４０３は、ステップ１５０６で導出した領域に含まれる座標の画素値を１、他の画素値を０とした送信対象領域画像（図１３（ｄ５）を参照）を生成し、処理を終える。
Thereafter, in step 1507, the transmission target
ステップ１５０５で現フレームの人物領域画像にも人物が存在すると判断された場合は、ステップ１５０８において、送信対象領域特定部４０３は、１フレーム前の人物領域と現フレームの人物領域の両方を包含する最小の矩形領域を導出する。
If it is determined in
次に、ステップ１５０９において、現フレームの人物領域を包含する最小の矩形領域を導出する。
Next, in
次に、ステップ１５１０において、送信対象領域特定部４０３は、ステップ１５０８で求めた領域からステップ１５０９で求めた領域を引いた領域を導出する。尚、ステップ１５０８、ステップ１５０９、ステップ１５１０の処理においてもステップ１５０６と同様、領域の導出は図７に示すような共有領域３１１を６４個に分割した小領域の単位で行う。
Next, in step 1510, the transmission target
その後、ステップ１５１１において、送信対象領域特定部４０３は、ステップ１５１０で導出された領域に含まれる座標の画素値を１、他の画素値を０とした送信対象領域画像（図１３（ｄ３）等を参照）を生成し、処理を終える。
Thereafter, in step 1511, the transmission target
本実施例における、拠点ＢのＰＣ１２１が拠点Ａから送信されてきた送信画像を共有領域３２１に投影する処理のフローチャートについては、実施例１において説明した図１１に示すフローチャートと異ならないため説明を省略する。
The flowchart of the process of projecting the transmission image transmitted from the base A by the
＜実施例２の効果＞
以上説明したように、本実施例によれば、自拠点で情報入力ボードの盤面の記載内容を更新した際、更新された領域だけに限定して、画像の差分抽出等の解析や他拠点への送信を行う事ができる。
<Effect of Example 2>
As described above, according to the present embodiment, when the description content on the board of the information input board is updated at its own site, it is limited to only the updated area, and analysis such as image difference extraction or to other sites Can be sent.
実施例１及び２では、人物領域をカメラで撮像されて得られる画像によって判断したが、カメラの構成に複眼カメラ等を追加し、距離画像を生成して情報入力ボードの盤面より手前にある人物の移動から人物領域を判断しても良い。 In the first and second embodiments, the person area is determined by an image obtained by being captured by the camera. However, a compound eye camera or the like is added to the configuration of the camera, a distance image is generated, and the person in front of the board of the information input board The person area may be determined based on the movement of.
また、共有領域の分割については、本実施例の６４分割の他に、例えば左右に２分割、４分割といった分割や、全画素を個別の領域とした画素単位の分割や、或いは情報入力ボードの盤面に既に記載されている内容毎に個別に領域を分けるといった分割方法でも良い。 As for the division of the shared area, in addition to the 64 divisions of the present embodiment, for example, a division such as 2 divisions to the left and right, 4 divisions, division by pixel units in which all pixels are individual areas, or information input board A division method may be used in which areas are individually divided for each content already described on the board.
また、送信対象領域の導出の際、例えば、ユーザが情報入力ボードの盤面の前をただ横切る際にも、人物を検出して送信対象領域を特定してしまう可能性がある。そのため、現フレームの人物と１フレーム前の人物との移動距離が一定の閾値を超えた場合には、送信対象領域を特定しないとしても良い。 Further, when the transmission target area is derived, for example, even when the user just crosses the front of the information input board, there is a possibility that the transmission target area is detected and the transmission target area is specified. For this reason, when the moving distance between the person in the current frame and the person in the previous frame exceeds a certain threshold, the transmission target area may not be specified.
さらに、フレームレートが低く、フレーム前後で人物の位置が離れてしまう結果、記載内容が送信対象領域内に含まれない可能性がある。そこで、ユーザが単位時間（撮像間隔時間）で情報入力ボードの盤面に書き込むことができる線の長さを定義し、定義された線の長さに対する一定の割合だけ、送信対象領域を拡張しても良い。 Furthermore, as a result of the frame rate being low and the position of the person being separated before and after the frame, the description content may not be included in the transmission target area. Therefore, the length of the line that the user can write on the board of the information input board in unit time (imaging interval time) is defined, and the transmission target area is expanded by a certain ratio to the defined line length. Also good.
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (9)
情報入力ボードを撮像して撮像画像を取得する撮像処理手段と、
取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像よりも前に取得された過去の撮像画像とを比較して、当該人物が通過した領域を特定する特定手段と、
取得した撮像画像から前記特定された領域に相当する部分を抽出して、前記他拠点へ送信するための送信画像を生成する送信画像生成手段と
を備えたことを特徴とする装置。 It is a device for sharing information on the information input board between its own base and other bases where information input boards are installed,
Imaging processing means for imaging the information input board and obtaining a captured image;
When the acquired captured image includes a person's area, the specifying unit for comparing the captured image with a past captured image acquired before the captured image and specifying the area through which the person has passed;
An apparatus comprising: a transmission image generation unit configured to extract a portion corresponding to the specified region from the acquired captured image and generate a transmission image for transmission to the other site.
前記他拠点から受信した送信画像に基づいて、自拠点の情報入力ボード上に投影する投影処理手段をさらに備えたことを特徴とする請求項１に記載の装置。 Means for transmitting and receiving the transmission image to and from the other base;
The apparatus according to claim 1, further comprising projection processing means for projecting onto an information input board at the local site based on a transmission image received from the other site.
前記投影処理手段は、前記合成手段で合成された合成画像を前記投影している投影画像に代えて投影することを特徴とする請求項２又は請求項３に記載の装置。 Further comprising a combining means for combining the transmission image received from the other site and the projected image projected on the information input board of the own site;
The apparatus according to claim 2, wherein the projection processing unit projects the synthesized image synthesized by the synthesizing unit instead of the projected projection image.
前記送信画像生成手段は、取得した撮像画像から前記特定手段で特定された領域に相当する部分を抽出して第１の画像を生成し、前記背景画像から前記特定手段で特定された領域に相当する部分を抽出して第２の画像を生成し、当該第１の画像と当該第２の画像との差分を導出して、前記送信画像を生成することを特徴とする請求項１から請求項５のいずれか一項に記載の装置。 When the acquired captured image does not include a human region, the image capturing apparatus further includes background image generation means that uses the captured image as a background image,
The transmission image generating means generates a first image by extracting a portion corresponding to the area specified by the specifying means from the acquired captured image, and corresponds to the area specified by the specifying means from the background image 2. The transmission image is generated by extracting a portion to be generated to generate a second image, deriving a difference between the first image and the second image, and generating the transmission image. The apparatus according to any one of 5.
情報入力ボードを撮像して撮像画像を取得する撮像処理ステップと、
取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像よりも前に取得された過去の撮像画像とを比較して、当該人物が通過した領域を特定する特定ステップと、
取得した撮像画像から前記特定された領域に相当する部分を抽出して、前記他拠点へ送信するための送信画像を生成する送信画像生成ステップと
を備えることを特徴とする方法。 It is a method for sharing information on the information input board between the own base where the information input board is installed in each and the other bases,
An imaging process step of imaging the information input board to obtain a captured image;
When the acquired captured image includes a person's region, the captured image and a past captured image acquired before the captured image are compared, and a specifying step for specifying the region through which the person has passed
A transmission image generating step of extracting a portion corresponding to the specified region from the acquired captured image and generating a transmission image for transmission to the other site.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013257911A JP2015115857A (en) | 2013-12-13 | 2013-12-13 | Device, system, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013257911A JP2015115857A (en) | 2013-12-13 | 2013-12-13 | Device, system, method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015115857A true JP2015115857A (en) | 2015-06-22 |
Family
ID=53529263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013257911A Pending JP2015115857A (en) | 2013-12-13 | 2013-12-13 | Device, system, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015115857A (en) |
-
2013
- 2013-12-13 JP JP2013257911A patent/JP2015115857A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210337177A1 (en) | Image processing apparatus, image generating method, and storage medium | |
| JP6627861B2 (en) | Image processing system, image processing method, and program | |
| EP3460761A1 (en) | Image processing apparatus, image processing method, image processing system, and program | |
| JP5771981B2 (en) | Drawing image sharing apparatus, data processing method, program, and recording medium | |
| US8896692B2 (en) | Apparatus, system, and method of image processing, and recording medium storing image processing control program | |
| EP3506623B1 (en) | Image processing apparatus and method | |
| KR102382247B1 (en) | Image processing apparatus, image processing method, and computer program | |
| US10269155B1 (en) | Image artifact masking | |
| CN112243505A (en) | Information processing apparatus, information processing method, and program | |
| JP2013200735A (en) | Image generation device, image generation method, and program | |
| US20190005347A1 (en) | Information processing apparatus, program, and information processing method | |
| US11659134B2 (en) | Image processing apparatus and image processing method | |
| US20180220077A1 (en) | Information processing apparatus having camera function, display control method thereof, and storage medium | |
| JP2005332177A (en) | Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program | |
| JP2015115857A (en) | Device, system, method, and program | |
| KR101539038B1 (en) | Hole-filling method for depth map obtained from multiple depth camera | |
| CN110110614A (en) | A kind of gesture identifying device and method based on 3D camera | |
| JP2016042661A (en) | Information processing unit, system, information processing method, and program | |
| KR20170059310A (en) | Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image | |
| JP2015115856A (en) | Information processing system, control method of the same, information processor, and computer program | |
| JP2014174643A (en) | Image processing system, control method therefor, image processing device, and image processing method | |
| JP2011048545A (en) | Image synthesizing device and program | |
| JP6700804B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2015220660A (en) | Device, method and program for use for electronic conference | |
| JP2024000370A (en) | System and terminal device |