JP2010049636A - 情報処理装置、透過表示要素制御方法およびプログラム - Google Patents

Abstract

【課題】ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握可能とすることを課題とする。
【解決手段】ウィンドウの少なくとも一部が透過表示されて該ウィンドウに覆われた表示情報を視認可能とする透過ウィンドウを、ディスプレイ２における表示位置を特定するための表示位置情報と関連付けて表示させる透過表示要素表示部２１と、透過ウィンドウに覆われた表示情報を表示位置情報に基づいて取得する情報取得部２２と、複数の透過ウィンドウが重ねて表示される位置関係となったことを、表示位置情報を用いて検出する重畳検出部２７と、複数の透過ウィンドウの重畳が検出された場合に、情報取得部２２によって取得された表示情報を用いて所定の処理を実行する処理実行部２８と、を備える情報処理装置とした。
【選択図】図１

Description

本発明は、表示装置に接続された情報処理装置に関する。

従来、ウィンドウの背面色を透明にすることで、ウィンドウの背面にある画像を見えるようにする技術がある（特許文献１から４を参照）。また、操作対象ウィンドウ内で指示された位置座標を他のウィンドウへ発行する技術があり（特許文献５を参照）、透明のコントロールパネルを、カメラの撮影位置の変化に追従して移動させる技術がある（特許文献６を参照）。
特開平６−１２４１８３号公報 特開平１０−１１６１７４号公報 特開平６−５１７３８号公報 特開平４−０４５４８７号公報 特開２００６−２４４０７８号公報 特開平９−９１３７号公報

従来、所謂ウィンドウシステムを有するコンピュータによって表示されるウィンドウには、このウィンドウを用いて提供される機能を有するアプリケーションが関連付けられている。ここで、アプリケーションによっては、メインウィンドウの他にサブウィンドウを表示させ、このサブウィンドウを用いてメインウィンドウに関連付けられたアプリケーションを操作することが可能なものがある。しかし、これらのサブウィンドウは、ディスプレイに一度に表示可能な情報量に制約があることから、基本的には単にメインウィンドウのみでは表示しきれない情報やアイコン、ボタン類が表示されるのみのものであった。

即ち、従来複数のウィンドウを用いて提供されていた様々な機能は、単に情報を表示可能な領域の制限の問題に依るところが大きく、異なるウィンドウを用いてこの機能が提供されることの機能上の必然性はなかった。例えば検索等の所定の機能を提供する際に、このような機能がメインウィンドウ内で提供されるか、サブウィンドウを開いて提供されるかは、アプリケーションの設計上の問題であり、また、メインウィンドウで提供されるかまたはサブウィンドウで提供されるかを選択可能なアプリケーションにおいては、ユーザの嗜好の問題である。そして、このために、従来の情報処理装置では、サブウィンドウ等を用いて提供される機能とメインウィンドウ等に表示された情報との関係を、ユーザに視覚的に把握させることが出来ていなかった。

本発明は、上記した問題に鑑み、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握可能とすることを課題とする。

本発明は、上記した課題を解決するために、透過表示要素に覆われた領域の情報を取得し、この情報に基づいて所定の機能を提供することで、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握させることを可能にし、更に、複数の透過表示要素が重なったことを条件として所定の処理を実行することで、複数の透過表示要素の組み合わせを用いて、透過表示要素に覆われた表示情報に基づく複雑な機能を提供することを可能とした。

詳細には、本発明は、表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、情報処理装置であって、前記表示領域の一部に表示される表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、前記透過表示要素表示手段によって表示される複数の透過表示要素が、前記表示領域において重ねて表示される位置関係となったことを、夫々の透過表示要素に関連付けられた前記表示位置情報を用いて検出する重畳検出手段と、前記重畳検出手段によって、前記複数の透過表示要素が重ねて表示される位置関係となったことが検出された場合に、前記情報取得手段によって取得された、前記複数の透過表示要素のうちの少なくとも何れかに覆われた表示情報を用いて、所定の処理を実行する処理実行手段と、を備える、情報処理装置である。

本発明に係る情報処理装置は、表示装置に接続可能なコンピュータである。ここで、表示装置は、情報処理装置から出力された信号を受けて情報の表示を行うものであればよい。表示装置には、従来コンピュータ用のモニタとして用いられている液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等、２次元画像の表示を行う表示装置の他、３次元画像の表示を行うことでより立体的な表示を行うことが可能な表示装置が用いられてもよい。また、表示装置による表示領域としては、表示装置本体に設けられた表示領域の他、表示装置本体以外の構成が表示領域として用いられてもよい。例えば、表示装置本体以外に映像を投影するプロジェクタ等がこれにあたる。

本発明において、表示装置によって表示される表示情報には、文字やグラフィック等、情報処理装置によって表示可能な情報全般が含まれるものとする。そして、これらの情報を情報処理装置に接続された表示装置に表示させるにあたって、表示情報は、表示領域における表示位置を特定するための表示位置情報と関連付けられる。表示位置情報とは、例えば、マルチウィンドウシステムを備える情報処理装置においてウィンドウが表示される座標や、ウィンドウのサイズ等を示す情報、デスクトップやウィンドウ内に表示される各表示要素（文字、グラフィック等）の座標、サイズを示す情報、更には画素の座標を示す情報等である。但し、表示位置情報は、座標およびサイズ以外の情報、例えばベクトルやピクセル番号等で特定されてもよい。

本発明では、表示装置によって表示される様々な表示要素のうち、該表示要素に覆われた表示情報（換言すると、該表示要素の奥に重ねられた表示情報）を透過して視認可能な透過表示要素が用いられる。表示装置によって表示される表示要素としては、マルチウィンドウシステムを備えるコンピュータにおけるウィンドウの他、デスクトップガジェット、ウィジェット等と称されるものがあり、一般的には、マウスやキーボード等の入力装置を介して入力されたユーザの指示に従って再配置可能な表示要素である。

即ち、本発明に係る情報処理装置は、前記透過表示要素の表示位置を指示する入力を受け付ける入力受付手段を更に備えてもよく、前記透過表示要素表示手段は、前記入力受付手段によって受け付けられた指示に基づく表示位置に、前記透過表示要素を表示させてもよい。

透過表示要素は、従来コンピュータ用のモニタとして用いられている液晶ディスプレイやＣＲＴディスプレイ等、２次元画像の表示を行う表示装置では、実際には透過表示要素が表示される部分の色情報を、透過表示要素に覆われる部分（透過表示要素の背面にあた
る部分）の画像の色情報と合成して調整することで、ユーザから背面の画像があたかも透過しているかのように表示して、表示要素に覆われた部分を視認可能とするものである。但し、透過表示要素を表示する具体的な手法としては、このような現在一般的に用いられている色情報を調整する手法以外にも、３次元表示を行う方法や、透光性の表示膜に表示することで背面を視認可能にする方法等、様々な手法が採用されてよい。

また、本発明に係る透過表示要素は、上記例示したウィンドウやデスクトップガジェット等のように、所定の処理が実行されることによる所定の機能を提供するためのものである。透過表示要素によって提供される機能は、コンピュータによって提供可能な機能であれば特に制限されるものではない。透過表示要素によって提供される機能は、動画監視機能や検索機能、情報の編集機能、インターネットを介した通信を行って処理結果を受信／表示する機能等、様々な機能から採用することが出来る。

本発明は、このような透過表示要素に覆われた表示情報、即ち、ユーザから見てこの透過表示要素の下に透けて見える情報を取得して、透過表示要素によって提供される機能のために用いる点で特徴を有する。なお前記情報取得手段は、前記表示領域に表示された表示情報のうち、該表示情報に関連付けられた表示位置情報を用いて特定された表示位置が、前記透過表示要素に関連付けられた表示位置情報を用いて特定された表示位置に重なる表示情報を抽出することで、前記透過表示要素に覆われた表示情報を取得してもよい。

このような特徴を有することで、透過表示要素の奥に表示されているウィンドウ等に係るアプリケーションが本来備えない機能を、アプリケーションの改造や変更の必要なく、透過表示要素の機能によって簡易に追加することが可能である。更に、従来、このような透過要素を表示するための技術が、専らユーザの視認可能な情報量を高める目的や、美観を高める目的にのみ用いられていたのに対して、表示要素の少なくとも一部が透過するという特性を利用して、ユーザ操作によって所望の情報の上に透過表示要素を配置させ、情報を取得して所定の機能に利用させることが可能となる。なお、本発明を用いて追加される機能は、特定の機能に限定されるものではなく、情報処理装置を用いて実行される機能であれば、どのような機能であっても本発明の透過表示要素を用いて追加し得る。

ここで、本発明に係る情報処理装置は、表示領域に表示されている複数の透過表示要素が、重ねて表示される位置関係となったこと、即ち、２以上の透過表示要素が重なった状態で、これらの透過表示要素に覆われた部分の表示要素が透過表示処理によってユーザから視認可能な状態となっていることを検出する重畳検出手段を備える。これによって、所定の機能の提供のために所定の処理を実行する処理実行手段は、複数の透過表示要素が重ねて表示されたことを契機として、所定の処理を提供することが可能である。即ち、本発明によれば、複数の透過表示要素が表示領域上で重なったことを契機として、ユーザに透過表示要素に覆われた表示情報に基づく何らかの機能を提供することが出来る。

なお、ここで、前記処理実行手段は、前記情報取得手段によって取得された、前記複数の透過表示要素のうち２以上の透過表示要素に覆われた表示情報を用いて、所定の処理を実行してもよい。２以上の透過表示要素に覆われた表示情報を用いるようにすることで、複数の透過表示要素が重なった際に、この重なった部分の表示情報が用いられることとなり、ユーザに対して、視覚的により分かり易く、提供される所定の機能と表示されている情報との関係を把握させることが出来る。

また、前記処理実行手段によって提供される前記所定の機能は、重畳検出手段によって重畳が検出された複数の透過表示要素の組み合わせによって決定されてもよい。これによって、重ねられた透過表示要素の組み合わせごとに異なる機能を提供することが可能となり、より少ない開発工数で、情報処理装置にインストールされたアプリケーション等との
データの互換性等を気にすることなく、表示情報に基づく様々な機能を追加することが出来る。例えば、互いに異なる条件を満たした場合に機能が提供される透過表示要素Ａと透過表示要素Ｂとを表示領域の異なる表示位置に配置することで、透過表示要素Ｃが透過表示要素Ａに重なった場合に実行される処理の内容と、透過表示要素Ｃが透過表示要素Ｂに重なった場合に実行される処理の内容とを異ならせることができ、より柔軟性の高い機能を提供することが可能となる。

また、本発明に係る情報処理装置は、前記情報取得手段によって取得された表示情報に基づいて、前記重畳検出手段によって重ねて表示される位置関係となったことが検出された複数の透過表示要素のうちの少なくとも何れかに設定された処理実行条件が満たされたか否かを判定する判定手段を更に備え、前記処理実行手段は、前記重畳検出手段によって前記複数の透過表示要素が重ねて表示される位置関係となったことが検出され、更に、前記処理実行条件が満たされたと前記判定手段によって判定された場合に、前記所定の処理を実行してもよい。

これによって、単に透過表示要素が重なった場合に何らかの処理が実行されるのではなく、透過表示要素が重なった上で、透過表示要素に覆われた部分の表示情報が変化する等して処理実行条件が満たされた場合に、所定の処理が実行されるようにすることが出来、処理が実行されるための条件を柔軟に設定することが出来る。また、重ねられた透過表示要素の組み合わせごとに、所定の処理が実行される条件を異ならせることで、より複雑な機能を提供することが可能となる。

また、前記判定手段は、前記複数の透過表示要素に覆われた表示情報が変化したと判定された場合に、前記処理実行条件が満たされたと判定してもよい。なお、判定手段によって判定される変化は、文字やグラフィック等、情報処理装置によって表示可能な情報の何れの変化であってもよい。

ここで、前記情報取得手段は、前記透過表示要素に覆われた表示情報を定期的に取得し、前記判定手段は、前記情報取得手段によって取得された前記表示情報を、時系列に従って比較することで、前記透過表示要素に覆われた表示情報が変化したか否かを判定してもよい。透過表示要素によって覆われた部分の表示情報を定期的に取得して時系列で比較することで、透過表示要素に覆われた表示情報の変化を検出することが出来る。即ち、このような透過表示要素は、前記所定の処理の実行によって提供される機能として、表示情報の監視機能を提供する。例えば、動画等、時間の経過に従って表示内容が変化する表示情報が表示されている場合、このような表示情報が表示されている部分に本発明に係る透過表示要素を重ねることで、表示情報の内容の変化を監視することが出来る。

なお、表示情報の変化を判定するための具体的な方法として、前記判定手段は、前記比較の結果求められた変化量が、所定の基準以上である場合に、前記透過表示要素に覆われた表示情報が変化したと判定してもよい。ここで、変化量とは、取得された表示情報間での変化の度合いを示す情報であり、画像比較技術や情報比較技術を用いて算出された、複数の情報間の変化の度合いを示す情報であれば、本発明における変化量として採用することが出来る。

また、本発明に係る情報処理装置は、上記監視機能によって検知された表示情報の変化をユーザに通知するために、前記透過表示要素に覆われた表示情報が変化したと前記判定手段によって判定された場合に、前記透過表示要素の表示を変化させることで、表示情報の変化をユーザに通知する、表示内容変化手段を更に備えてもよい。

即ち、処理実行手段によって実行される所定の処理には、判定手段による検出の結果に
応じた透過表示要素の表示の変化が含まれてもよい。ここで、透過表示要素の表示の変化は、色の変化の他、形状、サイズの変化であってもよいし、透過表示要素内に新たに画像が表示／非表示される変化であってもよい。

また、本発明に係る情報処理装置は、前記判定手段によって、前記表示情報に前記所定の情報が含まれると判定された場合に、該所定の情報の表示位置を取得する表示位置取得手段を更に備え、前記表示内容変化手段は、前記透過表示要素のうち、前記表示位置取得手段によって取得された表示位置に対応する部分の表示を変化させてもよい。このようにすることで、透過表示要素に覆われた情報のうち、判定手段によって判定された所定の情報の表示位置をユーザに対して通知することが可能となる。

また、本発明に係る情報処理装置は、前記透過表示要素表示手段によって表示される複数の前記透過表示要素同士の、前記表示領域における相対的な表示位置を一定に保つ相対表示位置固定手段を更に備えてもよい。相対的な表示位置が固定されることで、相対表示位置固定手段によって相対表示位置が固定された透過表示要素のうち何れかの表示位置を移動した場合、これに伴って、相対表示位置が固定されたその他の透過表示要素の表示位置も更新される。即ち、本発明によれば、相対表示位置を固定した複数の透過表示要素の位置関係を保つことが可能となり、例えば、常に固定された位置関係で用いたい透過表示要素の表示位置を移動させる場合にも、個別に位置を調整する必要がなくなり、ユーザに煩雑な操作を要求する必要がなくなる。

また、前記相対表示位置固定手段は、前記重畳検出手段によって前記複数の透過表示要素が重ねて表示される位置関係となったことが検出された場合に、重ねて表示される前記透過表示要素同士の、前記表示領域における相対的な表示位置を一定に保ってもよい。このようにすることで、透過表示要素同士が一旦重畳されると、以降は何れかの透過表示要素の表示位置を変更するのみで、重畳された他の透過表示要素の表示位置も自動的に更新され、透過表示要素が重畳された状態を保つことが出来る。

また、前記透過表示要素表示手段によって表示される複数の前記透過表示要素は、重ねて表示される場合の位置合わせ用いられる位置合わせ部を有してもよい。透過表示要素がこのような位置合わせ部を有することで、透過表示要素を重ねて用いることが出来ることをユーザに視覚的かつ直感的に把握させることが可能となる。また、ユーザ操作によって実際に透過表示要素を重ねる際にも、位置合わせのための補助（ガイド）となり、ユーザが位置あわせの操作を行い易い。

更に、本発明は、コンピュータが実行する方法、又はコンピュータを上記各手段として機能させるためのプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

例えば、本発明は、表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、コンピュータが、前記表示領域の一部に表示される表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示ステップと、前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得ステップと、前記透過表示要素表示
ステップで表示される複数の透過表示要素が、前記表示領域において重ねて表示される位置関係となったことを、夫々の透過表示要素に関連付けられた前記表示位置情報を用いて検出する重畳検出ステップと、前記重畳検出ステップにおいて、前記複数の透過表示要素が重ねて表示される位置関係となったことが検出された場合に、前記情報取得ステップで取得された、前記複数の透過表示要素のうちの少なくとも何れかに覆われた表示情報を用いて、所定の処理を実行する処理実行ステップと、を実行する、透過表示要素制御方法であってもよい。

本発明によって、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握させることが可能となる。

本発明に係る情報処理装置、透過表示要素制御方法およびプログラムの実施の形態について、図面に基づいて説明する。

本実施形態に係る情報処理装置１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ等に展開された命令及びデータを処理することでシステム全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭにロードされる各種プログラム等システムによって使用される各種データが記憶されるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等を備えるコンピュータであり、情報処理装置１は、更に、表示装置としてのディスプレイ２、および入力装置としてのマウス３、キーボード４、動画を撮像して撮像した動画情報を情報処理装置１へ送信するカメラ５等に接続されている。カメラ５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ
Ｓｅｒｉａｌ Ｂｕｓ）等の周辺機器のためのインターフェースを介して接続されるものであってよいが、インターネット等のネットワークを介して接続された所謂Ｗｅｂカメラでもよい。

図１は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。本実施形態に係るコンピュータは、ＲＡＭ又はＲＯＭに展開された透過表示要素制御プログラムをＣＰＵが解釈及び実行することで、ディスプレイ２に透過ウィンドウを表示させる透過表示要素表示部２１と、透過ウィンドウに覆われた表示情報を取得する情報取得部２２と、透過ウィンドウの表示位置を指示する入力等ユーザからの各種入力を受け付ける入力受付部２３と、透過ウィンドウに設定された処理実行条件が満たされているか否かの判定を行う（より詳細には、動画監視のために情報取得部２２によって取得された画像の比較を行う）判定部２４と、判定部２４による判定の結果に従って透過ウィンドウの表示内容を変化させる表示内容変化部２５と、透過ウィンドウに覆われた所定の情報の表示位置を取得する表示位置取得部２６と、複数の透過ウィンドウが重ねて表示される位置関係となったことを検出する重畳検出部２７と、透過ウィンドウが重ねられた状態で判定部２４によって処理実行条件が満たされたと判定された場合に、透過ウィンドウに関連付けられた所定の処理を実行する処理実行部２８と、複数の透過ウィンドウの相対的な表示位置を一定に保つ相対表示位置固定部２９と、を備える情報処理装置１として機能する。

なお、本実施形態では、これらの各機能部は、透過表示要素制御プログラムに含まれる各ソフトウェアモジュールがＣＰＵによって実行されることで実現されているが、これらの各機能部は、専用のプロセッサ等によって実現されてもよい。また、本実施形態に係るコンピュータは、マルチウィンドウシステムを備えたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって管理され、上記透過表示要素制御プログラムは、このコンピュータに検索アプリケーションとしてインストールされている。

透過表示要素表示部２１は、透過表示要素制御プログラムの起動を受けて、ディスプレイ２に透過ウィンドウを表示させる。ここで、本実施形態に係る透過ウィンドウは、表示要素としてのウィンドウの一部または全部が透過表示されることで、本発明に係る透過表示要素として機能する。但し、本発明に係る透過表示要素は、何らかの機能を提供するためのユーザインターフェースとして表示されるものであればよく、通常ウィンドウと呼ばれるもの以外にも、所謂デスクトップガジェット、ウィジェットと称されるものであってもよい。なお、透過ウィンドウは、ＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）や、ＯＳにインストールされたプログラム実行環境（例えば、Ａｄｏｂｅ Ａｉｒ（登録商標）等）のＡＰＩを用いることで表示されてよい。

また、透過ウィンドウには、ＯＳやプログラム実行環境の機能を用いて表示される他のウィンドウと同様、ウィンドウを識別するための情報（本実施形態では「ウィンドウ識別子」と称する）が付され、このウィンドウの表示位置情報が、ウィンドウ識別子と関連付けられてＲＡＭまたはＨＤＤに保存される。即ち、本実施形態では、透過ウィンドウの表示位置は、ＯＳやプログラム実行環境によって管理される。但し、透過ウィンドウの表示位置は、透過ウィンドウを表示して検索機能を提供する検索アプリケーション自身によって管理されてもよい。

情報取得部２２は、ディスプレイ２に表示されている表示情報のうち、透過ウィンドウの透過部分に覆われた部分、即ち、ユーザから見て透過ウィンドウを介して透けて見える部分の情報を、設定された時間毎に定期的に取得する。ここで、情報取得部２２は、透過ウィンドウに覆われた部分の情報を、画像として取得してもよいし、画像として描画される前の情報として取得してもよい。上述したウィンドウの位置情報は、このような情報を取得する際に用いられる。情報を取得するより具体的な方法については、後述する。

図２は、本実施形態に係る透過ウィンドウを、店舗内における顧客の行動を把握する目的で用いる場合の制御処理の流れを示すフローチャートである。本フローチャートに示された処理は、ユーザによって、透過ウィンドウを用いたアプリケーションのアイコン等がクリックされることで、情報処理装置１のＯＳにこのアプリケーションの起動が指示されたことを契機として開始される。また、以下に説明する処理順序は一例であり、具体的な処理順序は、実施の形態に応じて適宜変更されてよい。

ステップＳ１０１では、透過ウィンドウが表示される。透過表示要素表示部２１は、ディスプレイ２の表示領域の一部領域を占めるように、透過ウィンドウを表示する。本実施形態におけるディスプレイ２は、２次元の画像を表示可能な表示領域に表示を行う表示装置であるため、透過表示要素表示部２１は、透過ウィンドウの透過部分が重なる部分の色情報を取得し、この色情報を調整することで、ユーザから見てウィンドウの一部が透過し、該部分に覆われた情報が透けて見えるような画像を、ディスプレイ２に表示させる。なお、ここで表示される透過ウィンドウの表示位置は、表示領域における表示位置を示す表示位置情報と関連付けられることで管理される。透過ウィンドウの表示位置情報は、ウィンドウを識別可能な識別子と関連付けられて、ＲＡＭまたはＨＤＤ等に記録される。

なお、本実施形態に係る透過ウィンドウは、情報処理装置１に接続されたカメラ５からの入力に基づく動画を再生するアプリケーションによって、再生動画が表示される領域に重ねて使用される。このため、透過ウィンドウが表示された後、ユーザは、マウス３等の入力装置を介して透過ウィンドウの表示位置を調整することで、透過ウィンドウを、動画が表示されている領域のうち、特に画像の変化を監視したい部分に重なる位置へ移動させることが出来る。透過ウィンドウの表示位置は、マウス３等の入力装置を介して入力受付部２３に入力されたユーザ操作に応じて変更されてもよいし、予め設定されたプログラム
に従って、自動的に変更されてもよい。このようにすることで、監視したい領域を柔軟に設定することが可能となり、また、時間帯ごとに透過ウィンドウによって監視される表示領域上の部分を変更することが可能となる。

ここで、透過表示要素表示部２１は、予め設定された設定内容またはユーザによる入力内容に従って、複数の透過ウィンドウを表示することが可能である。例えば、ユーザは、マウス３等の入力装置を介して新たな透過ウィンドウを表示するための指示を入力受付部２３に与えることで、所望の数の透過ウィンドウを表示させることが出来る。また、ステップＳ１０１において、透過ウィンドウは、ディスプレイ２の表示領域の予め設定された位置に表示されるが、透過ウィンドウの表示位置は変更可能である。透過ウィンドウの表示位置は、マウス３等の入力装置を介して入力受付部２３へ入力されたユーザ操作に応じて変更されてもよいし、予め設定されたプログラムに従って、自動的に変更されてもよい。このようにすることで、時間帯ごとに透過ウィンドウによって監視される表示領域上の部分をユーザの所望の位置へ自在に設定および変更することが可能となる。

また、透過表示要素表示部２１によって表示される複数の透過ウィンドウの夫々には、ウィンドウ毎に異なる機能が割り当てられている。図３は、本実施形態において、動画中に配置された透過ウィンドウの表示イメージを示す図である。ディスプレイ２には、カメラ５から入力された情報に従って再生される動画（本実施形態では、コンビニエンスストア等の店舗内における、商品が陳列されているエリアの様子を映す動画）を表示するための動画表示アプリケーション用ウィンドウ５１が表示され、更に、動画の表示領域のうち、変化があったことを検出したい領域を覆うように、複数の透過ウィンドウ５２ａ、５２ｂ、５２ｃ、５２ｄが表示されている。そのうち、動画表示アプリケーション用ウィンドウ５１において店舗の入り口付近が表示されている部分に配置されている透過ウィンドウ５２ａは、顧客の入店を検知するという処理実行条件と、顧客が入店したことを検知した場合に、検知された人物に重ねて表示される新たな透過ウィンドウ（以下、人物用透過ウィンドウ５２ｅと称する）を表示させる処理と、が割り当てられた入店検知用透過ウィンドウ５２ａである。

また、動画表示アプリケーション用ウィンドウ５１において商品棚が表示されている部分には、ユーザの所望の位置に、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄが表示される。これらの売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄには、夫々、配置された商品棚によって、異なる処理実行条件が設定されている。例えば、売り場用透過ウィンドウ５２ｂには、後述する人物用透過ウィンドウ５２ｅが重なった状態で商品が１０ｃｍ以上移動された際に検出を行う処理実行条件が設定されており、売り場用透過ウィンドウ５２ｃには、人物用透過ウィンドウ５２ｅが重なった状態で商品が２０ｃｍ以上移動された際に検出を行う処理実行条件が設定されており、売り場用透過ウィンドウ５２ｄには、人物用透過ウィンドウ５２ｅが重なった状態が１分間以上継続したことで検出を行う処理実行条件が設定されている。本実施形態では、これらの売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄには、処理実行条件として、透過ウィンドウが配置される箇所に映される商品の種類に応じてこれらの商品に関心を示した顧客がとるであろう行動（例えば、手に取る、立ち止まって眺める等）を検出可能な条件が設定されることが好ましい。

更に、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄには、上記処理実行条件が満たされた場合に実行される処理が、夫々について設定されている。本実施形態では、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄには、上記処理実行条件が満たされた場合に、重なった人物用透過ウィンドウ５２ｅに関連付けられた関心商品リストに、この売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄが配置された商品棚に並べられた商品を識別可能な情報を追加する。関心商品リストは、人物用透過ウィンドウ５２ｅが重ねられる顧客が、店舗内で関心を示した商品のリストである。関心商品リストは、商品を識別可能な情報
（商品コード等）をＲＡＭ等に記録する等して保持される。

このように透過ウィンドウを配置することで、本実施形態に係る透過ウィンドウは、カメラ５からの動画を表示するアプリケーションと組み合わせて、顧客行動を把握する用途のシステムとして用いることが出来る。即ち、カメラ５を設置して所定のエリアを撮像し、ディスプレイ２上の、扉の動きや人の出入り等があったことを検知したい箇所が表示されている部分に透過ウィンドウを重ねることで、検知を行いたい部分を自在且つ視覚的に把握可能に設定し、検知を行いたい領域において何らかの動きがあったことを検知することが出来る。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２およびステップＳ１０３では、店舗内へ顧客が入ったことが検出され、検出された人物に透過ウィンドウが重ねて表示される。情報処理装置１は、入店検知用透過ウィンドウ５２ａによって覆われた表示情報を定期的に取得し、表示情報の変化を検出することで、店舗内へ顧客が入ってきたことを検出する（ステップＳ１０２）。なお、この際、本実施形態では、入店してきた人物の頭部の表示位置が取得される。頭部の表示位置は、検出された表示情報の変化の内容から、人物の輪郭または各部位を推定し、このうち頭部に相当する位置を取得することで取得出来る。また、例えば黒髪の人物の頭部表示位置であれば、変化が検出された表示情報のうち、黒くて頭部に近い形状を有する部分を頭部と推定し、この表示位置を取得してもよい。透過ウィンドウによって覆われた表示情報の変化を検出するための具体的な処理の内容については、後述する。店舗内への顧客の入店が検出されると、透過表示要素表示部２１は、ステップＳ１０２で検出された人物の頭部の表示位置を中心とした、新たな透過ウィンドウ（人物用透過ウィンドウ５２ｅ）を表示する（ステップＳ１０３）。その後、処理はステップＳ１０４へ進む。

図４は、本実施形態において、動画中に配置された、人物用透過ウィンドウ５２ｅを含む透過ウィンドウの表示イメージを示す図である。ディスプレイ２には、カメラ５から入力された情報に従って再生される動画を表示するための動画表示アプリケーション用ウィンドウ５１が表示され、更に、動画の表示領域のうち、変化があったことを検出したい領域を覆うように、複数の透過ウィンドウ５２ａ、５２ｂ、５２ｃ、５２ｄが表示されている。ここで、透過ウィンドウ５２ａ、５２ｂ、５２ｃ、５２ｄについては、上記図３について説明した内容と概略同様であるため、説明を省略する。図４の表示イメージでは、更に、入店検知用透過ウィンドウ５２ａを用いて検出された人物に重ねて表示される人物用透過ウィンドウ５２ｅが表示されている。

ステップＳ１０４では、人物の移動に合わせて透過ウィンドウの表示位置が更新される。情報処理装置１は、ステップＳ１０３で新たに表示された人物用透過ウィンドウ５２ｅに覆われた表示情報から、人物の頭部の表示位置を定期的に取得し、取得された表示位置が、人物用透過ウィンドウ５２ｅの中心となるように、人物用透過ウィンドウ５２ｅの表示位置を更新する。このような処理が行われることによって、ディスプレイ２には、人物用透過ウィンドウ５２ｅが、重ねられた人物の移動に伴ってこの人物に常に重なるように移動して表示される。その後、処理はステップＳ１０５へ進む。

ステップＳ１０５では、人物用透過ウィンドウ５２ｅと、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄの何れかと、が重なったか否かが判定される。重畳検出部２７は、人物用透過ウィンドウ５２ｅに関連付けられた、人物用透過ウィンドウ５２ｅの表示位置情報と、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄの夫々に関連付けられた、各売り場用透過ウィンドウの表示位置情報とを比較し、ディスプレイ２の表示領域において重複する部分があるか否かを判定することで、人物用透過ウィンドウ５２ｅと、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄの何れかと、がディスプレイ２において重ねて表示される位置関係となっていることを検出する。透過ウィンドウの重畳が検出された場合、処
理はステップＳ１０６へ進む。透過ウィンドウの重畳が検出されない場合、処理はステップＳ１０４へ進む。即ち、ステップＳ１０４およびステップＳ１０５の処理は、透過ウィンドウの重畳が検出されるまで繰り返される。

ステップＳ１０６およびステップＳ１０７では、透過ウィンドウに覆われた部分の情報が取得され、人物用透過ウィンドウ５２ｅと重なった売り場用透過ウィンドウについて、売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄ毎に設定された処理実行条件が満たされたか否かが判定される。なお、本実施形態では、情報が取得される領域は、人物用透過ウィンドウ５２ｅと売り場用透過ウィンドウとが重畳された領域だが、実施の形態によっては、情報の取得範囲を、重畳に係る売り場用透過ウィンドウのみに覆われた領域としてもよい。ここで、処理実行条件には、先述の通り、人物用透過ウィンドウ５２ｅが重なった状態で、人物用透過ウィンドウ５２ｅが重なった売り場用透過ウィンドウに覆われた部分に表示されている商品が所定の距離以上移動されたことや、売り場用透過ウィンドウに人物用透過ウィンドウ５２ｅが重なった状態が所定時間以上継続したこと、等が挙げられる。

但し、これらの処理実行条件には、本発明に係る透過ウィンドウをどのような目的で用いるかによって、様々な条件が設定されてよい。例えば、透過ウィンドウ内に所定の文字列や記号が現れたことが条件に設定されてもよいし、透過ウィンドウ内において変化がない（表示されている物体の移動がない）ことが条件として設定されてもよい。処理実行条件には、透過ウィンドウ同士の関係、またはディスプレイ２への表示内容に基づく内容であれば、様々な条件を設定することが可能である。なお、本実施形態において、人物用透過ウィンドウ５２ｅが重なった売り場用透過ウィンドウに覆われた部分に表示されている商品が所定の距離以上移動されたことが処理実行条件として設定されている場合に、商品が移動したことを検出する処理については、後述する。処理実行条件が満たされたと判定された場合、処理はステップＳ１０８へ進む。処理実行条件が満たされていない場合、処理はステップＳ１０４へ進む。即ち、ステップＳ１０４からステップＳ１０７の処理は、処理実行条件が満たされるまで繰り返される。

ステップＳ１０８では、人物用透過ウィンドウ５２ｅと重なった売り場用透過ウィンドウについて、予め設定された所定の処理が実行される。本実施形態では、売り場用透過ウィンドウが配置された商品棚に並べられた商品を識別可能な情報を、この売り場用透過ウィンドウに重なった人物用透過ウィンドウ５２ｅに関連付けられた関心商品リストに追加する処理が実行される。その後、本フローチャートに示された処理は終了する。

その後、関心商品リストは、会計時にレジで入力された顧客層の分類（性別、年齢層を含む）と関連付けてＨＤＤ等に蓄積されることで、客層ごとに店舗内で関心を示す商品の把握や店内における行動パターンの把握に役立てることが出来る。但し、人物用透過ウィンドウ５２ｅと売り場用透過ウィンドウが重なり、処理実行条件が満たされたと判定された場合に、上記関心商品リストへの商品情報追加処理以外の処理が実行されてもよい。例えば、顧客が手にとって商品棚に戻さなかった商品の識別情報を、人物用透過ウィンドウ５２ｅに関連付けられた買い上げリストに追加して、最終的にレジで照合することで、店舗における防犯の向上に役立てることも可能である。

なお、本実施形態に係る透過ウィンドウは、顧客の行動把握以外の用途、例えば、工場等における作業手順管理や、部品棚の管理、商店等における商品棚の管理、在庫管理、防犯等、様々な用途に用いることが出来る。例えば、作業手順管理に用いる場合には、生産品の各作業位置および作業者に透過ウィンドウを重ね、予め定められた作業順序通りに、且つ各作業位置の透過ウィンドウにおいて移動した部品の点数や種類が正しいか否かを監視することで、作業手順を管理することが出来るし、部品棚の管理に用いる場合には、各
部品の収納位置に透過ウィンドウを重ね、予め定められた順序通りに透過ウィンドウにおける変化が検出され、且つ各収納位置の透過ウィンドウにおいて移動した部品の点数や種類が正しいか否かを監視することで、所定の順序通りに部品が使用されていることを管理することが出来る。また、本実施形態に係る透過ウィンドウは、動画以外の情報についても用いることが出来る。例えば、文字や静止画からなるドキュメントであっても、本実施形態に係る透過ウィンドウを用いることによって、更新状況を監視することが可能である。

また、判定部２４によって処理実行条件が満たされたと判定された場合に実行される処理の内容は、透過ウィンドウの組み合わせによって決定されてもよい。上記フローチャートの説明では、何れの透過ウィンドウについても、処理実行条件が満たされた場合に実行される処理は、関心商品リストへの商品識別情報追加処理であったが、人物用透過ウィンドウ５２ｅと重畳された売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄが何れであるかに応じて、処理実行条件が満たされた場合に実行される処理の内容が設定されていてもよい。例えば、人物用透過ウィンドウ５２ｅと重なった売り場用透過ウィンドウ５２ｂ、５２ｃ、５２ｄ毎に、処理実行条件が満たされた場合の処理を、関心商品リストへの情報追加処理または買い上げリストへの情報追加処理の何れかに設定することも可能である。透過ウィンドウの組み合わせに応じて実行される処理の内容は、ウィンドウ識別子の組み合わせと、処理内容を識別する情報とを関連付けてＲＡＭ等に保持し、処理実行時にこれを参照することで実現することが出来る。但し、具体的な実施方法は、このような例に限定されず、公知の様々な方法から、実施の形態に応じて適宜最適な方法を採用することで実施されてよい。

次に、本実施形態において、透過ウィンドウに覆われた表示情報の変化を検出する処理の詳細な流れを説明する。図５は、本実施形態に係る表示情報の変化を検出する処理の流れを説明するフローチャートである。本フローチャートに示された処理は、図２に示されたステップＳ１０２やステップＳ１０６、ステップＳ１０７において、人物の検出や商品が移動されたことの検出等、透過ウィンドウに覆われた表示情報の変化を検出する場合に実行される。また、以下に説明する処理順序は一例であり、具体的な処理順序は、実施の形態に応じて適宜変更されてよい。

ステップＳ２０１では、透過ウィンドウに覆われた部分の情報が取得される。具体的には、情報取得部２２は、ディスプレイ２に表示された表示情報のうち、検出を行いたい透過ウィンドウの表示位置に含まれる表示情報を抽出することで、透過ウィンドウに覆われた部分の情報を取得する。本実施形態では、カメラ５からの入力に従って表示される動画に透過ウィンドウを重ねることで店舗内の状況を把握するシステムであるため、表示情報は、画素の集合としての画像として取得される。但し、本発明に係る透過ウィンドウは動画以外の表示情報にも重ねて用いることが可能であり、表示情報は、画像として描画される前の情報、例えば描画用のベクトルデータやテキストコード等で取得されてもよい。

透過ウィンドウに覆われた部分の情報を画像として取得する場合には、情報取得部２２は、ディスプレイ２出力のために描画された画像情報から、透過ウィンドウの表示位置情報（座標やサイズ等）が示す領域に相当する部分を切り出すことで取得される。なお、画像として情報が取得された場合、取得された画像は、後述する検索処理を行う前に、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｇｉｏｎ）等で用いられる画像からの文字認識技術を用いて文字情報等へ変換されてもよい。また、文字認識技術を用いて文字情報への変換を行った場合、変換後の文字情報と、この文字情報に係る文字の画像が表示されている位置の位置情報とが関連付けられて保存される。

また、透過ウィンドウに覆われた部分の情報を描画前の情報として取得する場合には、
ＲＡＭまたはＨＤＤに保持された、各ウィンドウの表示位置情報やデスクトップまたはウィンドウ内における各要素の表示位置情報を用いて、表示情報の表示位置が特定され、そして、特定された表示位置が透過ウィンドウの表示位置に含まれる表示情報が取得される。例えば、あるウィンドウ内に表示された特定の要素の表示位置は、該当するウィンドウの表示位置情報と、このウィンドウ内における要素の表示位置情報とを、位置情報のフォーマットを合わせて合算することで、求めることが出来る。その他、表示位置情報を指定することで、該当箇所に表示されている情報を戻り値として返すアプリケーションであれば、このアプリケーションに係るウィンドウ内の表示情報は、該アプリケーションに位置情報を指定した問い合わせを行うことで取得されてもよい。情報取得部２２によって透過ウィンドウに覆われた部分の情報が取得されると、処理はステップＳ２０２へ進む。

ステップＳ２０２およびステップＳ２０３では、情報処理装置１に設けられた時計（図示は省略する）から時間情報を取得することで所定時間の経過が監視され、透過ウィンドウに覆われた部分の情報が取得される。例えば、時計から取得された基準となる時間情報と、その後取得された時間情報とを比較して経過時間を算出することで、所定時間の経過を監視することが出来る。その後、処理はステップＳ２０４へ進む。

ステップＳ２０４およびステップＳ２０５では、時系列に沿った画像の比較が行われ、所定以上の変化があったか否かが判定される。判定部２４は、直前に取得された表示情報としての画像と、更に以前に取得された表示情報としての画像とを比較し、画像間の変化量を取得する（ステップＳ２０４）。即ち、初回の比較では、ステップＳ２０１で取得された画像とステップＳ２０３で取得された画像とが比較され、以降は、繰り返し処理によって所定時間をおいてステップＳ２０３で取得された画像同士が比較される。ここで、画像間の変化量は、単純に画像の画素に係るパラメータ（色や輝度を示す情報）同士を比較して、画素情報の差分として算出されてもよいが、より高度な情報比較技術や画像比較技術を用いて、例えば２画像間で被写体が移動していることを検出し、被写体の移動量についても、変化量として取得することとしてもよい。変化量を取得するためには、従来用いられている様々な情報比較技術や画像比較技術を用いることが出来る。なお、監視される所定時間が短く設定されるほど、即座に文字列の検出を行うことが可能となるが、情報処理装置１に掛かる負荷は大きくなる。このため、監視される所定時間は、情報処理装置１の処理能力や負荷の状況に応じて適宜設定されることが好ましい。

変化量を算出するより具体的な手段としては、例えば、色重心の変化量を算出する手段を用いることが出来る。色重心の変化量の算出は、負荷が小さく、レスポンスも早いため、動画から取得された画像比較に適している。ここでは、取得された画像を３原色（赤、緑、青）に分離し、取得された画像内における各色の重心を求める。そして、比較対象となる複数の画像間でこの重心を比較することで、変化量を算出することが出来る。例えば、透過ウィンドウに覆われた部分に何らかの物が進入したり（肌色が進入した場合、３色のうち赤が大きく重心を変化させる）、透過ウィンドウに覆われた部分において何らかのものが移動したりした場合には、この重心が変化し、この変化の大きさを変化量として算出することが出来る。

更に、判定部２４は、このようにして取得された変化量を、予め設定された所定値と比較し、変化量がこの所定値以上であるか否かを判定することで、画像間で所定以上の変化があったか否か、即ち透過ウィンドウに覆われた表示情報が変化したか否かを判定する（ステップＳ２０５）。即ち、判定部２４は、ステップＳ２０４で取得された、画素情報の差分や画像間における被写体の移動量等の変化量を、予め設定された所定値と比較することで、画像に変化があったと判断できる程度の画素の変化や被写体の移動があったか否かを判定する。このようにして、変化があったと判定するための閾値を設けることで、カメラのブレなどによる微かな変化を誤検知しないようにすることが出来る。変化が所定の変
化量に達したと判定された場合、処理はステップＳ２０６へ進む。変化がなかったか、変化が所定の変化量に達しないと判定された場合、処理はステップＳ２０２へ進む。

ステップＳ２０６では、変化が検出されたことが通知される。判定部２４は、ステップＳ２０５において変化が所定の変化量に達したと判定されたことを処理実行部２８へ通知することで、変化が検出されたこと、即ち処理実行条件が満たされたことを通知する。その後、処理はステップＳ２０２へ進む。

即ち、本フローチャートに示された処理は、ステップＳ２０２からステップＳ２０６の処理を繰り返すことで、一定時間ごとに画像を取得し、透過ウィンドウに覆われた表示情報の監視を継続する。なお、監視される所定時間が短く設定されるほど、変化を即座に検出することが可能となるが、情報処理装置１に掛かる負荷は大きくなる。このため、監視される所定時間は、情報処理装置１の処理能力や負荷の状況に応じて適宜設定されることが好ましい。

上記説明した実施形態によれば、ウィンドウ等の表示要素を用いて提供される機能と、この機能を提供するための処理に用いられる表示情報との関係を、視覚的にユーザに把握させることが可能となる。また、従来、アプリケーションが備えない機能を用いるためには、アプリケーションに新たに機能を追加するか、これらの機能を既に備えたアプリケーションを導入する必要があったところ、本発明によれば、アプリケーション本体への機能追加や、新規アプリケーションの導入を行うことなく、検索や監視等の機能を提供することが可能である。

また、本実施形態に係る透過ウィンドウは、動画監視以外の用途にも用いることが出来る。例えば、本実施形態に係る透過ウィンドウは、検索処理に用いられてもよい。この場合、判定部２４は、ユーザによって設定された検索文字列を検索クエリに含む検索処理を行うことで取得された情報に、設定された検索文字列が含まれるか否かを判定する。そして、表示位置取得部２６は、取得された索出文字列の表示位置を取得する。例えば、検索に供された情報が文字認識技術を用いて文字情報化されたものである場合には、文字情報化の際に各文字情報に関連付けられた位置情報を用いて、索出された文字列の表示位置を取得することが出来る。また、検索に供された情報が、描画前の情報であった場合には、ステップＳ２０１における説明の通り、各文字情報の表示位置を特定することが可能であるため、索出文字列に含まれる各文字の位置情報に基づいて、索出された文字列の表示位置を取得することが出来る。

また、処理実行条件が満たされた場合、この条件に係る透過ウィンドウの強調表示が行われてもよい。例えば、表示内容変化部２５は、取得された索出文字列の表示位置情報に基づいて、透過ウィンドウにおける、該索出文字列に重なる部分を特定し、該当部分の色情報を変化させることで、索出文字列をユーザが発見し易いように強調表示する。ディスプレイ２には、文字列やグラフィックを含む各種表示情報が表示され、更に、透過ウィンドウが表示されている。そして、表示情報のうち、透過ウィンドウの透過部分が手前にある表示情報に含まれる索出文字列が強調表示されるように、透過ウィンドウの一部の色情報が調整される。透過ウィンドウのうち索出された文字列に重なる部分の色味を変え、透過する赤色や透過する黄色等、目立つ色とすることとしてもよいし、索出文字列を取り囲むような枠や、索出文字列に下線が付されたように見える位置に線を表示する等、その他の方法によって強調表示が行われてもよい。

なお、本実施形態では、単一の透過ウィンドウに、処理実行部２８による所定の処理が実行されるための条件を複数設定することとしてもよいが、個々に条件が設定された透過ウィンドウが重ねられることで、重複している領域においては、処理実行のための条件が
、重複した全てのウィンドウに設定された条件の論理積（ＡＮＤ条件）や論理和（ＯＲ条件）等で判断されることとしてもよい。このようにすることで、予めよく用いられる個々の条件が設定された透過ウィンドウの定義を作成しておき、これらの透過ウィンドウを重ねて用いることで、複雑な条件が必要となるたびに新たな条件を設定した透過ウィンドウを定義することなく、複雑な条件判断が必要となる機能追加を非常に容易に行うことが可能となる。

図６は、本実施形態において、異なる条件が設定されている売り場用透過ウィンドウが複数重ねて用いられている状態を示す図である。図６では、異なる処理実行条件が設定された透過ウィンドウが重ねられていることで、重ねられた領域では重なった夫々の透過ウィンドウに設定された処理実行条件が論理積で判断される。即ち、２つの売り場用透過ウィンドウ５２ｂ、５２ｄが重なった領域においては、人物用透過ウィンドウ５２ｅが重なり、更に両方の売り場用透過ウィンドウ５２ｂ、５２ｄの処理実行条件が満たされなければ、人物用透過ウィンドウ５２ｅの関心商品リスト追加処理が実行されない。なお、ここでは２つの透過ウィンドウが重ねて用いられる場合について説明したが、透過ウィンドウは、３枚以上が重畳されて用いられてもよい。

また、本実施形態では、このような透過ウィンドウを重ねることで条件判断を複雑化させる機能を備えることで、複数の透過ウィンドウの相対的な表示位置を調整する必要が生じる。そして、このために、一旦表示位置を調整して透過ウィンドウ同士の重なり具合を理想の状態とした場合であっても、重ねられた複数の透過ウィンドウのうち何れか一つでも表示位置を変更してしまえば、他のウィンドウについても再度位置合わせを行う必要性が生じてしまう虞がある。そこで、本実施形態に係る透過表示要素制御プログラムを実行する情報処理装置１は、透過ウィンドウ同士の表示位置を所定の関係に合わせる（例えば、完全に一致させる）ために、透過ウィンドウのロック機能を備える。なお、このような透過ウィンドウのロック機能は、形状や大きさが一致するウィンドウ同士のみに適用されるものではなく、形状や大きさが異なるウィンドウ間に適用されてもよい。

本実施形態では、ウィンドウの管理テーブルによって管理される、透過ウィンドウに割り振られたウィンドウ識別子等を関連付けることで、透過ウィンドウ同士が互いにロック対象であるか否かが判断されている。即ち、本実施形態において、相対表示位置固定部２９は、予めロック対象として関連付けられた透過ウィンドウ同士が重なった際に、重なったウィンドウ同士の相対的な表示位置の関係を固定する。相対表示位置固定部２９は、ウィンドウ同士が重なった際に、少なくとも一方の透過ウィンドウに関連付けられた表示位置情報の内容を、他方の透過ウィンドウに関連付けられた表示位置情報の内容に連係または従属させることで、重なったウィンドウ同士の相対的な表示位置の関係を固定する。

より具体的には、何れかの透過ウィンドウの表示位置が移動された場合に、固定対象の他の透過ウィンドウの表示位置も同距離、同方向に移動させるよう表示位置情報を更新する方法や、透過ウィンドウ間に主従関係を設定し、従たる透過ウィンドウに、表示位置情報として主たる透過ウィンドウとの相対的な位置情報を保持し、主たる透過ウィンドウの表示位置情報を参照することで、従たる透過ウィンドウの表示位置が決定される方法等がある。その他、ウィンドウ同士の相対的な位置関係を固定する方法には、実施の形態に応じて適宜様々な方法が採用されてよい。

また、本実施形態において、ロック機能によって互いにロックされる対象となる透過ウィンドウは、ウィンドウ同士が互いにロック可能であることを示すための形状やマーク等を有してもよい。図７は、本実施形態においてロック可能な透過ウィンドウ５２ｆ、５２ｇを示す図である。また、図８は、本実施形態においてロック可能な透過ウィンドウ５２ｆ、５２ｇの表示位置を移動させて、完全に重畳させた状態で互いに相対的な表示位置を
ロックする場合の表示内容の遷移を示す図である。透過ウィンドウには、互いに所定の位置で重ねあわされると表示位置が一致するか、または互いに所定の位置で重ねあわされると互いの形状を補完し合う形状を有する、位置合わせ用の表示（位置合わせ部）５３ｆ、５３ｇが設けられている。互いに重ねて利用されることが意図された透過ウィンドウが、このような形状の位置合わせ部５３ｆ、５３ｇを有することによって、これらの透過ウィンドウが重ねあわされて用いられることをユーザに直感的に把握させることが出来る。ユーザは、マウス等の入力装置を用いることでディスプレイ２に表示されている透過ウィンドウ５２ｆ、５２ｇの何れかをドラッグし、他方の透過ウィンドウと位置合わせ部５３ｆ、５３ｇを合わせるように移動させる。

また、複数の透過ウィンドウの表示位置を完全に一致させたい場合、マウス等の入力装置を用いて、複数の透過ウィンドウの表示位置をディスプレイ２のピクセル単位で完全に一致させるのは困難であり、また、透過ウィンドウの表示位置をディスプレイ２における座標等を用いて指定させることは、ユーザに煩雑な作業を行わせることとなる。このため、これらのウィンドウは、所定範囲以上重なるか、ウィンドウ同士の表示位置のずれが所定以下となると、自動的に所定の位置関係（上記位置合わせ部を有する透過ウィンドウ同士である場合には、位置合わせ部同士が合致する位置関係）に補正され、位置がロックされてもよい。

具体的には、透過表示要素制御プログラムを実行する情報処理装置１は、ウィンドウ識別子が関連付けられていることで、互いに重ねられることが意図されている複数の透過ウィンドウ同士の位置関係を監視し、監視の結果、透過ウィンドウ同士が所定以上近づいたことを検出する。透過ウィンドウ同士が所定以上近づいたことが検出されると、透過表示要素表示部２１は、近接した透過ウィンドウの何れか一つ以上の表示位置を、所定の位置関係（上記位置合わせ部を有する透過ウィンドウ同士である場合には、位置合わせ部同士が合致する位置関係）に更新する。これによって、ユーザは、透過ウィンドウ同士を、マウス等を用いて操作して所定の距離まで近づけると、透過ウィンドウ同士が吸い寄せられて所定の位置に収まるような操作感で容易にウィンドウの相互位置を正確な位置へ移動させ、ウィンドウ同士をロックさせる事が出来る。図８に示した例によれば、ユーザ操作によって図８の上図の状態まで透過ウィンドウ同士が近づくと、後は透過表示要素表示部２１による自動的な位置調整によって図８の下図の状態まで透過ウィンドウの表示位置が移動される。

なお、上記実施形態では、透過ウィンドウが重ねられた場合に、透過ウィンドウに設定された条件が論理積や論理和で判断されることについて説明したが、重ねられた透過ウィンドウが、何らかの入出力を伴う処理を実行するウィンドウであった場合、重ねられたウィンドウ同士で、データ（関数の引数にあたるパラメータ）の授受を行うこととしてもよい。このようなデータの授受機能を備えることで、夫々に個別の機能を備えた透過ウィンドウを重ね、ソフトウェアモジュールのように組み合わせて、複雑な機能を容易に且つ視覚的に把握可能に提供することが可能となる。

透過ウィンドウ同士でデータの授受を行う具体的な方法には、重複が検出された透過ウィンドウに関連づけられた機能同士で、メモリ上でデータの受け渡しを行う方法の他に、透過ウィンドウ内の表示情報を用いてデータの授受を行う方法が用いられてもよい。例えば、重ねられた２つの透過ウィンドウのうち、下に重ねられた透過ウィンドウに、この透過ウィンドウに覆われた表示情報の変化を検出するとこの透過ウィンドウ内に所定の記号（赤い丸等）の表示を行う機能が関連づけられ、上に重ねられた透過ウィンドウに、この透過ウィンドウに覆われた領域内に所定の記号が現れたことを検出すると所定の変数をインクリメントする機能が関連づけられる。夫々にこのような機能が関連づけられた透過ウィンドウを重ねることで、下に重ねられた透過ウィンドウが表示情報の変化を検出すると
、所定の記号の表示および検出を介して、上に重ねられた透過ウィンドウに、所定の変数をインクリメントさせることが出来る。なお、ここで、表示情報の変化を検出し、透過ウィンドウの表示を変化させたり、変数をインクリメントしたりするための具体的な処理の内容は、図２および図５のフローチャートを用いて説明した通りである。このようにして、夫々に機能が関連づけられた透過ウィンドウを重ねて互いにデータを授受させ、簡単な作業で複雑な機能を提供することが可能となる。授受されたデータは、個々の透過ウィンドウに関連づけられた機能（ソフトウェアモジュール）の実行に際して、参照される。

透過ウィンドウが、このようなデータの授受機能を備える場合、個々の透過ウィンドウ同士が、重ねられた場合にデータの授受を行うことが可能なウィンドウであるか否かをユーザに視覚的に把握させるための表示、換言すると、透過ウィンドウ同士の連携可能性をユーザに視覚的に把握させるための表示を有することが好ましい。図９は、データの授受を行うことが出来る透過ウィンドウの組み合わせに付されるマークの例を示す図である。図９に示すように、データの授受を行うことが出来る透過ウィンドウは、夫々に、重ねられると組み合わせてバランスの良いシンボルを構成するように設計されたマークを有する。また、このようなマークの色や形状に、データの授受に係る情報を示すための意味を持たせることも可能である。例えば、マークの色を用いてデータ型（例えば、文字型、数値型等がある）を示し、マークの形状を用いてデータの入力受付側であるか出力側であるかを示すことが出来る。

図１０は、透過ウィンドウ同士の連携可能性を示すためのマークの別の具体例を示す図である。図１０に示した例では、透過ウィンドウ同士の連携可能性は、矢印状マークの交差によって示される。即ち、矢印が交差するマークＡ、Ｃが付された透過ウィンドウは連携可能であり、矢印が交差しない（平行である）マークＡ、Ｂが付された透過ウィンドウは連携しない。また、マークの矢印の方向や長さは、ユーザがマウス等を用いて変更可能であってもよい。例えば、入力受付部２３によってマーク内の左下のクリックが受け付けられた場合には、表示内容変化部２５によって矢印の長さが変更され、入力受付部２３によってマーク内の右下のクリックが受け付けられた場合には、表示内容変化部２５によって矢印の方向が変更されることとすることが出来る。

また、透過ウィンドウに示されるマーク等は、非表示とすることが可能であってもよい。このようにすることで、透過ウィンドウの配置を行う場合にのみマークを表示させ、透過ウィンドウの配置終了後にはマークを非表示として透過ウィンドウに覆われた表示情報をマークに遮られること無く視認可能とすることが出来る。ここで、透過ウィンドウのマーク等の表示および非表示を切り替える方法は、実施の形態によって公知の様々な方法が採用されてよい。図１１および図１２は、透過ウィンドウのマークを所謂ジェスチャ操作によって表示または非表示する場合の操作方法を示す図である。入力受付部２３は、ユーザによって、マウス等を用いて、透過ウィンドウが表示されている領域内で、予め定められた軌跡を描くようなポインタ操作が行われたことを検出することで、マークの表示／非表示操作の入力を受け付ける。このような操作が受け付けられると、表示内容変化部２５は、マーク等を表示または非表示とする。図１１では、透過ウィンドウの右上コーナ（図中に破線を用いて示した軌跡）をなぞるようにポインタを動かすことでマークを表示させ、図１２では、透過ウィンドウの左下コーナ（図中に破線を用いて示した軌跡）をなぞるようにポインタを動かすことでマークを非表示とする例について示している。

また、透過ウィンドウに表示されるマーク等の表示位置は変更可能であってもよい。このようにすることで、マーク等を表示したままでも、透過ウィンドウに覆われた部分の表示情報を確認可能とすることが出来る。マークの表示位置の変更方法は、所謂ドラッグアンドドロップ操作であってもよいし、上述のマーク等表示／非表示操作にも用いられた所謂ジェスチャ操作であってもよい。例えば、入力受付部２３によって透過ウィンドウの右
上コーナをダブルクリックする操作が受け付けられると表示内容変化部２５によってマーク等が透過ウィンドウ上を右回りに移動するような表示が行われ、入力受付部２３によって透過ウィンドウの左下コーナをダブルクリックする操作が受け付けられると表示内容変化部２５によってマーク等が透過ウィンドウ上を左回りに移動するような表示が行われるようにしてもよい。

実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態に係る透過ウィンドウを、店舗内における顧客の行動を把握する目的で用いる場合の制御処理の流れを示すフローチャートである。 実施形態において、動画中に配置された透過ウィンドウの表示イメージを示す図である。 実施形態において、動画中に配置された、人物用透過ウィンドウを含む透過ウィンドウの表示イメージを示す図である。 実施形態に係る表示情報の変化を検出する処理の流れを説明するフローチャートである。 実施形態において、異なる条件が設定されている売り場用透過ウィンドウが複数重ねて用いられている状態を示す図である。 実施形態においてロック可能な透過ウィンドウを示す図である。 実施形態においてロック可能な透過ウィンドウの表示位置を移動させて、完全に重畳させた状態で互いに相対的な表示位置をロックする場合の表示内容の遷移を示す図である。 データの授受を行うことが出来る透過ウィンドウの組み合わせに付されるマークの例を示す図である。 透過ウィンドウ同士の連携可能性を示すためのマークの別の具体例を示す図である。 透過ウィンドウのマークを所謂ジェスチャ操作によって表示する場合の操作方法を示す図である。 透過ウィンドウのマークを所謂ジェスチャ操作によって非表示する場合の操作方法を示す図である。

符号の説明

１ 情報処理装置
２ ディスプレイ
５ カメラ
２１ 透過表示要素表示部
２２ 情報取得部
２４ 判定部
２７ 重畳検出部
２８ 処理実行部
２９ 相対表示位置固定部

Claims (13)

1. 表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、情報処理装置であって、
   前記表示領域の一部に表示される表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、
   前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、
   前記透過表示要素表示手段によって表示される複数の透過表示要素が、前記表示領域において重ねて表示される位置関係となったことを、夫々の透過表示要素に関連付けられた前記表示位置情報を用いて検出する重畳検出手段と、
   前記重畳検出手段によって、前記複数の透過表示要素が重ねて表示される位置関係となったことが検出された場合に、前記情報取得手段によって取得された、前記複数の透過表示要素のうちの少なくとも何れかに覆われた表示情報を用いて、所定の処理を実行する処理実行手段と、
   を備える、情報処理装置。
2. 前記処理実行手段によって提供される前記所定の処理は、重畳検出手段によって重畳が検出された複数の透過表示要素の組み合わせによって決定される、
   請求項１に記載の情報処理装置。
3. 前記情報取得手段によって取得された表示情報に基づいて、前記重畳検出手段によって重ねて表示される位置関係となったことが検出された複数の透過表示要素のうちの少なくとも何れかに設定された処理実行条件が満たされたか否かを判定する判定手段を更に備え、
   前記処理実行手段は、前記重畳検出手段によって前記複数の透過表示要素が重ねて表示される位置関係となったことが検出され、更に、前記処理実行条件が満たされたと前記判定手段によって判定された場合に、前記所定の処理を実行する、
   請求項１または２に記載の情報処理装置。
4. 前記判定手段は、前記複数の透過表示要素に覆われた表示情報が変化したと判定された場合に、前記処理実行条件が満たされたと判定する、
   請求項３に記載の情報処理装置。
5. 前記情報取得手段は、前記透過表示要素に覆われた表示情報を定期的に取得し、
   前記判定手段は、前記情報取得手段によって取得された前記表示情報を、時系列に従って比較することで、前記透過表示要素に覆われた表示情報が変化したか否かを判定する、
   請求項４に記載の情報処理装置。
6. 前記判定手段は、前記比較の結果求められた変化量が、所定の基準以上である場合に、前記透過表示要素に覆われた表示情報が変化したと判定する、
   請求項５に記載の情報処理装置。
7. 前記情報取得手段は、前記表示領域に表示された表示情報のうち、該表示情報に関連付けられた表示位置情報を用いて特定された表示位置が、前記透過表示要素に関連付けられた表示位置情報を用いて特定された表示位置に重なる表示情報を抽出することで、前記透過表示要素に覆われた表示情報を取得する、
   請求項１から６の何れか一項に記載の情報処理装置。
8. 前記処理実行手段は、前記情報取得手段によって取得された、前記複数の透過表示要素のうち２以上の透過表示要素に覆われた表示情報を用いて、所定の処理を実行する、
   請求項１から７の何れか一項に記載の情報処理装置。
9. 前記透過表示要素表示手段によって表示される複数の前記透過表示要素同士の、前記表示領域における相対的な表示位置を一定に保つ相対表示位置固定手段を更に備える、
   請求項１から８の何れか一項に記載の情報処理装置。
10. 前記相対表示位置固定手段は、前記重畳検出手段によって前記複数の透過表示要素が重ねて表示される位置関係となったことが検出された場合に、重ねて表示される前記透過表示要素同士の、前記表示領域における相対的な表示位置を一定に保つ、
    請求項９に記載の情報処理装置。
11. 前記透過表示要素表示手段によって表示される複数の前記透過表示要素は、重ねて表示される場合の位置合わせ用いられる位置合わせ部を有する、
    請求項１から１０の何れか一項に記載の情報処理装置。
12. 表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、コンピュータが、
    前記表示領域の一部に表示される表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示ステップと、
    前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得ステップと、
    前記透過表示要素表示ステップで表示される複数の透過表示要素が、前記表示領域において重ねて表示される位置関係となったことを、夫々の透過表示要素に関連付けられた前記表示位置情報を用いて検出する重畳検出ステップと、
    前記重畳検出ステップにおいて、前記複数の透過表示要素が重ねて表示される位置関係となったことが検出された場合に、前記情報取得ステップで取得された、前記複数の透過表示要素のうちの少なくとも何れかに覆われた表示情報を用いて、所定の処理を実行する処理実行ステップと、
    を実行する、透過表示要素制御方法。
13. 表示装置に接続され、該表示装置の表示領域における表示位置を特定するための表示位置情報と関連付けられた表示情報を該表示装置に表示させる、コンピュータを、
    前記表示領域の一部に表示される表示要素であって、該表示要素の少なくとも一部が透過表示されることで、該表示要素に覆われた表示情報を視認可能とする透過表示要素を、前記表示領域における表示位置を特定するための表示位置情報と関連付けて、該表示装置に表示させる透過表示要素表示手段と、
    前記表示領域に表示された表示情報のうち、前記透過表示要素に覆われた表示情報を、該情報の表示位置情報および前記透過表示要素の表示位置情報に基づいて取得する情報取得手段と、
    前記透過表示要素表示手段によって表示される複数の透過表示要素が、前記表示領域において重ねて表示される位置関係となったことを、夫々の透過表示要素に関連付けられた前記表示位置情報を用いて検出する重畳検出手段と、
    前記重畳検出手段によって、前記複数の透過表示要素が重ねて表示される位置関係とな
    ったことが検出された場合に、前記情報取得手段によって取得された、前記複数の透過表示要素のうちの少なくとも何れかに覆われた表示情報を用いて、所定の処理を実行する処理実行手段と、
    として機能させる、透過表示要素制御プログラム。

Images