JP2009266061A - 画像処理装置、画像処理方法および画像伝送システム - Google Patents

Abstract

【課題】ＰＣとプロジェクター間などで、リアルタイムでの画像伝送を行う上で、ユーザーが所望する切り出し範囲をすばやく的確に指定することができる画像処理装置、画像処理方法および画像伝送システムを提供することを目的とする。
【解決手段】ユーザーから画面の一部を指定して切り出すためのイベントが行われた際に、画面４０１の上に重ねて半透明のキャンバス４０２を表示させる。キャンバス４０２は下方の画面４０１を判別できる程度に半透明となっている。ここでユーザーはマウス１４０やタブレット１５０を用いて所望の範囲を囲うように自由線で描画入力を行う。ユーザーが描画を行ったときの軌跡４０５の縦方向、横方向の最小値と最大値によって規定される矩形の指定範囲４０６を算出する。
【選択図】図４

Description

本発明は表示手段に表示された画像の一部領域を切り出し、拡大表示、伝送等を行う画像処理装置、画像処理方法および画像伝送システムに関するものである。

近年、デジタル画像を用いた表示は企業および文教にて広く使われている。

特に文教においては、パーソナルコンピュータ（以下ＰＣと称する）に表示された画面をプロジェクタなどの表示デバイスに伝送し、大画面に投写表示することによる授業が盛んに行われている。

この際、ＰＣに表示された画面の一部のみを指定し、拡大して表示を行ったり、切り取って他のプロジェクタなどに伝送したりする手法が増えてきている。

従来、一部分を指定して表示を行う表示手段としては例えば特許文献１に記載されたものが知られている。

図６は、そのような従来の画像の一部領域を切り出す方法を説明する図である。

図において、表示画面６０１の所望する切り出し部分の左上に、マウスなどのポインティングデバイス（図示せず）を用いてカーソル６０２を移動させ、クリック操作を行い、ドラッグ操作により矢印のように右下へ移動させると、ドラッグ操作の動きに従って表示画面上に点線の矩形領域６０３が現れる。

所望の領域になった時点で再度クリック操作を行えば、切り出し領域が確定する。

その後、この領域を切り出し、拡大表示させたり、他の表示装置等に伝送したりすることができる。
特開昭６３−１６５９７２号公報

しかしながら上記従来の構成では、切り出し領域の確定までに（１）カーソルを移動、（２）クリック動作、（３）ドラッグ操作、（４）クリック動作、と多くの手順を要していた。

また、一意的に所望する範囲を指定できず、切り出し領域がずれてしまったり、不必要な範囲まで含んでしまったりすることもあり、ユーザーが所望する切り出し範囲と一致させるまでに時間を要していた。

また、近年、リアルタイムで画像伝送する画像伝送システムが使用されるようになってきており、このようなシステムでは、領域指定すると同時にその領域が伝送されてしまい、例えば、ＰＣからプロジェクタに送る場合などでは、実際に指定された領域が間違いだった場合、ユーザーが表示を望まない画像も伝送され投写表示されてしまう、という問題点を有していた。

本発明は、上記従来の課題を解決するもので、リアルタイムでの画像伝送を行う上で、ユーザーが所望する切り出し範囲をすばやく的確に指定することができる画像処理装置、画像処理方法および画像伝送システムを提供することを目的とする。

本発明の請求項１に記載の発明は、映像を出力する映像出力手段と、前記映像出力手段から出力された映像信号を取り込み、画像データを生成し表示する表示手段と、ユーザーがポインティングデバイスを用いて自由線で描画入力を行うユーザー描画手段と、前記ユーザー描画手段により自由描画された描画範囲の縦、横方向の共に最大の点と最小の点を含む範囲を指定する切り出し範囲指定手段と、前記表示手段により表示された画像から前記切り出し範囲指定手段により指定された範囲に含まれる画像を切り出す画像切り出し手段と、から構成される。

本発明の請求項２に記載の発明は、前記切り出し範囲指定手段は、自由描画された軌跡の横方向の最小座標値と最大座標値を縦線とし、縦方向の最小座標値と最大座標値を横線として形成される矩形を指定範囲とすることを特徴とする。

本発明の請求項３に記載の発明は、前記表示手段の表示画像に重畳させて、入力した描画を表示するための半透明のキャンバスを表示するキャンバス表示手段を備えたことを特徴とする。

本発明の請求項４に記載の発明は、前記キャンバス表示手段は、前記キャンバスと共に、ユーザーに描画を促す文言、またはイラストを表示させることを特徴とする。

本発明の請求項５に記載の発明は、前記画像切り出し手段により切り出された画像に符号化を行う画像符号化手段と、前記切り出し範囲指定手段により指定された範囲の情報から画像付加情報を作成する画像付加情報作成手段と、前記画像符号化手段により符号化された画像データと前記画像付加情報作成手段により作成された画像付加情報を送信する画像情報送信手段と、をさらに備えたことを特徴とする。

本発明の請求項１０に記載の発明は、請求項５記載の画像処理装置と、前記画像処理装置の前記画像情報送信手段により送信された画像情報を受信する画像情報受信手段と、前記画像情報受信手段により受信されたデータの中から画像付加情報を取り出し、解析を行う付加情報解析手段と、前記画像情報受信手段により受信されたデータの中から画像データを取り出し、復号を行う画像復号手段と、前記付加情報解析手段により出力された画像付加情報を用いて前記画像復号手段により出力された画像の拡大などの加工を行う画像加工手段と、前記画像加工手段により出力された画像の表示を行う表示手段と、を備える表示出力装置とから構成されることを特徴とする画像伝送システムである。

本発明によれば、すばやく的確に所望の領域を指定し切り出すことができ、リアルタイム画像伝送を行う際に、ユーザーが望まない画像を伝送してしまうこともなくなる。

以下、本発明の実施の形態について、図１から図４を用いて説明する。

（実施の形態１）
図１は本発明の一実施の形態における画像処理装置と表示出力装置のシステム構成のブロック図を示すものである。

本システムは画像処理装置１００と、表示出力装置２００からなる。まず、画像処理装置１００の構成について説明を行う。

装置内部に記憶され、画像出力手段１０１より出力される映像信号を、表示手段１０２にて取り込み、画像データを生成し表示する。

キャンバス表示手段１０３によりユーザーが描画を行うためのキャンバスを表示画像に重畳させて表示し、ユーザー描画手段１０４によりユーザーの描画情報を取得する。

このユーザーの描画情報を基に、切り出し範囲指定手段１０５は矩形範囲を算出し、情報を画像切り出し手段１０６と画像付加情報作成手段１０７へ送る。

画像切り出し手段１０６では、切り出し範囲指定手段１０５により指定された矩形の画像データの切り出しを行う。

画像付加情報作成手段１０７では、切り出された画像データに、拡大や縮小などの加工に必要な画像付加情報の作成を行う。

画像符号化手段１０８では、画像切り出し手段１０６により切り出された画像データの符号化を行い、データの軽減を行い、かつ、画像付加情報作成手段１０７により作成された画像付加情報と共に送信データとして画像情報送信手段１０９を介して表示出力装置２００へ伝送する。

表示出力装置２００では、まず、画像処理装置１００から送信された送信データを画像情報受信手段２０１により受信を行う。

付加情報解析手段２０２では受信した送信データから画像付加情報の解析を行い、画像データの加工や復号に必要な付加情報の解析を行う。

画像復号手段２０３では、送信データの復号化を行い画像データの取得を行う。

画像加工手段２０４では、画像付加情報より画像データに拡大、縮小などの加工処理を行い、表示手段２０５により表示を行う。

ここでは例として、画像処理装置１００をＰＣとし、表示出力装置２００をネットワーク機能搭載のプロジェクタとする。

なお、画像処理装置１００はＰＣ以外にもＴＶやＤＶＤプレーヤー等、画像処理を行う装置であれば何でも構わない。

また、表示出力装置２００はネットワーク機能を搭載しており、かつ、映像を表示できるものであればＰＣやＴＶ等何でも構わない。

次に、このときの画像処理装置１００のハードウェア構成を図２に示す。

ＣＰＵ１１０では、全体の制御、および、ユーザーからの入力の処理などを行う。

メモリ１２０は、ＣＰＵ１１０にて処理を行う際の演算の際に用いられる。

外部ＩＦ１３０では、マウス１４０とタブレット１５０からの入力をＣＰＵ１１０へ通知する役割を行う。

グラフィックデバイス１６０は内部に映像情報を保持するＶＲＡＭ１６１と画像演算用のＧＰＵ（Graphics Processing Unit）１６２を持ち、ここで作成された映像方法はディスプレイ１７０にて表示される。

ネットワークＩＦ１８０ではネットワークへのデータの送受信を行う。

なお、ネットワークには無線ＬＡＮ、有線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈなどが含まれる。

画像処理装置１００では、キャンバスの表示をＣＰＵ１１０からグラフィックデバイス１６０へ指示が行われ、ディスプレイ１７０にユーザーに描画を促すキャンバスが表示される。

この際、ユーザーはマウス１４０やタブレット１５０などのユーザーインターフェースを介して描画を行う。

なお、今回は例としてマウス１４０とタブレット１５０を例に挙げたが、タッチパネルや他のポインティングデバイスでも構わない。

グラフィックデバイス１６０内のＶＲＡＭ１６１から現在の映像を取り込み、メモリ１２０にて保持する。

描画を行った位置情報は、外部ＩＦ１３０を介してＣＰＵ１１０へ通知され、ＣＰＵ１１０にて指定範囲の算出を行い、メモリ１２０にて保持している画像データの中の映像から必要な指定された範囲の画像データの切り出し、ＣＰＵ１１０にて符号化を行い、指定された範囲や符号化にまつわる付加情報と共に、ネットワークＩＦ１８０にて表示出力装置２００に対して送信を行う。

次に表示出力装置２００のハードウェア構成を図３に示す。

画像処理装置１００からネットワークＩＦ１８０より送信された送信データをネットワークＩＦ２２０にて受信を行い、ＣＰＵ２１０にて復号、加工を行い、表示部駆動回路２３０から表示部２４０へ出力し、画像データの表示を行う。

この際、拡大処理を表示出力装置２００のＣＰＵ２１０にて行うことで、ネットワーク上のトラフィックの軽減を図っている。

なお、本実施の形態では画像拡大などの処理をＣＰＵ２１０にて行ったが、高速化を行うため専用のＧＰＵを用いても構わない。

図４（ａ）〜（ｃ）および図５のフローチャートを用いて、画像処理装置１００上に表示される画面イメージの説明を行う。

図４（ａ）は、通常の状態の表示画面を示す。このとき、ユーザーから画面の一部を指定して切り出すためのイベントが行われた際（Ｓ１）に、図４（ｂ）の表示が行われる。

ここで言うイベントとは、ある特定のキーが押された、アプリケーションのボタンが押された、などが当てはまる。

このとき、画面４０１の上に重ねて半透明のキャンバス４０２を表示させる。キャンバス４０２は下方の画面４０１を判別できる程度に半透明となっている。

半透明のキャンバス４０２が表示されることによってもユーザーは描画可能な状態を容易に判別することができるが、さらに、キャンバス４０２の上に、ユーザーに対して描画を促すための「拡大領域を指定してください」等の文言４０３やペン、描画線等のイラスト４０４を表示させる（Ｓ２）ようにしてもよい。

ここでユーザーはマウス１４０やタブレット１５０を用いて所望の範囲を囲うように自由線で描画入力を行う（Ｓ３）。ユーザーが入力し終わった画面を図４（ｃ）に示す。

ユーザーがマウス１４０やタブレット１５０を用いて描画を行ったときの軌跡４０５から、指定範囲４０６を算出する（Ｓ４）。

ここで、指定範囲４０６は、ユーザーの描画の軌跡４０５の縦方向、横方向の最小値と最大値によって規定される矩形である。

ここでは、軌跡４０５の横方向の最小座標値Ｘ１と最大座標値Ｘ２を縦線とし、縦方向の最小座標値Ｙ１と最大座標値Ｙ２を横線として、形成される矩形を指定範囲４０６としている。

なお、図４（ｃ）で入力された軌跡４０５は、略円形状に囲われた形状となっているが、このような形状でなければならないことはなく、例えば、傾斜させた直線であっても、上述の縦方向、横方向の最小値と最大値は規定することができるため、矩形の範囲とすることが可能である。

また、本実施の形態では、画面４０１の上に重ねて半透明のキャンバス４０２を表示させ、そこに描画するようにしたが、キャンバスを表示させることなく、直接画面４０１の上に描画するようにしてもよい。

このように、ユーザーが直感的で分かりやすく所望の領域をすばやく的確に指定することができ、ＰＣからプロジェクタにリアルタイムで画像を送る場合など、ユーザーが表示を望まない画像も伝送され投写表示されてしまう、ということも少なくなる。

本発明の画像処理装置、画像処理方法および画像伝送システムによれば、ユーザーが直感的に間違うことなく所望の領域を指定し切り出すことができるので、特に、リアルタイム画像伝送を行う画像処理装置および画像伝送システム等において有用である。

本発明の一実施の形態における画像処理装置と表示出力装置のシステム構成を示すブロック図 同実施の形態における画像処理装置のハードウェア構成図 同実施の形態における表示出力装置のハードウェア構成図 同実施の形態における画像処理装置の画面を示す図 同実施の形態における画像処理装置の動作を示すフローチャート 従来例の画像の一部領域を切り出す方法を説明する図

符号の説明

１００ 画像処理装置
１０１ 画像出力手段
１０２ 表示手段
１０３ キャンバス表示手段
１０４ ユーザー描画手段
１０５ 切り出し範囲指定手段
１０６ 画像切り出し手段
１０７ 画像付加情報作成手段
１０８ 画像符号化手段
１０９ 画像情報送信手段
２００ 表示出力装置
２０１ 画像情報受信手段
２０２ 付加情報解析手段
２０３ 画像復号手段
２０４ 画像加工手段
２０５ 表示手段
４０１ 画面
４０２ キャンバス
４０３ 文言
４０４ イラスト
４０５ 軌跡
４０６ 指定範囲

Claims (10)

1. 映像を出力する映像出力手段と、
   前記映像出力手段から出力された映像信号を取り込み、画像データを生成し表示する表示手段と、
   ユーザーがポインティングデバイスを用いて自由線で描画入力を行うユーザー描画手段と、
   前記ユーザー描画手段により自由描画された描画範囲の縦、横方向の共に最大の点と最小の点を含む範囲を指定する切り出し範囲指定手段と、
   前記表示手段により表示された画像から前記切り出し範囲指定手段により指定された範囲に含まれる画像を切り出す画像切り出し手段と、
   から構成されることを特徴とする画像処理装置。
2. 前記切り出し範囲指定手段は、自由描画された軌跡の横方向の最小座標値と最大座標値を縦線とし、縦方向の最小座標値と最大座標値を横線として形成される矩形を指定範囲とすることを特徴とする請求項１記載の画像処理装置。
3. 前記表示手段の表示画像に重畳させて、入力した描画を表示するための半透明のキャンバスを表示するキャンバス表示手段を備えたことを特徴とする請求項１記載の画像処理装置。
4. 前記キャンバス表示手段は、前記キャンバスと共に、ユーザーに描画を促す文言、またはイラストを表示させることを特徴とする請求項３記載の画像処理装置。
5. 前記画像切り出し手段により切り出された画像に符号化を行う画像符号化手段と、
   前記切り出し範囲指定手段により指定された範囲の情報から画像付加情報を作成する画像付加情報作成手段と、
   前記画像符号化手段により符号化された画像データと前記画像付加情報作成手段により作成された画像付加情報を送信する画像情報送信手段と、
   をさらに備えたことを特徴とする請求項１記載の画像処理装置。
6. 表示画面の一部を指定して切り出すためのイベントを発生させるステップと、
   ユーザーがポインティングデバイスを用いて自由線で描画入力を行うユーザー描画ステップと、
   前記ユーザー描画ステップにより自由描画された描画範囲の縦、横方向の共に最大の点と最小の点を含む範囲を指定する切り出し範囲指定ステップと、
   前記表示画面に表示された画像から前記切り出し範囲指定ステップにより指定された範囲に含まれる画像を切り出す画像切り出しステップと、
   からなることを特徴とする画像処理方法。
7. 前記切り出し範囲指定ステップは、自由描画された軌跡の横方向の最小座標値と最大座標値を縦線とし、縦方向の最小座標値と最大座標値を横線として形成される矩形を指定範囲とすることを特徴とする請求項６記載の画像処理方法。
8. 前記表示された画像に重畳させて、入力した描画を表示するための半透明のキャンバスを表示するキャンバス表示ステップを備えたことを特徴とする請求項６記載の画像処理方法。
9. 前記キャンバス表示ステップは、前記キャンバスと共に、ユーザーに描画を促す文言、またはイラストを表示させることを特徴とする請求項８記載の画像処理方法。
10. 請求項５記載の画像処理装置と、
    前記画像処理装置の画像情報送信手段により送信された画像情報を受信する画像情報受信手段と、
    前記画像情報受信手段により受信されたデータの中から画像付加情報を取り出し、解析を行う付加情報解析手段と、
    前記画像情報受信手段により受信されたデータの中から画像データを取り出し、復号を行う画像復号手段と、
    前記付加情報解析手段により出力された画像付加情報を用いて前記画像復号手段により出力された画像の拡大などの加工を行う画像加工手段と、
    前記画像加工手段により出力された画像の表示を行う表示手段と、
    を備える表示出力装置と、
    から構成されることを特徴とする画像伝送システム。

Images