JP2003259252A - 画像処理装置と画像処理方法および画像処理プログラム - Google Patents

画像処理装置と画像処理方法および画像処理プログラム

Info

Publication number
JP2003259252A
JP2003259252A JP2002058918A JP2002058918A JP2003259252A JP 2003259252 A JP2003259252 A JP 2003259252A JP 2002058918 A JP2002058918 A JP 2002058918A JP 2002058918 A JP2002058918 A JP 2002058918A JP 2003259252 A JP2003259252 A JP 2003259252A
Authority
JP
Japan
Prior art keywords
image
display
scene change
detected
display position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002058918A
Other languages
English (en)
Other versions
JP3832362B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Daisuke Kikuchi
大介 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002058918A priority Critical patent/JP3832362B2/ja
Publication of JP2003259252A publication Critical patent/JP2003259252A/ja
Application granted granted Critical
Publication of JP3832362B2 publication Critical patent/JP3832362B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Electric Information Into Light Information (AREA)

Abstract

(57)【要約】 【課題】表示画像の表示位置を画像の動きに応じて移動
させることにより臨場感の高い画像表示を可能としたと
きに、空間の切り替えを容易に識別可能とする。 【解決手段】シーンチェンジ検出部21は、入力画像信
号に基づく表示画像のシーンチェンジを検出する。動き
検出部22は、表示画像の動きベクトルを検出する。画
像位置移動部23は、表示画像の画像サイズよりも大き
い画像表示領域を設定して、この画像表示領域に対する
表示画像の表示位置を、動き検出部22で検出された動
きベクトルに応じて移動させる。シーンチェンジ検出部
21でシーンチェンジが検出されたとき、画像位置移動
部23は、表示画像の表示位置をシーンチェンジの検出
前の表示画像と関連性を有しない表示位置とすること
で、空間の切り替えを容易に識別可能とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、画像処理装置と
画像処理方法および画像処理プログラムに関する。詳し
くは、表示画像から画像の動きベクトルを検出して、こ
の動きベクトルに応じて表示位置を移動させる場合、シ
ーンチェンジが検出されたときには、表示画像の表示位
置を、シーンチェンジの検出前の表示画像と関連性を有
しない表示位置とすることで、シーンチェンジを容易に
判別可能とするものである。
【0002】
【従来の技術】従来、テレビジョン放送番組や映画等の
画像を表示する画像表示システムでは、テレビジョン装
置の表示画面やスクリーン等のように、1つの固定され
た画枠を用いて画像表示がなされている。また、放送番
組や映画等の画像コンテンツを制作する場合にも、この
ような固定画枠で画像表示を行うことを前提としてコン
テンツ制作が行われている。
【0003】さらに、近年では、臨場感を高めた画像表
示を行うために多画面表示システムや曲面ディスプレ
イ、広画角ディスプレイ、ヘッドマウントディスプレイ
等が実用化されている。しかし、このような多画面表示
システム等を用いる場合でも、このシステムで形成され
る画像表示領域を1つの固定画枠として用い、この固定
画枠に合わせた画像表示を行うことを前提としてコンテ
ンツ制作が行われている。
【0004】このように固定画枠に合わせて制作された
画像コンテンツにおいて、撮影時にカメラ動きを含んだ
画像などが含まれている場合、固定画枠で撮影画像を表
示すると共に、この撮影画像における背景の動きによっ
てカメラ動きを表現することが行われている。つまり、
視聴者は固定画枠内に表示された画像の背景が移動する
ことによって、その中の被写体が背景の動きと逆の方向
に動いていることを認識すると共に、視聴者はあたかも
自分が被写体の動きに合わせて向きを変えているような
感覚を得る。
【0005】これは、撮影された広い空間の画像を無理
やり固定画枠内の2次元平面に射影した結果であり、視
聴者は実際に動いていなくとも背景の動きによって感覚
的には動いた感じを受けるため、現実空間との不整合に
よる不自然さが付きまとう。このため、撮影画像に対し
て動き検出を行い、被写体の動きに合わせて表示位置を
移動させるものとして、現実空間との不整合を防止する
ことが例えば特開平10−301556号公報で開示さ
れている。
【0006】
【発明が解決しようとする課題】ところで、シーンチェ
ンジによって表示画像がある空間から別の空間へ切り替
えられるとき、例えば表示画像の空間が右前方から左前
方に切り替えられるとき、右前方の撮影画像を左前方の
撮影画像に切り替えることで、空間の移動が1つの固定
画枠内で行われる。このような場合、異なる2つの空間
を1つの共通の固定画枠で表示することから空間の位置
を表現という意味では不適当である。また、被写体の動
きに合わせて表示位置を移動させる場合にも、シーンチ
ェンジのように表示画像がある空間から別の空間に切り
替えられるときには、この表示画像の空間の切り替えを
容易に把握することができなければ、現実空間に関連付
けて空間の位置を表現することができない。
【0007】そこで、この発明では、表示画像の表示位
置を画像の動きに応じて移動させることにより臨場感の
高い画像表示を可能としたときに、空間の切り替えを容
易に識別可能とする画像処理装置と画像処理方法および
画像処理プログラムを提供するものである。
【0008】
【課題を解決するための手段】この発明に係る画像処理
装置は、入力画像信号に基づく表示画像の動きベクトル
を検出する動き検出手段と、前記表示画像のシーンチェ
ンジを検出するシーンチェンジ検出手段と、前記表示画
像の画像サイズよりも大きい画像表示領域を設定して、
該画像表示領域に対する前記表示画像の表示位置を、前
記動き検出手段で検出された動きベクトルに応じて移動
させる画像位置移動手段とを設け、前記画像移動手段で
は、前記シーンチェンジ検出手段でシーンチェンジが検
出されたときに、前記表示画像の表示位置を前記シーン
チェンジの検出前の表示画像と関連性を有しない表示位
置に設定するものである。
【0009】また、画像処理方法は、入力画像信号に基
づく表示画像の動きベクトルを検出し、前記表示画像の
シーンチェンジを検出し、前記表示画像の画像サイズよ
りも大きい画像表示領域を設定して、該画像表示領域に
対する前記表示画像の表示位置を、前記検出された動き
ベクトルに応じて移動させるものとし、前記シーンチェ
ンジが検出されたときには、前記表示画像の表示位置を
前記シーンチェンジの検出前の表示画像と関連性を有し
ない表示位置に設定するものである。
【0010】さらに画像処理プログラムは、コンピュー
タに、入力画像信号に基づく表示画像の動きベクトルを
検出する手順と、前記表示画像のシーンチェンジを検出
する手順と、前記表示画像の画像サイズよりも大きい画
像表示領域を設定して、該画像表示領域に対する前記表
示画像の表示位置を、前記検出された動きベクトルに応
じて移動させると共に、前記シーンチェンジが検出され
たときには、前記表示画像の表示位置を前記シーンチェ
ンジの検出前の表示画像と関連性を有しない表示位置に
設定する手順を実行させるものである。
【0011】この発明においては、入力画像信号に基づ
く表示画像の動き検出が行われて、表示面積の広い例え
ば背景画像の動きベクトルが検出される。また、表示画
像の2フレーム間の信号の差分平均値を表示画像の明る
さに応じて正規化した正規化値と閾値を比較して、ある
いは表示画像の2フレーム間の相関係数と閾値を比較し
て表示画像のシーンチェンジが検出される。さらに、表
示画像の画像サイズよりも大きい画像表示領域が設定さ
れて、この画像表示領域に対する表示画像の表示位置が
検出された動きベクトルに応じて移動させる。ここで、
シーンチェンジが検出されたときには、表示画像の表示
位置がシーンチェンジの検出前の表示画像と関連性を有
しない位置、すなわちシーンチェンジの検出前の表示画
像の表示位置から所定量離れた位置や、所定量離れた位
置であると共にシーンチェンジ検出前の表示画像の動き
ベクトル方向とは異なる位置に設定される。また、シー
ンチェンジが検出されたときに設定された表示位置は、
シーンチェンジが検出されたあとの表示画像の動きベク
トルに基づく表示位置の移動方向とは逆方向に移動され
る。
【0012】
【発明の実施の形態】以下、図を参照しながら、この発
明の実施の一形態について説明する。図1は、この発明
における画像処理装置を用いた表示システムの全体構成
を示している。この表示システムは、例えば3つのスク
リーンをユーザの前面と両側面側に配置している。ま
た、各スクリーン10L,10C,10Rに対応させてプ
ロジェクタ12L,12C,12Rを設けている。この各
プロジェクタ12L,12C,12Rを用いて画像を投影
することにより、3スクリーン分の広範囲の画枠を用い
て画像の表示が行われる。プロジェクタ12L,12C,
12Rは、画像処理装置20と接続されている。
【0013】画像処理装置20は、入力画像信号SDin
に基づいて画像の動きベクトルやシーンチェンジを検出
すると共に、検出した動きベクトルに応じて画像表示位
置が移動するように3つの画像信号SDL,SDC,SD
Rを生成して、画像信号SDLをプロジェクタ12L、画
像信号SDCをプロジェクタ12C、画像信号SDRをプ
ロジェクタ12Rに供給する。また、シーンチェンジを
検出したとき、画像処理装置20は、シーンチェンジ前
の連続シーンとは関連性を有しない表示位置に新たなシ
ーンの画像を表示する。
【0014】例えば、画像処理装置20に供給する入力
画像信号SDinは、図2Aに示すようにビデオカメラ1
00をパンニングさせて前方から左側に移動する被写体
OBaを撮影し、その後シーンの切り替えを行い、図2
Bに示す被写体OBbを撮影して得た画像信号であるも
のとする。
【0015】各スクリーンのサイズは例えばアスペクト
比が「4:3」で表示サイズが「720画素×480画
素」、入力画像信号SDinに基づく画像は、アスペクト
比が「16:9」や映画等で用いられているワイド画像
のアスペクト比で表示サイズが「720画素×270画
素」の場合を図3に示す。
【0016】画像処理装置20は、入力画像信号SDin
に基づき画像信号SDCを生成してプロジェクタ12Cに
供給し、図3Aに示すように前方のスクリーン10Cの
中央に入力画像信号SDinに基づく画像を表示させる。
その後、表示画像の動きベクトルに応じて入力画像信号
SDinに基づき例えば画像信号SDC,SDLを生成して
プロジェクタ12C,12Lに供給する。このとき、図3
Bに示すように前方のスクリーン10Cと左側のスクリ
ーン10Lを用いて、入力画像信号SDinに基づく画像
を、被写体の動きに合わせて前方から左側に移動させた
位置に表示させる。また、シーンチェンジを検出したと
き、画像処理装置20は、シーンチェンジ検出前の連続
シーンと関連性を有しない表示位置に新たなシーンの画
像を表示するよう入力画像信号SDinに基づいて画像信
号SDL,SDC,SDRを生成する。例えば、シーンチ
ェンジ検出前の連続シーンにおける動きが図3A,図3
Bで示したように前方から左方向に移動する場合、新た
なシーンの表示位置を連続シーンの表示位置と関連した
位置、すなわち連続シーンの表示位置である図3Bの表
示位置や、連続シーンにおける表示画像の移動方向であ
る図3Cの破線で示す位置とすると、連続シーンの動き
が停止あるいは動きがさらに続いているものと判断され
て、新たなシーンに切り替えられたことを判別しにく
い。このため、例えば入力画像信号SDinに基づき画像
信号SDCを生成してプロジェクタ12Cに供給し、図3
Cに示すように、シーンチェンジ検出前の連続シーンと
関連性を有しない表示位置である例えばスクリーン10
Cの中央に新たなシーンの画像を表示させる。
【0017】図4は、画像処理装置20の概略構成を示
している。画像処理装置20は、入力画像信号SDinを
シーンチェンジ検出部21と動き検出部22と画像位置
移動部23に供給する。
【0018】シーンチェンジ検出部21は、入力画像信
号SDinに基づいてシーンチェンジ検出、すなわち連続
シーンとこの連続シーンとは異なるシーンとの繋ぎ目部
分である画像の不連続位置を検出する。図5は、シーン
チェンジ検出部21の概略構成を示しており、例えば2
フレーム分の画像信号を用いて連続するシーンであるか
否かを検出するものである。
【0019】シーンチェンジ検出部21の遅延回路21
1は、入力画像信号SDinを1フレーム遅延させて遅延
画像信号SDaとして差分平均算出回路212に供給す
る。差分平均算出回路212は、入力画像信号SDinと
遅延画像信号SDaに基づき、2フレーム間の差分平均
値Davを算出して正規化回路214に供給する。この差
分平均値Davの算出は、各画素における2フレーム間の
輝度レベルの差分値を算出して、得られた差分値の平均
値を差分平均値Davとして正規化回路214に供給す
る。なお、1フレームの画像の画素数が「N」で、入力
画像信号SDinに基づく輝度レベルを「YC」、遅延画
像信号SDaに基づく輝度レベルを「YP」としたと
き、差分平均値Davは式(1)に基づいて算出できる。
【0020】
【数1】
【0021】ここで、差分平均値Davは、画像の輝度レ
ベルによって大きく変化する。例えば明るい画像の場
合、シーンの切り替えが行われなくとも画像の一部が暗
い画像に変化するだけで差分平均値Davが大きくなって
しまう。一方、暗い画像の場合、シーンの切り替えが行
われても輝度レベルの変化が小さいことから差分平均値
Davは大きくならない。このため、シーンチェンジ検出
部21に正規化回路214を設けるものとして、画像の
明るさに応じた差分平均値Davの正規化を行い、画像の
明るさの影響を少なくして正しくシーンチェンジ検出を
可能とする。
【0022】輝度平均算出回路213は、入力画像信号
SDinに基づき、各画素の輝度レベルに基づき1フレー
ムにおける輝度レベルの平均値を算出して輝度平均値Y
avとして正規化回路214に供給する。なお、上述のよ
うに1フレームの画像の画素数が「N」で入力画像信号
SDinに基づく画素の輝度レベルを「YC」としたと
き、輝度平均値Yavは式(2)に基づいて算出できる。
【0023】
【数2】
【0024】正規化回路214は、画像の明るさに応じ
た差分平均値Davの正規化を行う。すなわち、式(3)
に示すように、画像の明るさを示す輝度平均値Yavに応
じて差分平均値Davを補正して差分平均正規化値(以下
単に「正規化値」という)Eを生成する。 E=Dav/Yav ・・・(3) この正規化回路214で生成された正規化値Eは、判定
回路215に供給される。
【0025】判定回路215は、予め設定された閾値L
rを有しており、正規化値Eと閾値Lrを比較して、正規
化値Eが閾値Lr以下でないときにはシーンチェンジと
判定する。また、正規化値Eが閾値Lr以下であるとき
にはシーンチェンジでない連続シーンと判定する。さら
に、判定回路215は、この判定結果を示すシーンチェ
ンジ検出信号SCを生成して、図4の動き検出部22と
画像位置移動部23に供給する。
【0026】このように、正規化回路214は画像の明
るさに応じた差分平均値Davの正規化を行い、判定回路
215は正規化値Eを用いてシーンチェンジであるか連
続シーンであるかの判別を行うので、画像の明るさの影
響を少なくして正しくシーンチェンジを検出できる。
【0027】図6は、フレーム位置と正規化値Eの関係
を例示的に示したものである。ここで、閾値Lrが
「0.4」に設定されている場合、正規化値Eが「0.
4」を超えるフレーム位置をシーンチェンジ検出位置P
scとする。
【0028】ところで、上述のシーンチェンジ検出部2
1では、1フレーム内の全画素の信号を用いて、シーン
チェンジ検出を行うものとしたが、全画素の信号を用い
て差分平均値Davや輝度平均値Yavを算出すると、演算
処理に時間を要してしまう。また、演算処理に要する時
間を短くするために演算処理を高速化すると、演算処理
コストが膨大となってしまう。このため、画素の間引き
例えば図7に示すように1フレームの画像を8×4画素
の領域に区分して各領域から斜線で示すように1画素だ
けを選択することで画素の間引きを行い、選択された画
素の信号を用いて差分平均値Davや輝度平均値Yavを算
出する。このように、画素の間引きを行うものとすれ
ば、演算量が少なくなるので演算処理を簡単に行うこと
ができると共に、演算処理を高速に行う必要がなく演算
処理コストが膨大となってしまうことも防止できる。
【0029】また、上述のシーンチェンジ検出部21で
は、正規化値Eを用いてシーンチェンジ検出を行うもの
としたが、2フレーム間の画像の相関係数rを求めて、
この相関係数rと閾値を比較することで、精度良くシー
ンチェンジ検出を行うこともできる。図8は、相関係数
rを用いる場合のシーンチェンジ検出部の構成を示して
いる。遅延回路211は、入力画像信号SDinを1フレ
ーム遅延させて遅延画像信号SDaとして相関係数算出
回路216に供給する。相関係数算出回路216は、入
力画像信号SDinと遅延画像信号SDaに基づき、相関
係数rの算出を行う。
【0030】ここで、1フレームの画像の画素数を
「N」、最初のフレームの画像信号に基づく画素の輝度
レベルを「YF」、次のフレームの画像信号に基づく画
素の輝度レベルを「YS」、最初のフレームの画像信号
に基づく画素の輝度レベル平均を「YFav」、次のフレ
ームの画像信号に基づく画素の輝度レベル平均を「YS
av」としたとき、相関係数rは式(4)を用いて算出で
きる。
【0031】
【数3】
【0032】この相関係数算出回路216で算出された
相関係数rは、判定回路217に供給される。判定回路
217は、予め設定された閾値Lrを有しており、相関
係数rと閾値Lrを比較して、相関係数rが閾値Lr以下
であるときにはシーンチェンジと判定する。また、相関
係数rが閾値Lr以下でないときにはシーンチェンジで
ない連続シーンと判定する。さらに、判定回路217
は、この判定結果を示すシーンチェンジ検出信号SCを
生成して、図4の動き検出部22と画像位置移動部23
に供給する。なお、図9は、フレーム位置と相関係数r
の関係を例示的に示したものである。ここで、閾値Lr
が例えば「0.4」に設定されている場合、相関係数r
が「0.4」以下となるフレーム位置をシーンチェンジ
検出位置Pscとする。
【0033】動き検出部22は、シーンチェンジ検出部
21からのシーンチェンジ検出信号SCによって連続シ
ーンであることが示されたフレームに関して動きベクト
ルの検出を行い、表示面積の広い部分の動きベクトル例
えば背景部分の動きベクトルを検出する。図10は、動
き検出部22の構成を示しており、例えばブロックマッ
チング方法を用いて動きベクトルの検出を行う場合であ
る。
【0034】動き検出部22の遅延回路221は、入力
画像信号SDinを1フレーム遅延させて遅延画像信号S
Dbとして画像位置切替回路222に供給する。画像位
置切替回路222は、遅延画像信号SDbに基づく画像
の位置を、予め設定された動き探索範囲内で水平方向や
垂直方向に順次変更して新たな画像信号SDcを順次生
成する。この生成された画像信号SDCは、差分演算回
路223に供給される。また、画像位置切替回路222
は、画像の移動方向と移動量を示す動きベクトルMVを
最小値判定回路224に供給する。
【0035】差分演算回路223は、画像信号SDcと
入力画像信号SDinとの差分値DMを順次算出して、最
小値判定回路224に供給する。
【0036】最小値判定回路224は、差分値DMと、
この差分値DMの算出に用いた画像信号SDcを生成す
る際の動きベクトルMVとを関係付けて保持する。ま
た、画像位置切替回路222で動き探索範囲内での画像
の移動を完了したとき、最小値判定回路224は、保持
している差分値DMから最小値を判別して、この最小値
となる差分値DMと関係付けて保持されている動きベク
トルMVを、動き検出情報MVDとして図4の画像位置
移動部23に供給する。
【0037】ところで、シーンチェンジ検出信号SCに
よってシーンチェンジが検出されたことが示された後に
再度連続シーンであることが示された場合、シーンチェ
ンジ後の画像の移動方向は予測できない。このため、画
像位置切替回路222は、シーンチェンジ検出後の最初
の動きベクトルの検出時に、動き探索範囲を遅延画像信
号SDbに基づく画像の位置を中心として設定する。こ
のように動き探索範囲を設定すれば、シーンの切り替え
が生じた後でも正しく画像の動きベクトルを検出でき
る。
【0038】また、連続シーンでは画像の動きも連続し
ていることが多い。このため、最小値判定回路224
は、動き検出情報MVDを画像位置切替回路222にも
供給するものとし、画像位置切替回路222は、次に画
像の動きベクトルを判別する際の動き探索範囲の中心
を、動き検出情報MVDに基づいて設定する。このよう
に、画像の動きベクトルに応じて次に動きベクトルの検
出を行う際での動き探索範囲を設定すれば、動き探索範
囲をシーンチェンジ検出後の最初の動きベクトルの検出
時に比べて狭くしても、正しく画像の動きベクトルを検
出することが可能となり、動きベクトルの検出を効率よ
く速やかに行うことができる。
【0039】図4に示す画像位置移動部23は、表示画
像の画像サイズよりも大きい画像表示領域を設定して、
動き検出部22で検出された動きベクトルに応じて画像
の表示位置を移動させると共に、シーンチェンジ検出部
21でシーンチェンジが検出されたときには、表示画像
の表示位置をシーンチェンジの検出前の表示画像と関連
性を有しない表示位置とする。また、例えば上述のよう
に画像表示領域が3つの領域(スクリーン10L,10
C,10R)に区分されており、この3つの領域を使用し
て画像表示を行う場合、画像位置移動部23は、決定し
た表示位置に基づき画像表示領域に応じた画像信号SD
L,SDC,SDRを生成し、画像信号SDLをプロジェク
タ12L、画像信号SDCをプロジェクタ12C、画像信
号SDRをプロジェクタ12Rに供給することで、スクリ
ーン10L,10C,10Rを使用して画像表示を行う。
【0040】図11は、画像位置移動部23の構成を示
している。画像位置移動部23の画像位置決定回路23
1は、シーンチェンジ検出信号SCと動き検出情報MV
Dに基づき表示位置を決定して、この表示位置を示す位
置情報PDを書込読出制御回路232に供給する。ここ
で、シーンチェンジ検出信号SCによって連続シーンで
あることが示されたとき、画像位置決定回路231は、
前フレームの画像の表示位置に対して、動き検出情報M
VDで示された動きベクトルとは逆方向に動き量分だけ
表示位置を移動させる。このように、動き検出情報MV
Dで示された動きベクトルとは逆方向に動き量分だけ表
示位置を移動させると、動き検出部22によって動きベ
クトルが検出された表示面積の広い部分例えば背景画像
の位置が前フレームの画像と等しくなり、被写体を動き
に合わせて画像の表示位置を移動させることができる。
画像位置決定回路231は、このようにして決定した表
示位置を示す位置情報PDを書込読出制御回路232に
供給する。また、シーンチェンジ検出信号SCによって
シーンチェンジが検出されたことが示されたとき、画像
位置決定回路231は、入力画像信号SDinに基づく画
像を、シーンチェンジ検出前の連続シーンと関連性を有
しない位置に表示するように表示位置を決定して、この
表示位置を示す位置情報PDを書込読出制御回路232
に供給する。また、画像位置決定回路231は、入力画
像信号SDinに基づく画像を最初に表示する際に、最初
の画像を例えば画像表示領域の中央に表示するよう表示
位置を決定して、この表示位置を示す位置情報PDを書
込読出制御回路232に供給する。
【0041】ここで、位置情報PDに基づいて画像の表
示位置を切り換える場合、例えば上述のように画像表示
領域が3つの領域(スクリーン10L,10C,10R)
に区分されているときには、入力画像信号SDinと位置
情報PDに基づき、各領域に対して画像表示を行うため
の画像信号SDL,SDC,SDRを生成しなければなら
ない。このため、3つのスクリーン10L,10C,10
Rで構成される領域を画像表示表示領域として設定し
て、例えば画像表示領域に対応した記憶領域を有する画
像メモリ234を設けるものとする。また、書込読出制
御回路232は、画像メモリ234に入力画像信号SD
inを書き込む際の書込位置を、位置情報PDに基づいて
表示位置に対応させる。このように入力画像信号SDin
を書き込むものとすれば、スクリーンの領域に対応した
画像メモリ234の記憶領域の画像信号を用いること
で、画像信号SDL,SDC,SDRを容易に生成でき
る。
【0042】書込読出制御回路232は、画像メモリ2
34に画像信号の書き込むための書込制御信号WCと、
画像メモリ234に書き込まれている画像信号を読み出
すための読出制御信号RCを生成して、画像メモリ23
4に供給する。ここで、書込読出制御回路232は、上
述したように画像位置決定回路231で決定された表示
位置と対応する画像メモリ234の記憶領域の位置に画
像信号を記憶させるため、位置情報PDに基づいて書込
制御信号WCを生成する。
【0043】遅延回路233は、シーンチェンジ検出部
21と動き検出部22と画像位置決定回路231および
書込読出制御回路232での処理時間に応じて入力画像
信号SDinを遅延させることにより、入力画像信号SD
inに基づく画像とこの画像の位置情報PDに基づいて生
成した書込制御信号WCとのタイミング調整を行う。こ
の遅延回路233で遅延された入力画像信号SDinは、
画像信号SDdとして画像メモリ234に供給される。
【0044】画像メモリ234は、書込制御信号WCに
基づき、画像位置決定回路231で決定された表示位置
に対応する記憶領域に画像信号SDdを記憶する。な
お、画像信号SDdが記憶されていない領域には、例え
ば黒表示となる信号を記憶させる。また、画像メモリ2
34は、書込読出制御回路232からの読出制御信号R
Cに基づき、記憶領域に記憶されている画像信号を読み
出して画像信号SDeとして画像分割回路235に供給
する。
【0045】画像分割回路235は、画像信号SDeか
ら例えばスクリーン10Lに対応する記憶領域の信号を
用いて画像信号SDLを生成する。同様に、スクリーン
10C,10Rに対応する記憶領域の信号を用いて画像信
号SDC,SDRを生成する。このようにして生成した画
像信号SDLをプロジェクタ12L、画像信号SDCをプ
ロジェクタ12C、画像信号SDRをプロジェクタ12
Rにそれぞれ供給することにより、複数のスクリーンを
利用して1つ画像を表示できると共に、表示画像が複数
のスクリーンに跨るときには、表示画像がスクリーン毎
に分割されて表示される。また、画像信号SDdが記憶
されていない領域に黒表示となる信号を記憶させたとき
には、入力画像信号SDinに基づく画像の周囲が黒表示
となる。
【0046】なお、画像位置移動部23は、シーンチェ
ンジ検出信号SCと動き検出情報MVDに基づき表示位
置を決定して、この決定した表示位置に基づき画像表示
領域に応じた画像信号を生成するものであれば良く、画
像メモリ234に対する画像信号の書込位置を表示位置
に応じて制御するものに限られるものではない。例え
ば、画像信号を所定の位置に記憶させると共に、記録さ
れている信号の読出位置を表示位置に基づいて制御する
ことでも、画像信号SDL,SDC,SDRを生成でき
る。
【0047】次に、画像処理装置20の動作について図
12を用いて説明する。なお、説明を簡単とするため動
き検出情報MVDで示される動きベクトル方向の水平方
向成分についてのみ説明する。図12Aは入力画像信号
SDinに基づく画像であり、フレームF(1)〜フレーム
F(k)が連続フレームで、フレームF(k+1)から新たなシ
ーンとなる場合を示している。また、図12Cは画像メ
モリ234の記憶領域を示している。
【0048】最初のフレームF(1)の場合、画像位置決
定回路231は、表示位置を画像表示範囲の中央とする
ように位置情報PDを生成して書込読出制御回路232
に供給する。書込読出制御回路232は、位置情報PD
に基づき書込制御信号WCを生成して画像メモリ234
に供給し、画像表示範囲の中央と対応する画像メモリ2
34の領域AR1にフレームF(1)の画像信号を記憶させ
る。
【0049】次のフレームF(2)はフレームF(1)に連続
するフレームであることから、シーンチェンジ検出部2
1から出力されるシーンチェンジ検出信号SCは、連続
シーンであることを示すものとなる。このとき、動き検
出部22は、フレームF(1)とフレームF(2)の画像信号
を用いて全画面動き検出を行い、表示面積の広い部分で
ある例えば背景画像の動きベクトルを検出して、この検
出結果を示す動き検出情報MVDを画像位置決定回路2
31に供給する。この場合、動き検出情報MVDは、図
12Bの矢印Maで示すように、表示面積の広い部分で
ある背景画像の動きベクトルを示すものとなる。
【0050】画像位置決定回路231は、動き検出情報
MVDに基づき、背景画像の表示位置が前フレームと等
しくなるように位置情報PDを生成して書込読出制御回
路232に供給する。書込読出制御回路232は、位置
情報PDに基づき書込制御信号WCを生成して画像メモ
リ234に供給し、図12Cに示すように、前フレーム
の画像記憶位置から矢印Maと方向が逆であると共に同
じ動き量である矢印Mbの動きベクトル分だけ移動させ
た領域AR2に、フレームF(2)の画像信号を記憶させ
る。以下同様にして連続シーンの画像信号は、動き検出
部22での動き検出結果に基づいて移動された領域に記
憶させる。
【0051】入力画像信号SDinがフレームF(k)から
フレームF(k+1)となると、シーンチェンジ検出部21
は、フレームF(k)とフレームF(k+1)と画像信号を用い
て算出した正規化値Eや相関係数rに基づき、このシー
ンチェンジ位置を検出する。また、シーンチェンジ検出
部21から出力されるシーンチェンジ検出信号SCは、
シーンチェンジであることを示すものとなる。このと
き、画像位置決定回路231は、シーンチェンジ検出前
の連続シーンと関連を有しない位置に新たなシーンの画
像を表示するように表示位置を設定する。
【0052】ここで、画像位置決定回路231は、シー
ンチェンジが検出されるまでの連続フレームに対して表
示位置の決定を行っていることから、既に決定した表示
位置を参考として、シーンチェンジ検出前の連続シーン
と関連性を有しない位置を表示位置とする。例えば連続
フレームの最終画像の表示位置から所定量離れた位置、
あるいは最後の画像の表示位置が画像表示領域の中心か
ら離れているときには、画像表示領域の中心に表示位置
を設定する。また、連続フレームの画像の動き方向とは
逆方向に所定量だけ離した位置を表示位置とすることも
できる。このように、画像位置決定回路231は、シー
ンチェンジ検出前の連続シーンと関連性を有しない位置
を表示位置とした位置情報PDを生成して、書込読出制
御回路232に供給する。
【0053】書込読出制御回路232は、位置情報PD
に基づき書込制御信号WCを生成して画像メモリ234
に供給し、画像メモリ234の記憶領域における例えば
画像表示範囲の中央と対応する領域AR1にフレームF
(k+1)の画像信号を記憶させる。
【0054】また、書込読出制御回路232は、読出制
御信号RCを生成して画像メモリ234に供給すると共
に、画像メモリ234は記憶して画像信号を読出制御信
号RCに基づいて読み出して画像分割回路235に供給
する。画像分割回路235は、画像メモリ234の記憶
領域が画像表示領域に対応して設けられていることか
ら、スクリーン10Lと対応する記憶領域BALから読み
出した信号に基づいて画像信号SDLを生成する。また
スクリーン10Cと対応する記憶領域BACから読み出し
た信号に基づいて画像信号SDCを生成すると共に、ス
クリーン10Rと対応する記憶領域BARから読み出した
信号に基づいて画像信号SDRを生成する。なお、画像
の無い部分の信号レベルは上述のように黒表示として、
画像表示領域には、入力画像信号SDinに基づく画像の
みを表示させる。
【0055】なお、上述の説明は画像の動きベクトルが
左右方向である場合を示したが、動きベクトル方向が上
下方向の成分を有しているときには、画像メモリ234
に対する画像信号の書込位置を上下方向の画像の移動に
合わせて変更することで対応する。
【0056】このようにして生成した画像信号SDL,
SDC,SDRをプロジェクタ12L,12C,12Rに供
給することで、画像の表示位置が被写体の動きに応じて
移動される。また、シーンチェンジが検出されたとき、
シーンチェンジ検出前のシーンと関連性を有しない表示
位置にシーンチェンジ検出後の画像が表示されるので、
現実空間との不整合を少なくして、現実世界に忠実で臨
場感の高い画像表示を行ったときに、シーンの切り替え
が行われたことを容易に判別できる。
【0057】ところで、図1に示すように、画像表示領
域が視聴者の周囲全体に設けられていない場合、表示位
置を順次移動させていくと、表示画像が画像表示領域か
らはみ出してしまう場合が生ずる。このような場合、画
像位置決定回路231では、画像の動き量に係らず表示
位置の移動を制限する。例えば表示画像の位置が表示領
域の左側端部となったときには、左方向への表示位置の
移動を禁止する。また、上方向や下方向および右方向に
対しても表示画像の位置が表示領域の端部となったとき
には、表示位置の移動を禁止する。このように、表示画
像の位置が表示領域の端部となったときには、表示位置
の移動を禁止することで、表示画像が欠けてしまうこと
を防止できる。また、このような状態でシーンチェンジ
が検出されたときには、例えば画像の表示位置を画像表
示領域の中央に設定することで、シーンの切り替えが行
われたことを容易に判別できる。
【0058】さらに、上述の遅延回路233での遅延量
を更に1フレーム分以上多く遅延させるものとして、シ
ーンチェンジ後の新たなシーンの動き検出情報MVDに
基づいてシーンチェンジ後の表示位置を、新たなシーン
の動き検出情報MVDに基づく表示位置の移動方向とは
逆方向に移動させることにより画像表示領域を有効に活
用できる。例えば、シーンチェンジと判別された図12
AのフレームF(k+1)に対して次のフレームF(k+2)の
背景画像が右方向に移動する場合、フレームF(k+2)の
画像表示位置は左方向に移動する。このため、新たなシ
ーンであるフレームF(k+1)の画像の表示位置は、新た
なシーンの動き検出情報MVDに基づき、その後の表示
位置の移動方向を考慮して調整する。すなわち、シーン
チェンジ後の表示位置が設定されたとき、この表示位置
を次に移動させる方向とは逆方向である右方向にオフセ
ットさせる。例えば画像信号の記憶位置を図12Cに示
す容易に領域AR1から破線で示す領域ARofの位置に
オフセットさせる。このようにすれば、画像の移動方向
の画像表示領域を広くできるので、シーンの切り替えを
容易に判別できるだけでなく、画像表示領域を有効に活
用してシーンチェンジ後の画像の表示を行うことができ
る。
【0059】さらに、上述の処理はハードウェアだけで
なくソフトウェアで実現するものとしても良い。この場
合の構成を図13に示す。コンピュータは、図13に示
すようにCPU(Central Processing Unit)301を内
蔵しており、このCPU301にはバス320を介して
ROM302,RAM303,ハード・ディスク・ドラ
イブ304,入出力インタフェース305が接続されて
いる。さらに、入出力インタフェース305には入力部
311や記録媒体ドライブ312,通信部313,画像
信号入力部314,画像信号出力部315が接続されて
いる。
【0060】外部装置から命令が入力されたり、キーボ
ードやマウス等の操作手段あるいはマイク等の音声入力
手段等を用いて構成された入力部311から命令が入力
されると、この命令が入出力インタフェース305を介
してCPU301に供給される。
【0061】CPU301は、ROM302やRAM3
03あるいはハード・ディスク・ドライブ304に記憶
されているプログラムを実行して、供給された命令に応
じた処理を行う。さらに、ROM302やRAM303
あるいはハード・ディスク・ドライブ304には、上述
の画像処理装置と同様な処理をコンピュータで実行させ
るための画像処理プログラムを予め記憶させて、画像信
号入力部314に入力された入力画像信号SDinに基づ
き画像信号SDL,SDC,SDRを生成して、画像信号
出力部315から出力する。また、記録媒体に画像処理
プログラムを記録しておくものとし、記録媒体ドライブ
312によって、画像処理プログラムを記録媒体に記録
しあるいは記録媒体に記録されている画像処理プログラ
ムを読み出してコンピュータで実行するものとしても良
い。さらに、通信部313によって、伝送路を介した画
像処理プログラムの送信あるいは受信を行うものとし、
受信した画像処理プログラムをコンピュータで実行する
ものとしても良い。
【0062】図14は、画像処理プログラムの全体構成
を示すフローチャートである。ステップST1ではシー
ン判別を行う。図15は、このシーン判別動作を示すフ
ローチャートである。ステップST11では、フレーム
間の差分平均値Davと1フレームの輝度平均値Yavを算
出してステップST12に進む。
【0063】ステップST12は、輝度平均値Yavを用
いて差分平均値Davの正規化を行い正規化値Eを算出す
る。ステップST13は、正規化値Eと閾値Lrを比較
してシーンチェンジであるか否かを判別する。ここで、
正規化値Eが閾値Lr以下であるときにはステップST
14に進み、連続シーンと判別してシーン判別を終了す
る、また、正規化値Eが閾値Lrよりも大きいときには
ステップST15に進み、シーンチェンジであると判別
してシーン判別を終了する。
【0064】なお、シーン判別動作では、上述のように
相関係数rを算出して、この相関係数rと閾値Lrを比
較してシーンチェンジであるか否かを判別するものとし
ても良い。この場合、ステップST21とステップST
22の処理に替えて、上述の式(4)で示した相関係数
rの算出を行い、ステップST23では相関係数rが閾
値よりも小さくないときにはステップST24に進み連
続シーンと判別する。また相関係数rが閾値よりも小さ
いときにはステップST25にシーンチェンジであると
判別する。
【0065】図14のステップST2は、ステップST
1のシーン判別でのシーン判別結果がシーンチェンジで
あるか否かを判別する。ここで、シーンチェンジと判別
されたときにはステップST3に進み、シーンチェンジ
でない、すなわち連続シーンと判別されたときにはステ
ップST4に進む。
【0066】ステップST3は、新たなシーンの表示位
置設定を行う。この表示位置設定では、シーンチェンジ
検出前の連続シーンと関連性を有しない位置に新たなシ
ーンの画像を表示するように表示位置を設定してステッ
プST6に進む。ステップST4は、動き検出を行う。
この動き検出では、全画面動き検出を行い、表示面積の
広い部分の動きベクトルを検出してステップST5に進
む。
【0067】ステップST5は、ステップST4で検出
された動きベクトルに基づき画像の表示位置を移動させ
る。ここで、動きベクトルは表示面積の広い例えば背景
部分の動き方向と動き量を示している。このため、背景
部分の画像を固定して表示できるように、動きベクトル
とは逆方向であると共に等しい検出した動き量分だけ表
示位置を移動させてステップST6に進む。
【0068】ステップST6は、出力画像の分割処理を
行う。ここで、図1に示すように3つのスクリーンを1
つの画像表示領域として用いる場合、表示位置が移動さ
れて表示画像が複数のスクリーンに跨って表示される場
合でも、正しく画像を表示できるように、画像の分割を
行い、各スクリーンに応じた画像信号SDL,SDC,S
DRを生成する。このように入力画像信号SDinをコン
ピュータで処理して画像信号SDL,SDC,SDRを生
成するものとしても、同様の作用効果を得ることができ
る。
【0069】なお、上述の実施の形態におけるスクリー
ンやプロジェクタは例示的なものであり、表示画像サイ
ズよりも画像表示領域が大きければ、本願発明のように
現実世界に忠実で臨場感の高い画像表示が可能であると
共にシーンの切り替えを容易に識別できる。
【0070】また、映画館などでは、大型な表示系を設
備として導入することが可能であることから、臨場感を
一層高めた画像表示を行うことが可能であるが、このよ
うな場合にも上述のようにシーンチェンジ検出後の画像
表示位置を制御することでシーンの切り替えの識別を容
易とすることができる。
【0071】
【発明の効果】この発明によれば、シーンチェンジが検
出されたときには、表示画像の表示位置がシーンチェン
ジの検出前の表示画像と関連性を有しない表示位置とさ
れる。このため、シーンチェンジが行われたことを容易
に識別できる。
【0072】また、表示画像の2フレーム間の輝度レベ
ル差分値を前記表示画像の明るさに応じて正規化した正
規化値と閾値を比較してシーンチェンジの検出を行うこ
とで、表示画像の明るさの影響を受けることなくシーン
チェンジを検出できる。また、表示画像の2フレーム間
の相関係数と閾値を比較してシーンチェンジ検出を行う
ことで、精度良くシーンチェンジを検出できる。
【0073】また、シーンチェンジが検出されたときの
表示位置として、シーンチェンジ検出前の表示画像の表
示位置から所定量離れた位置、あるいは所定量離れた位
置であると共にシーンチェンジ検出前の表示画像の動き
ベクトルの動き方向とは異なる位置が設定される。この
ため、シーンチェンジが行われたことを容易かつ誤り無
く識別できる。
【0074】さらに、シーンチェンジが検出されたとき
に設定された表示位置は、シーンチェンジが検出された
あとの表示画像の動きベクトルに基づく表示位置の移動
方向とは逆方向に移動されるので、画像表示領域を有効
に利用して画像表示を行うことができる。
【図面の簡単な説明】
【図1】画像表示システムの構成を示す図である。
【図2】入力画像信号の生成動作を示す図である。
【図3】画像表示状態を示す図である。
【図4】画像処理装置の構成を示す図である。
【図5】シーンチェンジ検出部の構成を示す図である。
【図6】フレーム位置と正規化値の関係を示す図であ
る。
【図7】画素間引きを示す図である。
【図8】シーンチェンジ検出部の他の構成を示す図であ
る。
【図9】フレーム位置と相関係数の関係を示す図であ
る。
【図10】動き検出部の構成を示す図である。
【図11】画像位置移動部の構成を示す図である。
【図12】画像処理装置の動作を説明するための図であ
る。
【図13】コンピュータを用いたときの構成を示す図で
ある。
【図14】画像処理プログラムの全体構成を示すフロー
チャートである。
【図15】シーン判別の動作を示すフローチャートであ
る。
【符号の説明】
10L,10C,10R・・・スクリーン、12L,12
C,12R・・・プロジェクタ、20・・・画像処理装
置、21・・・シーンチェンジ検出部、22・・・動き
検出部、23・・・画像位置移動部、211,221,
233・・・遅延回路、212・・・差分平均算出回
路、213・・・輝度平均算出回路、214・・・正規
化回路、215,217・・・判定回路、216・・・
相関係数算出回路、222・・・画像位置切替回路、2
23・・・差分演算回路、224・・・最小値判定回
路、231・・・画像位置決定回路、232・・・書込
読出制御回路、234・・・画像メモリ、235・・・
画像分割回路、301・・・CPU、302・・・RO
M、303・・・RAM、314・・・画像信号入力
部、315・・・画像信号出力部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 入力画像信号に基づく表示画像の動きベ
    クトルを検出する動き検出手段と、 前記表示画像のシーンチェンジを検出するシーンチェン
    ジ検出手段と、 前記表示画像の画像サイズよりも大きい画像表示領域を
    設定して、該画像表示領域に対する前記表示画像の表示
    位置を、前記動き検出手段で検出された動きベクトルに
    応じて移動させる画像位置移動手段とを設け、 前記画像移動手段では、前記シーンチェンジ検出手段で
    シーンチェンジが検出されたときに、前記表示画像の表
    示位置を前記シーンチェンジの検出前の表示画像と関連
    性を有しない表示位置とすることを特徴とする画像処理
    装置。
  2. 【請求項2】 前記シーンチェンジ検出手段は、前記表
    示画像の2フレーム間の信号の差分平均値を前記表示画
    像の明るさに応じて正規化した正規化値を用いてシーン
    チェンジを検出することを特徴とする請求項1記載の画
    像処理装置。
  3. 【請求項3】 前記シーンチェンジ検出手段は、前記表
    示画像の2フレーム間の相関係数を用いてシーンチェン
    ジを検出することを特徴とする請求項1記載の画像処理
    装置。
  4. 【請求項4】 前記画像移動手段は、前記シーンチェン
    ジの検出前の表示画像と関連性を有しない表示位置とし
    て、前記表示画像の表示位置を前記シーンチェンジの検
    出前の表示位置から所定量離れた位置、あるいは該所定
    量離れた位置であると共に前記シーンチェンジの検出前
    の表示画像の動きベクトル方向とは異なる位置に設定す
    ることを特徴とする請求項1記載の画像処理装置。
  5. 【請求項5】 前記画像移動手段は、前記シーンチェン
    ジ検出手段でシーンチェンジが検出されたときに設定さ
    れた表示位置を、前記シーンチェンジ検出手段でシーン
    チェンジが検出されたあとに前記動き検出手段で検出さ
    れた動きベクトルに基づく表示位置の移動方向とは逆方
    向に移動させることを特徴とする請求項1記載の画像処
    理装置。
  6. 【請求項6】 入力画像信号に基づく表示画像の動きベ
    クトルを検出し、 前記表示画像のシーンチェンジを検出し、 前記表示画像の画像サイズよりも大きい画像表示領域を
    設定して、該画像表示領域に対する前記表示画像の表示
    位置を、前記検出された動きベクトルに応じて移動させ
    るものとし、 前記シーンチェンジが検出されたときには、前記表示画
    像の表示位置を前記シーンチェンジの検出前の表示画像
    と関連性を有しない表示位置とすることを特徴とする画
    像処理方法。
  7. 【請求項7】 前記シーンチェンジの検出は、前記表示
    画像の2フレーム間の信号の差分平均値を前記表示画像
    の明るさに応じて正規化した正規化値と閾値を比較して
    行うことを特徴とする請求項6記載の画像処理方法。
  8. 【請求項8】 前記シーンチェンジの検出は、前記表示
    画像の2フレーム間の相関係数と閾値を比較して行うこ
    とを特徴とする請求項6記載の画像処理方法。
  9. 【請求項9】 前記シーンチェンジの検出前の表示画像
    と関連性を有しない表示位置として、前記表示画像の表
    示位置を前記シーンチェンジの検出前の表示位置から所
    定量離れた位置、あるいは該所定量離れた位置であると
    共に前記シーンチェンジの検出前の表示画像の動きベク
    トル方向とは異なる位置に設定することを特徴とする請
    求項6記載の画像処理方法。
  10. 【請求項10】 前記シーンチェンジが検出されたとき
    に設定された表示位置を、前記シーンチェンジが検出さ
    れたあとの表示画像の動きベクトルに基づく表示位置の
    移動方向とは逆方向に移動させることを特徴とする請求
    項6記載の画像処理方法。
  11. 【請求項11】 コンピュータに、 入力画像信号に基づく表示画像の動きベクトルを検出す
    る手順と、 前記表示画像のシーンチェンジを検出する手順と、 前記表示画像の画像サイズよりも大きい画像表示領域を
    設定して、該画像表示領域に対する前記表示画像の表示
    位置を、前記検出された動きベクトルに応じて移動させ
    ると共に、前記シーンチェンジが検出されたときには、
    前記表示画像の表示位置を前記シーンチェンジの検出前
    の表示画像と関連性を有しない表示位置に設定する手順
    を実行させることを特徴とする画像処理プログラム。
JP2002058918A 2002-03-05 2002-03-05 画像処理装置と画像処理方法および画像処理プログラム Expired - Fee Related JP3832362B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002058918A JP3832362B2 (ja) 2002-03-05 2002-03-05 画像処理装置と画像処理方法および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002058918A JP3832362B2 (ja) 2002-03-05 2002-03-05 画像処理装置と画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2003259252A true JP2003259252A (ja) 2003-09-12
JP3832362B2 JP3832362B2 (ja) 2006-10-11

Family

ID=28668759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002058918A Expired - Fee Related JP3832362B2 (ja) 2002-03-05 2002-03-05 画像処理装置と画像処理方法および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP3832362B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271238A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
WO2017169726A1 (ja) * 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置および方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271238A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
WO2017169726A1 (ja) * 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置および方法
JPWO2017169726A1 (ja) * 2016-03-28 2019-02-07 ソニー株式会社 画像処理装置および方法
US10839553B2 (en) 2016-03-28 2020-11-17 Sony Corporation Image processing apparatus and method
JP6996493B2 (ja) 2016-03-28 2022-01-17 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
JP3832362B2 (ja) 2006-10-11

Similar Documents

Publication Publication Date Title
JP4420056B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
JP5683851B2 (ja) 撮像装置及び画像処理装置
CN101552890B (zh) 信息处理设备、信息处理方法
JP5087963B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラム
US10691012B2 (en) Image capturing apparatus, method of controlling image capturing apparatus, and non-transitory computer-readable storage medium
WO2011043248A1 (ja) 画像処理装置および方法、並びにプログラム
EP2425400B1 (en) Method of selecting an optimal viewing angle position for a camera
JP2013172446A (ja) 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
JP2009004885A (ja) 画像処理装置、画像処理方法、およびプログラム
EP4111699A1 (en) Systems and methods for adaptively modifying presentation of media content
KR101645427B1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
JP3832362B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム
JP4131113B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム
JP4924131B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
JP3982316B2 (ja) 画像処理装置と画像処理方法及び画像処理プログラム
JP4223762B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP2000184396A (ja) 映像処理装置及びその制御方法及び記憶媒体
JP3901023B2 (ja) 画像処理装置と画像処理方法及び画像処理プログラム
JP5646716B2 (ja) 映像表示装置及び映像表示方法
KR102455297B1 (ko) 수직선 벡터를 이용한 cctv 영상 보정 시스템과 이에 적용되는 장치 및 방법
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4687748B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP5398359B2 (ja) 情報処理装置、撮像装置及び制御方法
JP5076613B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム
JP2000295517A (ja) 被写体追尾装置、及びカメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050228

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060710

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees