JP2008152626A - Image generation apparatus and image generation system - Google Patents
Image generation apparatus and image generation system Download PDFInfo
- Publication number
- JP2008152626A JP2008152626A JP2006341288A JP2006341288A JP2008152626A JP 2008152626 A JP2008152626 A JP 2008152626A JP 2006341288 A JP2006341288 A JP 2006341288A JP 2006341288 A JP2006341288 A JP 2006341288A JP 2008152626 A JP2008152626 A JP 2008152626A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- image generation
- area
- virtual screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、マルチスクリーンに画像を表示する画像生成システム及びこのシステムに使用される画像生成装置に関する。 The present invention relates to an image generation system for displaying an image on a multi-screen and an image generation apparatus used in the system.
従来、マルチスクリーンに画像を表示することができる装置として、例えば特許文献1に開示されているようなものがある。特許文献1の技術によれば、2台の端末装置がそれぞれディスプレイを有し、2台の端末装置は、それぞれディスプレイに表示する実表示領域と、ディスプレイに表示されない仮想表示領域とを、それぞれ有し、一方の端末装置の仮想表示領域は、他方の端末装置の実表示領域に対応し、他方の端末装置の仮想表示領域は、一方の端末装置の実表示領域に対応している。一方の端末装置における仮想表示領域に画面が表示されたとき、一方の端末装置は、その仮想表示領域に対応する他方の端末装置に、画面表示を要求するともに、他方の端末装置は、この画面表示要求に基づいて画面を表示する構成を採用することによって、一方の端末装置に備えられたマウスを操作して、一方のディスプレイに表示されている画像を、両ディスプレイに跨って表示したり、他方のディスプレイに表示したりする。 Conventionally, as an apparatus capable of displaying an image on a multi-screen, for example, there is an apparatus disclosed in Patent Document 1. According to the technique of Patent Document 1, each of two terminal devices has a display, and each of the two terminal devices has an actual display area displayed on the display and a virtual display area not displayed on the display. The virtual display area of one terminal apparatus corresponds to the actual display area of the other terminal apparatus, and the virtual display area of the other terminal apparatus corresponds to the actual display area of the one terminal apparatus. When a screen is displayed in the virtual display area of one terminal device, one terminal device requests screen display from the other terminal device corresponding to the virtual display area, and the other terminal device By adopting a configuration that displays the screen based on the display request, the mouse provided in one terminal device is operated to display the image displayed on one display across both displays, Or display on the other display.
しかし、このように構成された装置では、予め定められた画像を、マウスの操作に応じて、一方のディスプレイに表示したり、両ディスプレイに跨って表示したり、他方のディスプレイに表示したりするためのものである。そのため、ディスプレイのサイズによっては、画像を拡大する必要が生じ、表示画像の劣化を招くことがあるし、異なるアスペクト比や解像度の異なる複数の表示手段を使用できない。さらに、変化する画像を表示するためには、各変化に対応した画像を予め準備しておいて、それらを順に切り換えねばならない。 However, in the apparatus configured as described above, a predetermined image is displayed on one display, displayed across both displays, or displayed on the other display according to the operation of the mouse. Is for. Therefore, depending on the size of the display, it may be necessary to enlarge the image, which may cause deterioration of the display image, and a plurality of display means having different aspect ratios and resolutions cannot be used. Furthermore, in order to display changing images, it is necessary to prepare images corresponding to each change in advance and switch them in order.
本発明は、上記の問題点を解決した画像生成装置及びこれら生成装置を使用した画像生成システムを提供することを目的とする。 An object of the present invention is to provide an image generation apparatus that solves the above-described problems and an image generation system that uses these generation apparatuses.
本発明の一態様による画像生成装置は、表示画面に画像を表示する表示手段を有している。表示画面の大きさは、任意である。更に、この表示手段の表示画面よりも大きい領域を有している仮想画面領域も有している。例えば表示手段の表示画面が横のピクセル数をX、縦のピクセル数をYとするX*Yピクセルの大きさの場合、仮想画面領域は、横のピクセル数がXよりも大きいX1であり、縦のピクセル数は、YまたはY以上の数である。この仮想画面領域のうち前記表示手段の表示画面に割り当てられた領域の内容を出力手段が前記表示手段に出力する。前記仮想画面領域に、予め設定された描画パラメータに従って画像書き込み手段が、画像を書き込む。 An image generation apparatus according to an aspect of the present invention includes display means for displaying an image on a display screen. The size of the display screen is arbitrary. Furthermore, it also has a virtual screen area having a larger area than the display screen of this display means. For example, when the display screen of the display means has a size of X * Y pixels where X is the number of horizontal pixels and Y is the number of vertical pixels, the virtual screen area is X1 where the number of horizontal pixels is larger than X. The number of vertical pixels is Y or more than Y. The output means outputs the contents of the area allocated to the display screen of the display means in the virtual screen area to the display means. The image writing means writes an image in the virtual screen area according to preset drawing parameters.
画像書き込み手段は、例えば予め準備された素材、例えば静止画に描画パラメータに従って効果を付加するものとすることができる。効果としては、例えば静止画中の特定の領域にあるオブジェクトを拡大縮小したり、移動させたり、オブジェクトを立体化したり等種々のものがある。描画パラメータは、これに拡大縮小の率を指定したり、その拡大縮小の速度を指定したり、移動の開始位置、移動終了位置、移動速度等を指定したり、オブジェクトを立体化する際の視点を指定したり、光源の位置を指定したりする。このように画像書き込み手段は、描画パラメータに従って前記仮想画面領域に書き込まれる画像を変化させることができ、この変化は、所定フレームごと、例えば1フレームごとに行って動画を作成することができる。なお、描画パラメータは、他の画像生成装置と共通に使用することができる。 The image writing means can add an effect to a previously prepared material, for example, a still image according to the drawing parameters. For example, there are various effects such as enlarging / reducing an object in a specific area in a still image, moving the object, and making the object three-dimensional. For drawing parameters, specify the scaling ratio, specify the scaling speed, specify the movement start position, movement end position, movement speed, etc., and the viewpoint when the object is three-dimensionalized Or specify the position of the light source. In this way, the image writing means can change the image written in the virtual screen area in accordance with the drawing parameters, and this change can be performed every predetermined frame, for example, every frame to create a moving image. The drawing parameters can be used in common with other image generation apparatuses.
本発明の画像生成システムは、上述した複数の画像生成装置をネットワークを介して接続し、前記画像パラメータが前記ネットワークを介して特定の前記画像生成装置から、他の全ての前記画像生成装置に伝送される。即ち、複数の画像生成装置の描画パラメータは、共通するものである。この場合、各画像生成装置は、同じ大きさの仮想画面領域を有し、その仮想画面領域の大きさは、各表示装置の表示領域の合計表示領域以上の大きさで、各画像生成装置に共通である。使用される複数台の表示装置の表示領域の水平方向の画素数の合計数以上の合計数の画素数を有し、使用される複数台の表示装置の表示領域のうち垂直方向の最大の画素数以上の垂直方向の画素数を有することが、仮想画面領域には望ましい。この仮想画面領域は、各表示手段の表示領域の大きさに対応して切り出され、対応する表示手段に出力されることが望ましい。仮想画面領域に書き込まれる画像は、供給されたデータに基づいて生成されたものとすることが望ましい。 The image generation system of the present invention connects the plurality of image generation apparatuses described above via a network, and the image parameters are transmitted from the specific image generation apparatus to all other image generation apparatuses via the network. Is done. That is, the drawing parameters of the plurality of image generation apparatuses are common. In this case, each image generation apparatus has a virtual screen area of the same size, and the size of the virtual screen area is equal to or larger than the total display area of the display areas of each display apparatus. It is common. The maximum number of pixels in the vertical direction among the display areas of the plurality of display devices used, having a total number of pixels equal to or greater than the total number of pixels in the horizontal direction of the display regions of the plurality of display devices used It is desirable for the virtual screen region to have a number of pixels in the vertical direction that is greater than or equal to the number. This virtual screen area is preferably cut out in accordance with the size of the display area of each display means and output to the corresponding display means. The image written in the virtual screen area is preferably generated based on the supplied data.
このように構成された画像生成装置は、自己に割り当てられた表示手段の表示画面よりも大きく、各表示手段の表示領域の合計領域以上の仮想画面領域をそれぞれ有し、その仮想画面領域に書き込まれたデータのうち自己に割り当てられた領域のデータを表示手段に出力しているので、表示手段に画像を表示する際に、拡大等する必要が無く、表示画像が劣化することはない。また、仮想画面領域の大きさを調整することによって、使用する表示手段の台数を任意に変更することができ、マルチスクリーンの構成の自由度を高めることができる。しかも、各画像生成装置には、ネットワークを介して共通の描画パラメータが供給され、各画像生成装置が共通の描画パラメータに基づいて仮想画面領域に画像を書き込んでいるので、各画像生成装置に表示すべき画像の異なる部分を各画像生成装置が個別に生成する必要が無く、画像生成に要する時間を短縮することができる。 The image generating apparatus configured as described above has a virtual screen area that is larger than the display screen of the display means allocated to itself and is equal to or larger than the total area of the display areas of the respective display means, and is written in the virtual screen area. Since the data of the area allocated to itself is output to the display means among the received data, when the image is displayed on the display means, it is not necessary to enlarge the display image and the display image does not deteriorate. Further, by adjusting the size of the virtual screen area, the number of display means to be used can be arbitrarily changed, and the degree of freedom of the multi-screen configuration can be increased. Moreover, common drawing parameters are supplied to each image generation device via the network, and each image generation device writes an image in the virtual screen area based on the common drawing parameters. It is not necessary for each image generation device to generate different portions of the image to be processed, and the time required for image generation can be shortened.
また、各画像生成装置が、仮想画面領域中のいずれの部分を担当するのかを指示する情報を、特定の画像生成装置から他の画像生成装置にネットワークを介して伝送することができる。このように構成することによって、各画像生成装置において仮想画面領域のいずれの部分を分担するのか個別に設定する必要が無く、設定作業に要する時間を短縮することができる。 In addition, information indicating which part of the virtual screen area each image generation device is in charge of can be transmitted from a specific image generation device to another image generation device via a network. With this configuration, it is not necessary to individually set which part of the virtual screen area is shared in each image generation apparatus, and the time required for the setting work can be shortened.
以上のように、本発明によれば、表示手段にマルチスクリーンの一部として表示される画像に劣化を生じることなく、しかも、この表示手段として、アスペクト比や解像度が異なるものを容易に使用することができるし、マルチスクリーンに表示される画像の生成に要する時間を短縮することができる。 As described above, according to the present invention, an image displayed as a part of a multi-screen on the display means is not deteriorated, and the display means having different aspect ratios and resolutions can be easily used. In addition, the time required for generating an image displayed on a multi-screen can be reduced.
本発明の1実施形態の映像及び音楽編集装置2は、音声素材と映像生成用素材とを編集して出力するもので、図2(a)に示すように、複数台、例えば2台が同時に使用される。各編集装置2には、それぞれ表示手段、例えば液晶表示装置4が接続され、これら表示装置4をマルチスクリーンとして使用する。これら編集装置2は、ネットワークによって接続され、相互にデータの伝送が可能である。
The video and
各編集装置2は、例えば図1に示すように、バス6を有し、このバス6には、記憶手段、例えばストレージ8が接続されている。ストレージ8にはそれぞれ複数の映像生成用素材及び音声素材が記憶されている。また、バス6には外部メモリ10も接続される。外部メモリ10にも、それぞれ複数の映像生成用素材及び音声素材が記憶されている。
Each
複数の映像生成用素材のうち、選択されたものがバス6を介してシーンテンポラリメモリ12に記憶される。このシーンテンポラリメモリ12の映像生成用素材は、バス6を介して映像処理手段、例えばGPU14に供給される。GPU14は、サブバス15を介して接続された記憶手段、例えば画像テンポラリメモリ16を使用しながら、シーンテンポラリメモリ12の画像生成用素材を処理し、D/A変換器18によってアナログ信号に変換して、対応する表示装置4に出力する。
The selected one of the plurality of video generation materials is stored in the scene
同様に、バス6に接続されたA/D変換変換器19によって得られた音声ストリーム信号やストレージまたは外部メモリから選択された音声素材は、音声処理手段、例えばDSP20にバス6を介して供給される。DSP20は、サブバス21を介して接続された記憶手段例えば音声エフェクトメモリ22を使用しながら、音声素材等を処理し、D/A変換器23によってアナログ信号に変換し、サウンドシステム(図示せず)に供給する。
Similarly, the audio stream signal obtained by the A /
これらGPU14、DSP20での処理において使用されるパラメータの設定や、画像生成用素材の選択は、図示しない操作子からユーザーインターフェース24を介して制御手段、例えばCPU25に供給された指示に基づいて行われ、パラメータ等は、CPU25からバス6を介してGPU14、DSP20に供給される。
Setting of parameters used in the processing in the GPU 14 and the
図3は、編集装置2のGPU14及びDSP20を機能ブロック図で示したもので、音声素材は、音声再生部26で再生される。再生された音声信号は、合成器28によってA/D変換器19からの音声ストリーム信号と合成され、効果付与手段、例えば音声エフェクト部30に供給され、ここで音声エフェクトが付与され、出力される。なお、音声再生時には、操作子の操作によって設定された音声パラメータが音声再生部26に供給され、例えば再生ピッチ等が設定されている。また、音声エフェクト部30にも音声パラメータが設定され、付与するエフェクト等が決定されている。この音声エフェクト部30によって付与されるエフェクトの状態を周期的に変化させるために、音声用LFO32から音声パラメータが音声エフェクト部30に供給されている。LFO32には、音声パラメータが付与され、BPM(ビートパーミニッツ)データが供給され、これらによってLFO32が決定した音声パラメータが音声エフェクト部30に供給され、これによって音声エフェクトの状態が周期的に変化させられる。
FIG. 3 is a functional block diagram showing the GPU 14 and the
編集装置2では、映像生成部34が映像生成用素材を元に映像出力を生成している。映像生成用素材は、例えば静止画であって、これにエフェクトを付与して、動画を生成する。例えば、所定フレーム、例えば1フレームごとに静止画中のオブジェクトが変化した画像を生成する。変化としては、例えば1フレームごとにオブジェクトが時間経過と共に拡大または縮小されるものや、オブジェクトが特定の位置から別の位置まで時間経過と共に移動するものや、平面的なオブジェクトを立体的なオブジェクトを生成し、その立体的なオブジェクトの形状が時間経過と共に変化するもの等種々のものがある。このような変化を行うための描画パラメータが、映像設定としてネットワーク同期部36に与えられ、ネットワーク同期部36から映像生成部34に供給される。また、上述したような変化を周期的に行うために、LFO38から描画パラメータが映像生成部34に供給されている。LFO38にもBPMデータが供給されている。
In the
ネットワーク同期部36に設定された描画パラメータは、他の編集装置2にもネットワークを介して供給され、他の編集装置2の映像生成部34にも供給されている。
The drawing parameters set in the
映像生成部34からの映像出力を、音声エフェクト部30からの音声出力に同期させることができる。そのために、音声出力は、音声解析部40によって解析され、その解析結果が映像生成部34に供給される。このとき、映像生成部34では、音声出力に同期させて変化する映像出力を生成する。
The video output from the
上記とは逆に、映像生成部34での映像の変化(映像エフェクトの変化)に同期して、例えば同じ周期で音声エフェクトを変化させることもできる。そのため、映像生成用LFO38に、音声エフェクト用LFO32を同期させるように、スイッチ42がLFO32、38間に設けられている。スイッチ42が閉じられることによって、LFO32からの音声パラメータは、LFO38からの描画パラメータに同期して例えば同じ周期で変化するものとなる。
Contrary to the above, the audio effect can be changed in the same cycle, for example, in synchronization with the change of the video (change of the video effect) in the
編集装置2、2は、2台の表示装置4、4を利用してマルチスクリーンを構成する。この実施形態では、表示しようとする映像の左半分が一方の表示装置4に表示され、表示しようとする映像の右半分が他方の表示装置に表示される。そのため、図2(a)に示すように、編集装置2、2の映像生成部34は、それぞれ仮想画面領域44を有している。
The
そして、予め一方の編集装置2において、それぞれの仮想画面領域44をどのような大きさとし、どのように分割し、その分割された領域のいずれの部分をいずれの編集装置2から出力するか、初期設定時に決定され、その決定値がネットワークを介して他の編集装置2に伝送される。
Then, in one
例えば、表示装置4、4の表示領域が共にアスペクト比が4:3で、水平方向1280ピクセル、垂直方向720ピクセルとすると、いずれの編集装置2でも、仮想画面領域44の水平方向のピクセル数は両表示装置4、4の水平方向ピクセルの合計値(2560ピクセル)、垂直方向のピクセル数は両表示装置4、4共通の垂直方向ピクセル(720ピクセル)と決定される。そして、仮想画面領域44を表示装置の台数に応じた分割数、この場合2分割と決定する。その分割は、両表示装置4、4の表示領域が同じ大きさであるので、2等分し、例えば(0、0−1280、720)の左側領域と、(1281、0−2560、720)の右側領域と決定する。そして、図2(a)において左側に示す編集装置2は、それが有する仮想画面領域44の左側領域をそれの表示装置4に出力し、同図(a)において右側に示す編集装置2は、それが有する仮想画面領域44の右側領域をそれの表示装置4に出力すると決定される。
For example, if the display areas of the display devices 4 and 4 have an aspect ratio of 4: 3, 1280 pixels in the horizontal direction, and 720 pixels in the vertical direction, the number of pixels in the horizontal direction of the
或いは、表示装置4、4の表示領域が共にアスペクト比4:3であるが、一方の表示装置4の表示領域が、水平方向1280ピクセル、垂直方向720ピクセルで、他方の表示装置4の表示領域が、水平方向800ピクセル、垂直方向600ピクセルと表示画面領域の大きさが異なっている場合、いずれの仮想画面領域44の大きさも、水平方向は両表示装置4、4の水平ピクセルの合計値(水平方向2080ピクセル)、垂直方向両表示装置4、4の垂直方向ピクセルの大きい方の値(720ピクセル)と決定される。そして、仮想画面領域44の表示装置の台数に応じた分割数、この場合2分割と決定される。分割は、表示装置4、4の表示領域の大きさが異なるので、各表示装置4、4の表示領域に応じたものを仮想画面領域44から切り出すと決定する。例えば表示装置4、4のうち左側の領域を担当するものが表示領域が1280*720ピクセルで、右側の領域を担当する表示装置の表示領域が800*600であるとすると、仮想画面領域44は、(0、0−1280、720)を左側領域と決定される。残りの(1281、0−2080、720)のうちから800*600の大きさに相当する領域を右側領域と決定する。例えば(1281、0−2080、600)、(1281、60−2080、660)または(1281、120−2080、720)のように決定される。
Alternatively, the display areas of both the display devices 4 and 4 have an aspect ratio of 4: 3, but the display area of one display device 4 is 1280 pixels in the horizontal direction and 720 pixels in the vertical direction, and the display area of the other display device 4 However, if the size of the display screen area is different from 800 pixels in the horizontal direction and 600 pixels in the vertical direction, the size of any
これらの決定は、一方の編集装置2において行われる。そして、その決定が、一方の編集装置2から他方の編集装置にパラメータとして伝送される。各編集装置2、2では、このパラメータに基づいて、指定された大きさの仮想画面領域44を獲得する。各編集装置2、2において獲得された仮想画面領域は同じ大きさであり、かつ各編集装置2、2の表示装置4、4の表示領域よりも大きい。
These determinations are made in one
また、一方の編集装置2において使用する映像素材が初期設定時に決定されると、その使用する映像素材を表すデータがネットワークを介して他の編集装置2に伝送される。編集装置2、2では、このデータに基づいて仮想画面領域44に応じた大きさに画像を生成し、その生成された画像が、同図(b)に示すように、仮想画面領域44、44に書き込まれる。例えばネットワークを介して供給されるデータがビットマップデータのような1画素ごとのデータであると、その水平方向及び垂直方向の画素数とアスペクト比とが、仮想画面領域の画素数とアスペクト比とに一致していなければ、仮想画面領域44に書き込む際に、拡大、縮小、変形を加える必要があり、表示装置4、4に表示された画像に劣化が生じる。しかし、この編集装置2、2では、供給された映像素材を表すデータに基づいて仮想画面領域44、44に応じた大きさに編集装置2、2で作成した画像を、仮想画面領域44、44に書き込んであるので、画像の劣化は生じない。
When the video material to be used in one
そして、仮想画面領域44、44のうち各編集装置2がそれぞれ指定されている領域を、同図(c)に示すように各編集装置2がそれぞれ接続されている表示装置4、4に出力する。例えば上述したように、表示装置4、4の表示画面が水平方向が1280ピクセルで垂直方向が720ピクセルの大きさであると、編集装置2、2のうちそれぞれその結果、マルチスクリーンによる表示が行われる。表示装置4、4の表示領域のサイズが異なる場合も、上述したように仮想画面領域のうち左側領域及び右側領域として指定された領域が切り出され、表示装置4、4に表示される。
Then, the areas designated by the
また、初期設定時に、映像素材に基づいてどのような動画とするかのパラメータも一方の編集装置2において決定され、他方の編集装置2にネットワークを介して伝送されている。従って、例えば同図2(c)に示すように仮想画面領域44の水平方向の中央にAという文字がオブジェクトとして表示されているものである場合に、このオブジェクトを右方向に所定の速度で移動させるとのパラメータが設定されているとすると、次のフレームでは、オブジェクトが右側にパラメータで指定された量だけ右側に移動したように、両編集装置2の各仮想画面領域44、44の画像は書き換えられて、上述したように分割して出力される。画像の出力が開始されてから、或る数のフレームが発生した後には、同図(d)に示すようにオブジェクトが仮想画面領域44の中央よりも完全に右側に位置するようにオブジェクトは両仮想画面領域44にそれぞれ書き込まれる。従って、左側の表示装置4にはオブジェクトが表示されず、右側の表示装置4にオブジェクトの全体が表示されるようになる。
Also, at the time of initial setting, a parameter for determining what kind of moving image is to be made based on the video material is determined by one
このようなエフェクトを付与するためにLFO38からパラメータが映像生成部34に供給されており、繰り返し行われる。このLFO38と音声エフェクト用のLFO32とを、スイッチ42の操作によって同期させることによって、そのとき音声エフェクト部30から出力される音声出力に付与されている音声エフェクトも映像出力に付与されたエフェクトと同期して繰り返される。従って、そのとき音声エフェクト部30に供給されている例えば音声素材が周期性の無いノイズであっても、映像出力に付与されたエフェクトと同じ周期を持った音声出力が得られる。
In order to give such an effect, parameters are supplied from the
このようにして生成された映像出力は、図3に示すエンコーダ46によって映像ファイルに変換され、ストレージ8に記憶され、その後にストレージ8から読み出されて、再生される。このように映像ファイルとして記憶する前に、どのようなエフェクトを使用するか、そのエフェクトにおけるパラメータはどのように設定するかを、試行錯誤の結果、決定することがある。その場合、どのようにパラメータを変化させたかを記憶させておき、気に入った映像出力になったときのパラメータを呼び出して、再度映像生成部34から映像出力を生成させ、これをエンコーダ46によって映像ファイルとする。このような処理を以下、スキップバック処理と称する。
The video output generated in this way is converted into a video file by the encoder 46 shown in FIG. 3, stored in the
そのため、パラメータが供給されているネットワーク同期部36から、パラメータ記憶手段、例えばレコーダ48にパラメータが供給され、記憶されている。レコーダ48には、複数の記憶領域を持つバッファが形成され、このバッファの先頭の記憶領域から順にパラメータが記憶され、最後の記憶領域までパラメータが記憶されると、再び先頭の記憶領域からパラメータが記憶される。また、このレコーダ44から選択されて読み出されたパラメータは、ネットワーク同期部36を経て、両編集装置2の映像生成部34に供給される。これら記憶及び読み出しの指示は、操作子からユーザーインターフェース24、CPU25を介してレコーダ46に与えられる。
Therefore, the parameters are supplied from the
このようなマルチスクリーン、映像エフェクト、音声エフェクト付与、パラメータの変更の記憶、読み出しのために、編集装置2が行う処理では、まず図4に示すように、初期化が行われる(ステップS2)。2台の編集装置2のうち、一方の編集装置2では、初期化において、映像生成用素材、音声素材の選択、映像に付与するエフェクト及び音声に付与するエフェクトの選択、これらエフェクトにおけるパラメータの選択が行われる。更に、仮想画面領域44の大きさ及びこの仮想画面領域44のうち対応する表示装置4に出力する表示領域の設定が行われる。これら選択された映像生成用素材の選択指示、音声素材の選択指示、エフェクトの指示、パラメータの値、仮想画面領域の大きさ及び表示領域の指示が、ネットワークを介して他方の編集装置2に伝送される。他方の編集装置2では、ネットワークを介して伝送されたデータに基づいて、初期化において、映像生成用の素材、音声素材の選択、エフェクトの選択、仮想画面領域の設定を行う。
In the processing performed by the
初期化に続いて、各編集装置2では描画処理を開始する(ステップS4)。描画処理では、図5に示すように、まず設定された描画パラメータを取得する(ステップS40)。次に、取得した描画パラメータとBPMデータとに基づいてLFO38用の描画LFO処理を行う(ステップS42)。そして、LFO38からのパラメータに従って映像生成用素材にエフェクトを付与した画像を仮想画面領域に描画する(ステップS44)。描画が終了した仮想画面領域のうち、対応する表示装置4に出力する表示領域を、初期化の際の設定に基づいて取得し(ステップS46)、この表示領域から画像を出力する(ステップS46)。以下、この処理が繰り返される。
Following the initialization, each
この描画処理に続いて、サウンド処理が行われる(ステップS6)。サウンド処理では、図6に示すように、まず描画パラメータを取得する(ステップS60)。次に、この描画パラメータを描画パラメータに基づくサウンドパラメータに変換する(ステップS61)。そして、音声用のLFO32と描画用のLFO38とをリンクさせる指示が与えられているか判断する(ステップS62)。この判断の答えがイエスの場合には、ステップS61で変換した描画パラメータに基づくサウンドパラメータを取得する(ステップS63)。また、ステップS62の判断の答えがノーの場合には、LFO32用に設定されたパラメータを取得する(ステップS64)。ステップS63またはS64によって取得されたパラメータに基づいてサウンドLFO処理を行う(ステップS65)。次にエフェクト処理する音声素材及び音声ストリーム信号を入力し(ステップS66)、これにサウンドLFO処理されたパラメータに基づいてエフェクトを付与して(ステップS67)、音声出力を出力する(ステップS68)。以下、これら処理を繰り返す。
Following this drawing processing, sound processing is performed (step S6). In the sound processing, as shown in FIG. 6, first, drawing parameters are acquired (step S60). Next, this drawing parameter is converted into a sound parameter based on the drawing parameter (step S61). Then, it is determined whether an instruction to link the
ステップS6のサウンド処理に続いて、操作子の操作が行われたか判断し(ステップS8)、その答えがノーの場合には、ステップS8を繰り返し、その答えがイエスの場合、スキップバック処理が行われる(ステップS10)。 Following the sound processing in step S6, it is determined whether the operation of the operator has been performed (step S8). If the answer is no, step S8 is repeated. If the answer is yes, skip back processing is performed. (Step S10).
スキップバック処理では、図7に示すように、各操作子のうち、スキップバックの再生時間(スキップバック再生開始時点とスキップバック再生終了時点)を指定する操作子が操作されたか判断する(ステップS100)。この判断の答えがノーであると、スキップバック再生は行わないので、パラメータを入力し(ステップS102)、そのときの時間を基準時間として取得し(ステップS104)、スキップバック用に準備したレコーダ48のバッファの書き込み位置(ライトポイント)を指定するライトポインタの値を1つ進め(ステップS106)、バッファが一杯か、即ちライトポイントがバッファの最後であるか判断する(ステップS108)。この判断の答えがイエスの場合、ライトポインタの値をバッファの先頭に戻す(ステップS110)。ステップS108の判断の答えがノーの場合、即ち、バッファへの書き込みが可能なとき、またはステップS110に続いて、バッファのライトポインタによって指定されたライトポイントに基準時間とパラメータとを書き込む(ステップS112)。次に、このパラメータを各編集装置2のLFO38及び映像生成部34に渡す(ステップS114)。以下、このような作業が一定時間が経過する毎に繰り返され、バッファには、一定時間経過毎の基準時間とそのときのパラメータとが順に記憶され、バッファの最後まで書き込まれたときには、バッファの最初から続きが書き込まれる。
In the skip back process, as shown in FIG. 7, it is determined whether an operator that designates a skip back playback time (a skip back playback start time and a skip back playback end time) is operated among the controls (step S100). ). If the answer to this determination is no, skip back playback is not performed, so parameters are input (step S102), the time at that time is acquired as a reference time (step S104), and the
ステップS100の判断の答えがイエスであると、スキップバックの再生時間を指定する操作子が操作されているので、この操作子の操作によって指定されたスキップバック再生開始時点とスキップバック再生終了時点、即ちスキップバック時間が入力される(ステップS116)。そして、現在の基準時間を取得し(ステップS118)、スキップバック開始時間と現在の基準時間とから現在読み出すべきリードポインタの値(当初にはスキップバック再生開始時間に対応する)を算出する(ステップS120)。このリードポインタの値がバッファの最後(スキップバック再生終了時点に対応する)を越えているか判断し(ステップS122)、この判断の答えがノーの場合、リードポインタの値が指定する位置からパラメータを読み出し(ステップS124)、そのパラメータを各編集装置2のLFO38及び映像生成部34に渡す(ステップS126)。また、ステップS122の判断の答えがイエスの場合、リードポインタの値をスキップバック再生開始の時点に対応する値に変更し(ステップS128)、ステップS124、S126を実行する。ステップS126に続いて、スキップバック再生の終了の指示が与えられているか判断し(ステップS130)、その判断の答えがイエスであるとスキップバック再生を終了するが、判断の答えがノーであると、ステップS118から再び実行する。このとき、ステップS118で現在の基準時間が取得され、ステップS120では、スキップバック再生開始時点から所定時間経過した次の基準時間に対応するパラメータが読み出される。
If the answer to the determination in step S100 is yes, the operator that specifies the playback time for skip back is being operated. Therefore, the skip back playback start time and skip back playback end time specified by the operation of this operator are That is, the skip back time is input (step S116). Then, the current reference time is acquired (step S118), and the value of the read pointer to be read at present (initially corresponding to the skip back reproduction start time) is calculated from the skip back start time and the current reference time (step S118). S120). It is determined whether the value of the read pointer exceeds the end of the buffer (corresponding to the end point of skip back reproduction) (step S122). If the answer to this determination is no, the parameter is set from the position specified by the value of the read pointer. Reading (step S124) and passing the parameters to the
なお、上記の実施形態では、映像と音声とを同期させるために映像用のLFOと音声用のLFOとを同期させたが、これ以外にも、映像に対するエフェクトパラメータの値を直接に音声用のエフェクトパラメータの値として使用することによって、映像と音声とを同期させることもできる。 In the above embodiment, the video LFO and the audio LFO are synchronized in order to synchronize the video and audio. However, in addition to this, the effect parameter values for the video are directly set for audio. By using it as an effect parameter value, the video and audio can be synchronized.
例えば、映像側で残像のような効果を付与する場合に、これに同期してエコー効果を音声に付与することができる。この場合、例えば残像用のパラメータの1つである残像の数をエコー用のディレイ回数として使用し、残像用のパラメータの1つである残像の大きさまたは明度を、エコー用のディレイレベルとして使用し、残像用のパラメータの1つである残像同士の間隔をディレイタイムとして使用する。 For example, when an effect such as an afterimage is given on the video side, an echo effect can be given to the sound in synchronization with this. In this case, for example, the number of afterimages, which is one of the afterimage parameters, is used as the number of echo delays, and the size or brightness of the afterimage, which is one of the afterimage parameters, is used as the echo delay level. The interval between afterimages, which is one of the afterimage parameters, is used as the delay time.
或いは、映像用の効果として、影を引くような効果を付与する場合、音声側でリバーブ効果を与えることもできる。この場合、影を引く効果用の影の長さを、リバーブ効果のリバーブタイムとして使用し、影を引く効果用の影の濃さを、リバーブ効果のリバーブレベルとして使用する。 Alternatively, when an effect that draws a shadow is given as an effect for video, a reverb effect can be given on the audio side. In this case, the shadow length for the effect of drawing the shadow is used as the reverb time of the reverb effect, and the shadow density for the effect of drawing the shadow is used as the reverb level of the reverb effect.
または、映像用の効果として、波紋のように変化する効果を付与する場合、音声側で周波数特性フィルタの特性を変化させて効果を付与することもできる。この場合、波紋の波高値をデプスとして使用し、波紋の減衰速度をフィルタのカットオフ周波数が低い周波数へに変化する速度として使用し、波紋の速度をフィルタのカットオフ周波数を変化させるLFOのレートとして使用する。 Alternatively, when an effect that changes like a ripple is applied as an effect for video, the effect can be applied by changing the characteristics of the frequency characteristic filter on the audio side. In this case, the crest value of the ripple is used as the depth, the decay rate of the ripple is used as a speed at which the cutoff frequency of the filter changes to a low frequency, and the speed of the ripple is used to change the cutoff frequency of the filter. Use as
或いは、映像用の効果として色彩フィルタ効果を使用する場合、音声側で周波数特性フィルタをかけて効果を付与することもできる。この場合、色彩フィルタにおける映像の明るさを変化させるパラメータを、音の明るさ(周波数特性フィルタのカットオフ周波数)を変化させるパラメータとして使用する。 Alternatively, when a color filter effect is used as an effect for video, a frequency characteristic filter can be applied on the sound side to provide the effect. In this case, a parameter for changing the brightness of the image in the color filter is used as a parameter for changing the brightness of the sound (the cutoff frequency of the frequency characteristic filter).
この他に、映像側でオブジェクトの位置を変化させる効果を付与する場合、音声側の効果としてオブジェクトの位置の変化に比例して音像の定位を移動させることや、映像側で描画されている物体のサイズを変化させる効果を付与する場合、音声側で物体のサイズの変化に比例して音量を変化させることや、映像側で描画されているオブジェクトのピントを変化させる効果を付与する場合、音声側で周波数フィルタのカットオフ周波数をピントの変化に比例して変化させる場合もある。これらの場合、位置移動のパラメータをそのまま定位移動のパラメータとして、細部変化のパラメータをそのまま音量パラメータとして、ピント変化のパラメータをそのままカットオフ周波数変化のパラメータとして使用する。 In addition to this, when the effect of changing the position of the object is given on the video side, the localization of the sound image is moved in proportion to the change of the position of the object as the effect on the audio side, or the object drawn on the video side When the effect of changing the size of the object is given, the sound volume is changed in proportion to the change of the object size on the sound side, or the effect of changing the focus of the object drawn on the image side is given. On the other hand, the cutoff frequency of the frequency filter may be changed in proportion to the change in focus. In these cases, the position movement parameter is used as it is as a localization movement parameter, the detail change parameter as it is as a volume parameter, and the focus change parameter as it is as a cutoff frequency change parameter.
映像に対するエフェクトパラメータと音声用のエフェクトパラメータとの組合せは、任意に変更することができ、例えば上記の例で言えば、波紋のような映像と音声へのエコーとを同期させることもできるし、逆に映像の残像のような効果と、音声への周波数特性フィルタとを同期させることもできる。 The combination of the effect parameter for video and the effect parameter for audio can be arbitrarily changed. For example, in the above example, the image such as ripples and the echo to the audio can be synchronized, Conversely, it is possible to synchronize an effect such as an afterimage of video with a frequency characteristic filter for audio.
上記の実施形態では、2台の編集装置2と2台の表示装置4とを使用したが、これらの台数は、更に増加させることができる。但し、台数が増加されると、それに伴い仮想表示画面の大きさも変化させられるし、各表示装置が担当する表示領域の仮想表示画面上の位置も変化する。
In the above embodiment, two
2 編集装置
4 表示装置
14 GPU(出力手段、書き込み手段)
44 仮想表示画面
2 Editing device 4 Display device 14 GPU (output means, writing means)
44 Virtual display screen
Claims (5)
この表示手段の表示画面の領域よりも大きい仮想画面領域と、
この仮想画面領域のうち前記表示手段の表示画面に割り当てられた領域を前記表示手段に出力する出力手段と、
前記仮想画面領域に、予め設定された描画パラメータに従って画像を書き込む画像書き込み手段とを、
具備する画像生成装置。 Display means for displaying an image on the display screen;
A virtual screen area larger than the display screen area of the display means;
Output means for outputting to the display means an area assigned to the display screen of the display means in the virtual screen area;
Image writing means for writing an image in the virtual screen area according to preset drawing parameters;
An image generation apparatus.
これら複数の表示手段にそれぞれ対応させて設けられ、前記表示手段のうち対応するものに画像を表示させる複数の画像生成装置と、
これら画像生成装置を接続するネットワークとを、
具備し、前記各画像生成装置は、
前記各表示手段の表示画面を合成した領域以上の大きさで、前記各画像生成装置共通の仮想画面領域と、
前記仮想画面領域のうち自己に割り当てられた表示手段の表示画面に対応する領域を前記表示手段に出力する出力手段と、
前記仮想画面領域に描画パラメータに基づいて画像を書き込む画像書き込み手段とを、
具備し、
前記各画像生成装置に共通の描画パラメータが前記ネットワークを介して特定の前記画像生成装置から、他の前記画像生成装置に伝送される
画像生成システム。 A plurality of display means for displaying an image on the display screen;
A plurality of image generating devices provided corresponding to the plurality of display means, respectively, and displaying images on the corresponding ones of the display means;
A network connecting these image generation devices,
Each of the image generation devices,
A virtual screen area common to each of the image generation devices, with a size equal to or larger than the area obtained by combining the display screens of the display means;
An output means for outputting, to the display means, an area corresponding to a display screen of the display means assigned to the virtual screen area;
Image writing means for writing an image on the virtual screen area based on the drawing parameters;
Equipped,
An image generation system in which drawing parameters common to the respective image generation apparatuses are transmitted from the specific image generation apparatus to the other image generation apparatuses via the network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006341288A JP2008152626A (en) | 2006-12-19 | 2006-12-19 | Image generation apparatus and image generation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006341288A JP2008152626A (en) | 2006-12-19 | 2006-12-19 | Image generation apparatus and image generation system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008152626A true JP2008152626A (en) | 2008-07-03 |
Family
ID=39654719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006341288A Pending JP2008152626A (en) | 2006-12-19 | 2006-12-19 | Image generation apparatus and image generation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008152626A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760214A (en) * | 2021-09-10 | 2021-12-07 | 马瑞利汽车电子(广州)有限公司 | Display area adjusting method of vehicle-mounted double-screen display |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207682A (en) * | 1997-01-17 | 1998-08-07 | Fujitsu Ltd | Picture display system |
JP2000293285A (en) * | 1999-04-12 | 2000-10-20 | Hitachi Ltd | Screen display control system |
JP2004288048A (en) * | 2003-03-24 | 2004-10-14 | Ntt Data Corp | Pointing system |
JP2005278938A (en) * | 2004-03-30 | 2005-10-13 | Nintendo Co Ltd | Game program |
-
2006
- 2006-12-19 JP JP2006341288A patent/JP2008152626A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207682A (en) * | 1997-01-17 | 1998-08-07 | Fujitsu Ltd | Picture display system |
JP2000293285A (en) * | 1999-04-12 | 2000-10-20 | Hitachi Ltd | Screen display control system |
JP2004288048A (en) * | 2003-03-24 | 2004-10-14 | Ntt Data Corp | Pointing system |
JP2005278938A (en) * | 2004-03-30 | 2005-10-13 | Nintendo Co Ltd | Game program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760214A (en) * | 2021-09-10 | 2021-12-07 | 马瑞利汽车电子(广州)有限公司 | Display area adjusting method of vehicle-mounted double-screen display |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050105001A1 (en) | Frame rate conversion device, overtaking prediction method for use in the same, display control device and video receiving display device | |
US6914616B2 (en) | Image reproduction display apparatus utilizing a controller with selection mask conversion module | |
JP5317825B2 (en) | Image processing apparatus and image processing method | |
JP2008197394A (en) | Image conversion apparatus and image conversion method | |
JP2007271908A (en) | Multi-image creating device | |
JPWO2009147795A1 (en) | Video processing system | |
JP3300059B2 (en) | Image processing system | |
JP2009140382A (en) | Image editing device, image editing program, record medium, and method for editing image | |
WO2020195169A1 (en) | Image processing device, image processing method, and display device | |
JP2008152626A (en) | Image generation apparatus and image generation system | |
JP2008154065A (en) | Effect imparting device | |
US6833841B2 (en) | Image forming method, computer program for forming image, and image forming apparatus | |
JP4016914B2 (en) | Movie display control system | |
JP2005110318A (en) | Media pipeline with multi-channel video processing and reproduction | |
JP4976837B2 (en) | Video creation device | |
JP5322529B2 (en) | Display device and display control method | |
JP2006301029A (en) | On-screen display apparatus and on-screen display creating method | |
JP2015125411A (en) | Video processing device | |
JP4640587B2 (en) | Video display device, video processing device, and video processing method | |
KR101391780B1 (en) | System and method for ouputting multiful image and a medium having computer readable program for executing the method | |
JPH0689336A (en) | Image data enlarging and displaying method | |
JP2011141341A (en) | Image signal distribution apparatus and control method thereof, and program | |
JP4835916B2 (en) | Image display device | |
JP4115879B2 (en) | Image display device | |
JP2003271120A (en) | Method and device for displaying image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110527 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |