JP2013196402A - 画像生成方法、画像生成装置及びプログラム - Google Patents
画像生成方法、画像生成装置及びプログラム Download PDFInfo
- Publication number
- JP2013196402A JP2013196402A JP2012063011A JP2012063011A JP2013196402A JP 2013196402 A JP2013196402 A JP 2013196402A JP 2012063011 A JP2012063011 A JP 2012063011A JP 2012063011 A JP2012063011 A JP 2012063011A JP 2013196402 A JP2013196402 A JP 2013196402A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- movement
- synchronization
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】第1及び第2画像をそれぞれ取得する取得ステップと、第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、動きの条件に基づいて第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成ステップと、第1及び第2画像の同期条件が成立した場合、第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成ステップとを含む。
【選択図】図3
Description
第1及び第2画像をそれぞれ取得する取得ステップと、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成ステップと、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成ステップと
を含むことを特徴とする。
第1及び第2画像をそれぞれ取得する取得手段と、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成手段と、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成手段と
を備えたことを特徴とする。
コンピュータを、
第1及び第2画像をそれぞれ取得する取得手段と、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成手段と、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成手段と
して機能させることを特徴とする。
本発明の第1実施形態の動画生成システムについて、図1、図2及び図3に基づいて説明する。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、動画生成用ページ)にアクセスして、当該Webページ上で各種の指示を入力する。
図2に示すように、ユーザ端末2は、具体的には、中央制御部201と、通信制御部202と、表示部203と、音出力部204と、記録媒体制御部205と、操作入力部206等を備えている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
即ち、表示部203は、例えば、サーバ3から送信され通信制御部202により受信されたWebページ(例えば、動画生成用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。具体的には、表示部203は、動画生成処理(後述)に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する。
即ち、音出力部204は、例えば、サーバ3から送信され通信制御部202により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをD/Aコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部204は、一の音源(例えば、楽器)の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
ここで、被写体存在画像とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Cには、撮像装置1の画像処理部(図示略)により所定の符号化形式(例えば、JPEG形式等)に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部202は、入力された被写体存在画像の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
なお、操作入力部206としてタッチパネル(図示略)を表示部203の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
サーバ3は、Web(World Wide Web)サーバとしてインターネット上にWebページ(例えば、動画生成用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、動画生成装置として、静止画像内で動き情報Mに係る複数の可動点に対応する各位置に動きの制御点を複数設定し、指定された動き情報Mの複数の可動点の動きに追従させるように複数の制御点を動かして動画像を生成する。
図3に示すように、サーバ3は、具体的には、中央制御部301と、表示部302と、通信制御部303と、被写体切抜部304と、記憶部305と、動画処理部306等を備えて構成されている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、通信制御部303は、例えば、動画生成処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像の画像データを受信して、当該画像データを中央制御部301のCPUに出力する。
中央制御部301のCPUは、入力された被写体存在画像の画像データを被写体切抜部304に出力する。
即ち、被写体切抜部304は、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域が切り抜いた画像を生成する。具体的には、被写体切抜部304は、中央制御部301のCPUから出力された被写体存在画像の画像データを取得して、例えば、ユーザによるユーザ端末2の操作入力部206(例えば、マウス等)の所定操作に基づいて、表示部203に表示されている当該被写体存在画像上に描画された境界線(図示略)により当該被写体存在画像を区分する。そして、被写体切抜部304は、被写体存在画像の境界線により区分される被写体が含まれる被写体領域を抽出して、当該被写体領域のアルファ値を「1」とするとともに被写体の背景部分のアルファ値を「0」とし、当該被写体領域の画像を所定の単一色画像と合成した被写体切り抜き画像の画像データを生成する。即ち、被写体切り抜き画像のうち、アルファ値が「1」の被写体領域の所定の背景に対する透過度が0%となり、一方、アルファ値が「0」の被写体の背景部分の所定の背景に対する透過度が100%となる。
また、被写体切り抜き画像の画像データとしては、例えば、RGBA形式の画像データを適用することができ、具体的には、RGB色空間で規定される各色に透過度(A)の情報が付加されている。なお、被写体切り抜き画像の画像データは、例えば、被写体存在画像の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したアルファマップと対応付けられる構成であっても良い。
各動き情報Mは、所定空間、即ち、例えば、互いに直交する二軸(例えば、x軸、y軸等)により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸(例えば、z軸等)により規定される三次元の立体的空間内における複数の可動点の動きを示す情報である。なお、動き情報Mは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点の位置は、動きのモデルとなる動体モデル(例えば、ヒトや動物等)の骨格の形状や関節の位置等を考慮してそれぞれ規定されている。また、可動点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報Mは、所定空間内にて複数の可動点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の可動点の動きが連続して表されている。具体的には、各動き情報Mは、例えば、複数の可動点を所定の踊りに対応させるように移動させた情報であり、複数の可動点の動きが連続して表された動体モデルのモデル名と対応付けてそれぞれ記憶されている。また、各動き情報Mは、動きの種類(例えば、ヒップホップ、ツイスト、ロボットダンス等)やバリエーション(例えば、ヒップホップ1〜3等)に応じて、複数の可動点の連続した動きを異ならせている。
演奏情報Tは、動画再生部306eにより動画像とともに自動的に演奏される情報である。即ち、演奏情報Tは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報Tは、例えば、MIDI(Musical Instruments Digital Interface
)規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能(Tickカウント数)等が規定されたヘッダ情報と、各音源(例えば、楽器等)毎の演奏情報T等が規定されたトラック情報等を有している。また、トラック情報には、テンポ及び拍子の設定情報やNoteOn・Offのタイミング等が規定されている。
即ち、画像取得部306aは、静止画像として、背景と被写体とが存在する被写体存在画像から被写体が含まれる領域が切り抜かれた被写体切り抜き画像を取得する。具体的には、画像取得部306aは、被写体切抜部304により生成された被写体切り抜き画像の画像データを処理対象の静止画像として取得する。
即ち、制御点設定部306bは、画像取得部306aにより取得された被写体切り抜き画像の被写体画像内で複数の可動点に対応する各位置に動きの制御点を複数設定する。具体的には、制御点設定部306bは、記憶部305から動体モデル(例えば、ヒト)の動き情報Mを読み出して、被写体切り抜き画像の被写体画像内で、当該動き情報Mに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々が対応する位置を特定する。例えば、制御点設定部306bは、被写体画像がヒトを主要被写体として切り抜いた画像である場合には、ヒトの骨格の形状や関節の位置等を考慮して複数の可動点の各々が対応する位置を特定する。このとき、動体モデルと被写体画像について、例えば、顔などの主要部の大きさを合わせるように寸法の調整(例えば、動体モデルの拡大や縮小、変形等)を行うようにしても良い。また、例えば、動体モデルと被写体画像を重ね合わせて被写体画像における複数の可動点の各々が対応する位置を特定しても良い。
そして、制御点設定部306bは、特定された複数の可動点の各々が対応する位置に動きの制御点をそれぞれ設定する。
さらに、制御点設定部306bによる動きの制御点の設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて制御点の設定位置の修正(変更)を受け付けるようにしても良い。
即ち、動き指定部306cは、記憶部305に記憶されている複数の動き情報Mの中で、何れか一の動き情報Mを指定する。具体的には、表示部203に表示されている所定画面内の複数の動きモデルのモデル名の中で、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて何れか一のモデル名(例えば、ヒップホップ1等)を指定する指示が通信ネットワークN及び通信制御部303を介して入力されると、動き指定部306cは、複数の動き情報Mの中で、指定指示に係る動きモデルのモデル名と対応付けられている動き情報Mを指定する。
なお、動き指定部306cは、複数の動き情報Mの中で、例えば、デフォルトとして設定されている動き情報Mやユーザにより前回指定された動き情報Mを自動的に指定するようにしても良い。
即ち、画像生成部306dは、動き指定部306cにより指定された動き情報Mの複数の可動点の動きに追従させるように、被写体切り抜き画像の被写体画像内に設定されている複数の制御点を移動させて複数のフレーム画像を逐次生成する。具体的には、画像生成部306dは、例えば、動き情報Mに従って所定の時間間隔で移動する複数の可動点の座標情報を逐次取得して、当該可動点の各々に対応する各制御点の座標を算出する。そして、画像生成部306dは、算出された座標に制御点を逐次移動させていくとともに、少なくとも一の制御点を基準として被写体画像内に設定される所定の画像領域(例えば、三角形や矩形のメッシュ状の領域)を移動させたり変形させることで、基準フレーム画像を生成する。これにより、例えば、動き情報Mの複数の可動点の各座標情報等に対応する位置に制御点が配設された基準フレーム画像がそれぞれ生成される。
また、制御点を基準とした所定の画像領域を移動させたり変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、画像生成部306dは、隣合う二つの基準フレーム画像間における、動画再生部306eにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像間で再生される補間フレーム画像を逐次生成する。例えば、画像生成部306dは、MIDI規格の演奏情報Tに基づいてテンポの設定情報及び四分音符の分解能(Tickカウント数)を取得して、動画再生部306eにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、画像生成部306dは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング(例えば、各小節の一拍目等)に同期させた隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。
そして、画像生成部306dは、所定の曲の演奏の相対的な進行度合に応じて、当該隣合う二つの基準フレーム画像に対する重み付けを変えて補間フレーム画像を生成する。
ここで、所定の曲の演奏の相対的な進行度合は、隣合う二つの基準フレーム画像の各々が同期した所定のタイミングどうしの間で、テンポや拍子の変更が行われて、算出された進行度合が前回算出された進行度合に対して減少した場合には、進行度合の減少度合が小さくなるように当該進行度合を補正するようにしても良い。これにより、曲の進行度合を考慮してより適正な補間フレーム画像を生成することができる。
なお、補間フレーム画像を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、複数の可動点の座標情報の各々が、例えば、基準となる可動点の座標情報に対する各可動点の移動量を規定した情報の場合、基準となる可動点の座標情報以降の座標情報に対応させるように、それぞれの可動点の移動量に応じて移動させた制御点の位置が、予め動き情報Mに規定されている可動点の位置に対して所定の距離以上離れてしまう。この結果、生成される基準フレーム画像が、動き情報Mに規定している可動点の動きを再現することができない虞がある。
そこで、基準となる可動点の座標情報以降の座標情報については、それぞれの可動点の移動量に、基準となる可動点と当該可動点に対応する制御点との距離を加算して、それぞれの可動点に対応する制御点の座標を算出するようにしても良い。
即ち、動画再生部306eは、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて指定された演奏情報Tに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。具体的には、動画再生部306eは、所定の曲の演奏情報のデジタルデータをD/Aコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング(例えば、各小節の1拍目や各拍等)に同期させるように隣合う二つの基準フレーム画像を再生するとともに、隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像を再生する。
なお、動画再生部306eは、速さ指定部306f(後述)により指定された速さで被写体画像に係る複数のフレーム画像を再生しても良い。この場合には、動画再生部306eは、隣合う二つの基準フレーム画像を同期させるタイミングを変化させることで、所定の単位時間内に再生されるフレーム画像の数を変更して被写体画像の動きの速さを可変させる。
即ち、速さ指定部306fは、制御点設定部306bにより設定される複数の動きの制御点の動きの速さを指定する。具体的には、サーバ3には、表示部203に表示されている所定画面内の被写体画像の複数の速さ(例えば、1/2倍、標準(等倍)、2倍等)の中で、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて何れか一の速さ(例えば、標準等)を指定する指示が、通信ネットワークN及び通信制御部303を介して入力される。速さ指定部306fは、複数の動きの速さの中で、当該指定指示に係る速さを被写体画像の動きの速さとして指定する。
これにより、所定の単位時間で切り替えられるフレーム画像数が、例えば、1/2倍、等倍、2倍等に変更される。
但し、これ以降の説明に際して、「同期」とは、動きのタイミングを揃えることや、動きの内容を揃えることを含む意味として取り扱うものとする。
ここで、同期設定部306gが同期の設定をしないと判断した場合(ステップS1:No)、通常の「動きの設定」の動作に移行し、同期の設定をすると判断した場合(ステップS1:Yes)、同期設定部306gは、ユーザ端末2からの指示に基づき、被写体画像をサーバ3の記憶部305に記憶されている被写体切り抜き画像の画像データから取得し、複数のキャラクター(第1画像、第2画像)としてフレーム画像に配置する(ステップS2:取得ステップ)。
例えば、同期設定部306gは、ユーザ端末2からの指示に基づき、図5に示すようにフレーム画像に配置されたキャラクターCH1の周囲に、破線で示す同期制御領域OR1を設定する。
なお、同期制御領域の設定に関しては、ユーザ端末2からの指示に基づき、配置されたキャラクターCH1が選択されると、同期設定部306gが自動的に同期制御領域OR1を設定するものであっても良い。
例えば、同期設定部306gは、ユーザ端末2からの指示に基づき、図6に示すようにフレーム画像の中央に配置されたキャラクターCH11に移動しながら近づくように、フレーム画像に配置されたCH12及びCH13に対して、移動位置座標MV11及びMV12をそれぞれ設定する。
すなわち、図6では、キャラクターCH11は移動することなくその場でダンス踊って(CH11の画像の動き)おり、その周りからキャラクターCH12がダンスを踊り(CH12の画像の動き)ながら、移動位置座標MV11に示すように時計回りで近づき、キャラクターCH13がダンスを踊り(CH13の画像の動き)ながら、移動位置座標MV12に示すように時計回りで近づくように移動するように設定される。
なお、移動速度の設定に関しては、ユーザ端末2からの指示に基づき、同期設定部306gが、移動速度に関する数値を取得して各キャラクターに設定する等、公知の技術を用いて設定すれば良い。
例えば、同期条件としては、「同期制御領域が重なったら同期」、「同期制御領域ではなくキャラクター本体が重なった場合に同期」、「初めからキャラクターが重なっている場合でも同期」等の条件が考えられる。
但し、基本的に同期制御領域を設定する時点で、同期制御領域の重複が同期条件であることは、明らかであるので、同期条件の設定がなくても「同期制御領域が重なったら同期」という同期条件を含むことになる。
なお、上述の同期条、件は、一例であってこれに限られるものではなく、同期条件は適宜任意に設定が可能である。
また、同期条件のみならず、同期設定部306gは、ユーザ端末2からの指示に基づき、「初めからキャラクターが重なっている場合には非同期」、「同期制御領域ではなくキャラクター本体が重なった場合には非同期」、「キャラクターが前後で重なった場合には非同期」、「同期制御領域が重ならなくなった場合には同期を解除」と言った非同期条件、若しくは、同期解除条件を設定することも可能である。
但し、第1実施形態では、同期条件として後述の同期時間は設定されていないものとする。
ここで、同期制御部306hが、移動位置座標及び移動時間(動きの条件)が設定されていないと判断した場合(ステップS10:No)、同期条件として同期時間が設定されているか否かを判断する(ステップS11)。但し、第1実施形態では、同期条件として後述の同期時間は設定されていないので、同期制御部306hは、同期時間の設定がないと判断して(ステップS11:No)、通常の「フレーム画像の生成」の動作に移行する。
次に、同期制御部306hは、配置されている各キャラクターの同期制御領域が重複しているか否かを判断する(ステップS13:第2生成ステップ)。
ここで、同期制御部306hが、同期制御領域が重なっていないと判断した場合(ステップS13:No)、通常の「フレーム画像の生成」の動作に移行し、同期制御領域が重なっていると判断した場合(ステップS13:Yes)、同期制御部306hは、さらに、配置されているキャラクターに優先度が設定されているか否かを判断する(ステップS14:第2生成ステップ)。
そして、同期制御部306hが、優先度が設定されていないと判断した場合(ステップS14:No)、通常の「フレーム画像の生成」の動作に移行し、優先度が設定されていると判断した場合(ステップS14:Yes)、同期制御部306hは、さらに、配置されているキャラクターに同期条件を満足するか否かを判断する(ステップS15:第2生成ステップ)。
そして、同期制御部306hが、同期条件を満足しないと判断した場合(ステップS15:No)、通常の「フレーム画像の生成」の動作に移行し、同期条件を満足すると判断した場合(ステップS15:Yes)、同期制御部306hは、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成し(ステップS16:第2生成ステップ)、その後、通常の「フレーム画像の生成」の動作に移行する。
また、優先度の高いキャラクターCH21は、図9に示すように、体の横方向に両腕を水平に伸ばした状態、水平に伸ばしていた右腕を前に突き出す状態、体の横方向に両腕を水平に伸ばした状態、水平に伸ばしていた左腕を前に突き出す状態をフレーム毎に順次繰り返す動きを行うものとする。(画像の動き)
同様に、優先度の低いキャラクターCH22は、図10に示すように、体の横方向に両腕を水平に伸ばした状態、水平に伸ばしていた両腕を真上に突き出す状態をフレーム毎に順次繰り返す動きを行うものとする。(画像の動き)
そして、動画再生部306eにより逐次生成されたフレーム画像を再生することにより、2つのキャラクターの同期制御領域が重なった時点で、優先度の低いキャラクターCH22の動きは図10に示す動きから、図9に示す優先度の高いキャラクターCH21の動きに変更、言い換えれば、キャラクターCH22の動きがキャラクターCH21の動きに同期した動画として再生されることになる。
さらに、前述の通り、同期条件のみならず、「初めからキャラクターが重なっている場合には非同期」、「同期制御領域ではなくキャラクター本体が重なった場合には非同期」と言った非同期条件を設定しておくことにより、容易にキャラクター間の動きを非同期にさせることが可能になる。
また、本発明の第2実施形態の動画生成システムについて、図4及び図7に基づいて説明する。但し、同期設定部306gによる各キャラクターの配置や各種設定その他、本発明の第1実施形態と同様の部分に関しては説明を省略する。
ここで、「同期時間」とは、移動位置座標や移動速度(動きの条件)といった具体的な設定でなく、設定された時間後に各キャラクターの同期制御領域が自動的に重なって同期が起こるように、各キャラクターを移動させるための値である。
また、「同期解除時間」とは、移動位置座標や移動速度(動きの条件)といった具体的な設定でなく、設定された時間後に各キャラクターの同期制御領域が自動的に重ならなくなって同期が解除されるように、各キャラクターを移動させるための値である。
また、同期制御部306hは、同期条件として同期時間が設定されているか否かを判断する(ステップS11)。
そして、同期制御部306hが、同期条件として同期時間が設定されていないと判断した場合(ステップS11:No)、通常の「フレーム画像の生成」の動作に移行し、同期条件として同期時間が設定されていると判断した場合(ステップS11:Yes)、同期制御部306hは、同期時間に基づき、同期時間経過後に各キャラクターの同期制御領域が重なるように、各キャラクターの移動すべき移動位置座標や移動速度を計算し、(ステップS17:移動制御ステップ)、計算された移動速度で移動位置座標に各キャラクターを変形させながら複数のフレーム画像を生成する際に、それぞれを移動させる(ステップS18:移動制御ステップ)。
次に、同期制御部306hは、配置されている各キャラクターの同期制御領域が重複しているか否かを判断する(ステップS13:生成ステップ)。
ここで、同期制御部306hが、同期制御領域が重なっていないと判断した場合(ステップS13:No)、通常の「フレーム画像の生成」の動作に移行し、同期制御領域が重なっていると判断した場合(ステップS13:Yes)、同期制御部306hは、さらに、配置されているキャラクターに優先度が設定されているか否かを判断する(ステップS14:生成ステップ)。
そして、同期制御部306hが、優先度が設定されていないと判断した場合(ステップS14:No)、通常の「フレーム画像の生成」の動作に移行し、優先度が設定されていると判断した場合(ステップS14:Yes)、同期制御部306hは、さらに、配置されているキャラクターに同期条件を満足するか否かを判断する(ステップS15:生成ステップ)。
そして、同期制御部306hが、同期条件を満足しないと判断した場合(ステップS15:No)、通常の「フレーム画像の生成」の動作に移行し、同期条件を満足すると判断した場合(ステップS15:Yes)、同期制御部306hは、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成し(ステップS16:生成ステップ)、その後、通常の「フレーム画像の生成」の動作に移行する。
さらに、前述の通り、同期条件のみならず、「初めからキャラクターが重なっている場合には非同期」、「同期制御領域ではなくキャラクター本体が重なった場合には非同期」と言った非同期条件を設定しておくことにより、容易にキャラクター間の動きを非同期にさせることが可能になる。
特に、前述の通り、「同期時間」のみならず、「同期解除時間」を設定しておくことにより、容易にキャラクター間の動きの同期を解除することが可能になる。
すなわち、同期解除時間に基づき同期解除時間経過後に各キャラクターの同期制御領域が重ならないように、各キャラクターの移動すべき移動位置座標や移動速度を計算し、計算された移動速度で移動位置座標に各キャラクターを移動させることにより、容易にキャラクター間の動きの同期を解除することが可能になる。
本発明の第1実施形態及び第2実施形態の変形例1について説明する。
図4のステップS6において、同期制御部306hは、ユーザ端末2からの指示に基づき、配置されたキャラクターの同期条件として、例えば、「同期制御領域が3回重なるまで同期する(重なり回数1〜3回目は同期)」、「同期制御領域が3回重なるまで同期しない(重なり回数4回目以降に同期)」、「同期制御領域の重なり回数が奇数の場合に同期」、「同期制御領域の重なり回数が偶数の場合に同期」、等の条件を設定する。
また、キャラクターに予め設定されている演奏情報Tが、予め設定されている演奏情報T(例えば、アップテンポな曲調の演奏情報T)に一致する場合のみ、同期制御領域が重なって時点で同期させる制御を行っても構わない。
本発明の第1実施形態及び第2実施形態の変形例2について説明する。
図4のステップS3において、同期制御部306hは、ユーザ端末2からの指示に基づき、配置されたキャラクターの同期制御領域に関し、例えば、図5中のキャラクターCH1の外周から破線までの幅である同期制御領域OR1の幅(以下、単に同期制御領域幅と呼ぶ。)を任意に設定する。
例えば、同期制御領域幅を正の値に設定すれば、キャラクターの同期制御領域が重なった時点で動きが同期するものの、同期制御領域幅の違いにより、キャラクター間の同期等の仕方が複雑になり、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。
また、同期制御領域幅を”0”に設定すれば、キャラクター本体が重なることで動きが同期し、同期制御領域幅を負の値に設定すれば、キャラクター本体がある程度重なるまで動きが同期しないことになるので、更に、キャラクター間の同期等の仕方が複雑になり、フレーム画像全体として、より複雑な動きとしてユーザに認識させることができる。
本発明の第1実施形態及び第2実施形態の変形例3について説明する。
図4のステップS6において、同期制御部306hは、ユーザ端末2からの指示に基づき、配置されたキャラクターの同期条件の代わりに同期内容を設定する。
同期内容とは、単純にキャラクターの全ての動きを同期させるのでなく、動きを同期させる内容、例えば、「ダンスの種類のみ同期(ダンス速度は異なる)」、「ダンスの速度のみ同期(ダンス種類は異なる)」、「ダンスの種類及び速度の双方に同期」等を選択可能にする。
即ち、ユーザ端末2からの指示に基づき、被写体画像をサーバ3の記憶部305に記憶されている被写体切り抜き画像の画像データから取得し、複数のキャラクター(第1画像、第2画像)としてフレーム画像に配置する取得手段と、ユーザ端末2からの指示に基づき、配置したそれぞれのキャラクターに同期制御領域を設定し、それぞれの当該キャラクターの移動位置座標や移動速度(動きの条件)を設定し、配置されたそれぞれのキャラクターの優先度を設定し、当該キャラクターの同期条件を設定する設定手段と、設定されている移動位置座標及び移動速度(動きの条件)に基づき各キャラクターを移動させてフレーム画像を生成する第1生成手段(移動制御手段)と、同期制御領域が重なっていると判断した場合、配置されているキャラクターに優先度が設定され、配置されているキャラクターに同期条件を満足するすると判断した場合、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成する第2生成手段(生成手段)とから画像生成装置を構成しても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、設定処理ルーチン、第1生成処理ルーチン(移動制御処理ルーチン)及び第2生成処理ルーチン(生成処理ルーチン)を含むプログラムを記憶しておく。
そして、取得処理ルーチンにより中央制御部301のCPUを、ユーザ端末2からの指示に基づき、被写体画像をサーバ3の記憶部305に記憶されている被写体切り抜き画像の画像データから取得し、複数のキャラクター(第1画像、第2画像)としてフレーム画像に配置する取得手段として機能させるようにしても良い。
また、設定処理ルーチンにより中央制御部301のCPUを、ユーザ端末2からの指示に基づき、配置したそれぞれのキャラクターに同期制御領域を設定し、それぞれの当該キャラクターの移動位置座標や移動速度(動きの条件)を設定し、配置されたそれぞれのキャラクターの優先度を設定し、当該キャラクターの同期条件を設定する設定手段として機能させるようにしても良い。
また、第1生成処理ルーチン(移動制御処理ルーチン)により中央制御部301のCPUを、設定されている移動位置座標及び移動速度(動きの条件)に基づき各キャラクターを移動させてフレーム画像を生成する第1生成手段(移動制御手段)として機能させるようにしても良い。
また、第2生成処理ルーチン(生成処理ルーチン)により中央制御部301のCPUを、同期制御領域が重なっていると判断した場合、配置されているキャラクターに優先度が設定され、配置されているキャラクターに同期条件を満足するすると判断した場合、優先度の低いキャラクターの動きを、優先度が高いキャラクターの動きに同期させたフレーム画像を逐次生成する第2生成手段(生成手段)として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
第1及び第2画像をそれぞれ取得する取得ステップと、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成ステップと、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成ステップと
を含むことを特徴とする画像生成方法。
<請求項2>
前記設定ステップは、
前記第1及び第2画像に対して同期制御領域をそれぞれ設定し、
前記第2生成ステップは、
前記同期条件として前記第1及び第2画像の前記同期制御領域が互いに重なった場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項1に記載の画像生成方法。
<請求項3>
前記第2生成ステップは、
前記同期条件として前記第1及び第2画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項2に記載の画像生成方法。
<請求項4>
前記第2生成ステップは、
前記同期条件として前記第1若しくは第2画像の前記同期制御領域が互いに重なり、且つ、前記第1若しくは第2画像に設定されている演奏情報が予め設定されている演奏情報に一致する場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項2に記載の画像生成方法。
<請求項5>
前記設定ステップは、
前記第1及び第2画像にそれぞれ優先度を設定し、
前記第2生成ステップは、
前記第1及び第2画像の前記同期条件が成立した場合、優先度の低い画像の動きを、優先度の高い画像の動きに同期させたフレーム画像を生成することを特徴とする請求項1〜4の何れか一項に記載の画像生成方法。
<請求項6>
前記設定ステップは、
前記第1及び第2画像に対して同期内容をそれぞれ設定し、
前記第2生成ステップは、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きのうち前記同期内容に該当する動きのみを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項1〜4の何れか一項に記載の画像生成方法。
<請求項7>
前記同期内容が、
前記動きの種類及び前記動きの速度のうち少なくとも一方を含むことを特徴とする請求項6に記載の画像生成方法。
<請求項8>
前記同期制御領域の幅を設定可能にしたことを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。
<請求項9>
第1及び第2画像をそれぞれ取得する取得ステップと、
前記第1及び第2画像に対して、同期時間をそれぞれ設定する設定ステップと、
所定の動きの条件に基づいて前記第1及び第2画像を変形させながら複数のフレーム画像を生成する際に、前記同期時間が経過した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する生成ステップと
を含むことを特徴とする画像生成方法。
<請求項10>
前記第1及び第2画像を変形させながら複数のフレーム画像を生成する際に、それぞれを移動させる移動制御ステップを備え、
前記設定ステップは、
前記第1及び第2画像に対して同期制御領域をそれぞれ設定し、
前記移動制御ステップは、
前記同期時間に基づき前記同期時間経過後に前記第1及び第2画像の同期制御領域が重なるように、前記第1及び第2画像の移動すべき移動位置座標や移動速度を計算し、計算された移動位置座標や移動速度に基づき前記第1及び第2画像を移動させ、
前記生成ステップは、
同期条件として前記第1及び第2画像の前記同期制御領域が互いに重なった場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項9に記載の画像生成方法。
<請求項11>
前記第1及び第2画像は、
背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた画像であることを特徴とする請求項1〜10の何れか一項に記載の画像生成方法。
<請求項12>
第1及び第2画像をそれぞれ取得する取得手段と、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成手段と、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成手段と
を備えたことを特徴とする画像生成装置。
<請求項13>
コンピュータを、
第1及び第2画像をそれぞれ取得する取得手段と、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する移動制御手段と、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する生成手段と
して機能させることを特徴とするプログラム。
1 撮像装置
2 ユーザ端末
3 サーバ
201,301 中央制御部
202,303 通信制御部
203,302 表示部
204 音出力部
205 記録媒体制御部
206 操作入力部
304 被写体切抜部
305 記憶部
306 動画処理部
306g 同期設定部
306h 同期制御部
Claims (13)
- 第1及び第2画像をそれぞれ取得する取得ステップと、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定ステップと、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成ステップと、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成ステップと
を含むことを特徴とする画像生成方法。 - 前記設定ステップは、
前記第1及び第2画像に対して同期制御領域をそれぞれ設定し、
前記第2生成ステップは、
前記同期条件として前記第1及び第2画像の前記同期制御領域が互いに重なった場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項1に記載の画像生成方法。 - 前記第2生成ステップは、
前記同期条件として前記第1及び第2画像の前記同期制御領域が互いに重なった場合、前記同期制御領域の重なる回数に基づき、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項2に記載の画像生成方法。 - 前記第2生成ステップは、
前記同期条件として前記第1若しくは第2画像の前記同期制御領域が互いに重なり、且つ、前記第1若しくは第2画像に設定されている演奏情報が予め設定されている演奏情報に一致する場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項2に記載の画像生成方法。 - 前記設定ステップは、
前記第1及び第2画像にそれぞれ優先度を設定し、
前記第2生成ステップは、
前記第1及び第2画像の前記同期条件が成立した場合、優先度の低い画像の動きを、優先度の高い画像の動きに同期させたフレーム画像を生成することを特徴とする請求項1〜4の何れか一項に記載の画像生成方法。 - 前記設定ステップは、
前記第1及び第2画像に対して同期内容をそれぞれ設定し、
前記第2生成ステップは、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きのうち前記同期内容に該当する動きのみを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項1〜4の何れか一項に記載の画像生成方法。 - 前記同期内容が、
前記動きの種類及び前記動きの速度のうち少なくとも一方を含むことを特徴とする請求項6に記載の画像生成方法。 - 前記同期制御領域の幅を設定可能にしたことを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。
- 第1及び第2画像をそれぞれ取得する取得ステップと、
前記第1及び第2画像に対して、同期時間をそれぞれ設定する設定ステップと、
所定の動きの条件に基づいて前記第1及び第2画像を変形させながら複数のフレーム画像を生成する際に、前記同期時間が経過した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する生成ステップと
を含むことを特徴とする画像生成方法。 - 前記第1及び第2画像を変形させながら複数のフレーム画像を生成する際に、それぞれを移動させる移動制御ステップを備え、
前記設定ステップは、
前記第1及び第2画像に対して同期制御領域をそれぞれ設定し、
前記移動制御ステップは、
前記同期時間に基づき前記同期時間経過後に前記第1及び第2画像の同期制御領域が重なるように、前記第1及び第2画像の移動すべき移動位置座標や移動速度を計算し、計算された移動位置座標や移動速度に基づき前記第1及び第2画像を移動させ、
前記生成ステップは、
同期条件として前記第1及び第2画像の前記同期制御領域が互いに重なった場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成することを特徴とする請求項9に記載の画像生成方法。 - 前記第1及び第2画像は、
背景と被写体とが存在する画像から被写体が含まれる領域が切り抜かれた画像であることを特徴とする請求項1〜10の何れか一項に記載の画像生成方法。 - 第1及び第2画像をそれぞれ取得する取得手段と、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成手段と、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成手段と
を備えたことを特徴とする画像生成装置。 - コンピュータを、
第1及び第2画像をそれぞれ取得する取得手段と、
前記第1及び第2画像に対して同期条件及び動きの条件をそれぞれ設定する設定手段と、
前記動きの条件に基づいて前記第1及び第2画像を変形させながら、それぞれを移動させて複数のフレーム画像を生成する第1生成手段と、
前記第1及び第2画像の前記同期条件が成立した場合、前記第1及び第2画像のうちの何れか一方の画像の動きを、他方の画像の動きに同期させたフレーム画像を生成する第2生成手段と
して機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012063011A JP5891883B2 (ja) | 2012-03-21 | 2012-03-21 | 画像生成方法、画像生成装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012063011A JP5891883B2 (ja) | 2012-03-21 | 2012-03-21 | 画像生成方法、画像生成装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013196402A true JP2013196402A (ja) | 2013-09-30 |
JP5891883B2 JP5891883B2 (ja) | 2016-03-23 |
Family
ID=49395252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012063011A Expired - Fee Related JP5891883B2 (ja) | 2012-03-21 | 2012-03-21 | 画像生成方法、画像生成装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5891883B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040407A (ja) * | 1996-07-24 | 1998-02-13 | Nippon Telegr & Teleph Corp <Ntt> | 動画生成方法および装置 |
JP2000311251A (ja) * | 1999-02-26 | 2000-11-07 | Toshiba Corp | アニメーション作成装置および方法、記憶媒体 |
JP2008299693A (ja) * | 2007-06-01 | 2008-12-11 | Konami Digital Entertainment:Kk | キャラクター表示装置、キャラクター表示方法、ならびに、プログラム |
JP2011218231A (ja) * | 2011-08-12 | 2011-11-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
-
2012
- 2012-03-21 JP JP2012063011A patent/JP5891883B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040407A (ja) * | 1996-07-24 | 1998-02-13 | Nippon Telegr & Teleph Corp <Ntt> | 動画生成方法および装置 |
JP2000311251A (ja) * | 1999-02-26 | 2000-11-07 | Toshiba Corp | アニメーション作成装置および方法、記憶媒体 |
JP2008299693A (ja) * | 2007-06-01 | 2008-12-11 | Konami Digital Entertainment:Kk | キャラクター表示装置、キャラクター表示方法、ならびに、プログラム |
JP2011218231A (ja) * | 2011-08-12 | 2011-11-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
Non-Patent Citations (1)
Title |
---|
JPN6015047115; 村田 克之: 'フラクタル画像処理技術とリアルタイムCGの融合 "顔付きMusicDanceTM"' 東芝レビュー Vo.55 No.10 (2000), 20001001, P.9-12, 株式会社東芝 * |
Also Published As
Publication number | Publication date |
---|---|
JP5891883B2 (ja) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5434965B2 (ja) | 動画生成方法、動画生成装置及びプログラム | |
JP7053869B2 (ja) | ビデオ生成の方法、装置、電子機器及びコンピュータ読み取り可能記憶媒体 | |
JP2021520764A (ja) | 動画撮像方法、動画撮像装置、電子機器、およびコンピューター読取可能な記憶媒体 | |
JP6942300B2 (ja) | コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム | |
JP5454604B2 (ja) | 動画再生方法、動画再生装置及びプログラム | |
JP4692550B2 (ja) | 画像処理装置、その処理方法およびプログラム | |
JP5375897B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP6721570B2 (ja) | 楽曲再生システム、データ出力装置、及び楽曲再生方法 | |
KR102548644B1 (ko) | 신호 처리 장치 및 방법, 그리고 프로그램 | |
JP2022065175A (ja) | 音響処理装置および方法、並びにプログラム | |
JP5408205B2 (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
JP2018139096A (ja) | 情報処理装置およびプログラム | |
US20230033201A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5891883B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP6154597B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
JP5408206B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
CN111903136A (zh) | 信息处理装置、信息处理方法和程序 | |
JP5919926B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP5874426B2 (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
JP5906897B2 (ja) | 動き情報生成方法、動き情報生成装置及びプログラム | |
JP5776442B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP6028489B2 (ja) | 動画再生装置、動画再生方法、及びプログラム | |
JP2012128630A (ja) | 動画生成装置 | |
JP4967983B2 (ja) | 情報記録装置及びプログラム | |
JP2009206986A (ja) | 画像出力装置及び画像出力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5891883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |