JP2016029854A - Notification control device, notification control method and program - Google Patents
Notification control device, notification control method and program Download PDFInfo
- Publication number
- JP2016029854A JP2016029854A JP2015223858A JP2015223858A JP2016029854A JP 2016029854 A JP2016029854 A JP 2016029854A JP 2015223858 A JP2015223858 A JP 2015223858A JP 2015223858 A JP2015223858 A JP 2015223858A JP 2016029854 A JP2016029854 A JP 2016029854A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- moving image
- notification control
- predetermined frame
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、動画像中の所定のフレームを特定する報知制御装置、報知制御方法及びプログラムに関する。 The present invention relates to a notification control device, a notification control method, and a program for specifying a predetermined frame in a moving image.
従来、動画再生技術において、フレームの早送り操作や巻き戻し操作(以下、「送り操作」)をすることで、ユーザが所定のフレームを表示させる技術が一般に知られている(例えば、特許文献1)。 2. Description of the Related Art Conventionally, in a moving image reproduction technique, a technique in which a user displays a predetermined frame by performing a fast forward operation or a rewind operation (hereinafter, “forward operation”) is generally known (for example, Patent Document 1). .
しかしながら、特許文献1の技術では、動画像中のユーザが所望のフレームの時点から再生する場合、ユーザは所望のフレームが表示できたか否かを目視にて判断する。しかしながら、一般に目視にて動画像中の所望のフレームをユーザが特定するのは難しいため、表示されたフレームが所望のフレームの時点を過ぎてしまうことがある。
However, in the technique of
本発明は、このような状況に鑑みてなされたものであり、ユーザが動画像中の所望のフレームを特定し易くすることを目的とする。 SUMMARY An advantage of some aspects of the invention is that it is easy for a user to specify a desired frame in a moving image.
上記目的を達成するため、本発明の一態様の報知制御装置は、
動画像を取得する取得手段と、
前記取得手段により取得された前記動画像を構成する複数のフレームのうち、ユーザによる複数種の送り操作に応じたフレームを特定する特定手段と、
前記特定手段により特定された前記フレームが所定のフレームである場合、前記所定の
フレームが特定されたことを報知する報知制御手段と、
を備えることを特徴とする。
In order to achieve the above object, a notification control apparatus according to an aspect of the present invention includes:
An acquisition means for acquiring a moving image;
A specifying unit for specifying a frame corresponding to a plurality of types of sending operations by a user among a plurality of frames constituting the moving image acquired by the acquiring unit;
Notification control means for notifying that the predetermined frame is specified when the frame specified by the specifying means is a predetermined frame;
It is characterized by providing.
本発明によれば、ユーザが動画像中の所望のフレームを特定し易くできる。 According to the present invention, a user can easily specify a desired frame in a moving image.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[構成]
図1は、本発明の実施形態に係る報知制御装置のハードウェアの構成を示すブロック図である。
[Constitution]
FIG. 1 is a block diagram showing a hardware configuration of a notification control apparatus according to an embodiment of the present invention.
報知制御装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、タッチパネル16と、表示部17と、記憶部18と、通信部19と、振動デバイス20と、ドライブ21と、を備えている。
The
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムにしたがって各種の処理を実行する。
The
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、タッチパネル16、表示部17、記憶部18、通信部19、振動デバイス20及びドライブ21が接続されている。
The
タッチパネル16は、表示部17の表示画面に積層される静電容量式又は抵抗膜式のタッチパネルとして構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、タッチパネル16に対する物体(ユーザの指やタッチペン等)の接触又は近接の操作をいう。
表示部17は、ディスプレイにより構成され画像を表示する。
記憶部18は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部19は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
振動デバイス20は、CPU11から受信した制御信号に基づいて、報知制御装置1の筐体等を振動させる。
The
The
The
The
The
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア31は、記憶部18に記憶されている画像のデータ等の各種データも、記憶部18と同様に記憶することができる。
A
図2は、このような報知制御装置1の機能的構成のうち、報知制御処理を実行するための機能的構成を示す機能ブロック図である。
報知制御処理とは、ユーザによる送り操作により特定された動画像中のフレームが、被写体の動作の特定の姿勢に対応する所定のフレームである場合に、当該所定のフレームが特定されたことを報知するための処理をいう。
本実施形態において、被写体の動作の特定の姿勢とは、ゴルフのスイングの姿勢のうち、図3に示すような、「アドレス」の姿勢、「バック」の姿勢、「トップ」の姿勢、「ダウン」の姿勢、「インパクト」の姿勢、「フォロー」の姿勢、及び「フィニッシュ」の姿勢の7種類の姿勢のことをいう。そして、これらの所定の姿勢に対応するフレームが、本実施形態での所定のフレームである。
FIG. 2 is a functional block diagram illustrating a functional configuration for executing the notification control process among the functional configurations of the
The notification control process notifies that the predetermined frame is specified when the frame in the moving image specified by the sending operation by the user is the predetermined frame corresponding to the specific posture of the movement of the subject. This is the process to do.
In the present embodiment, the specific posture of the movement of the subject includes the “address” posture, the “back” posture, the “top” posture, “down” among the golf swing postures shown in FIG. ”Posture,“ impact ”posture,“ follow ”posture, and“ finish ”posture. The frames corresponding to these predetermined postures are the predetermined frames in the present embodiment.
報知制御処理が実行される場合には、図2に示すように、CPU11において、動画像取得部41と、再生部42と、一時停止部43と、特定部44と、表示制御部45と、特定フレーム判別部46と、特定フレーム数算出部47と、報知情報取得部48と、報知制御部49と、が機能する。
When the notification control process is executed, as shown in FIG. 2, in the
ただし、図2は例示であり、CPU11の機能の少なくとも一部を、GA(Graphics Accelerator)等の画像処理を行うハードウェアを備えて、これに委譲しても良い。
However, FIG. 2 is an exemplification, and at least a part of the functions of the
報知制御処理が実行される場合、記憶部18の一領域として設けられた、動画像記憶部61と、報知情報記憶部62とが用いられる。
動画像記憶部61においては、予め撮像された動画像(複数のフレーム)のデータが記憶されている。本実施形態では、当該動画像の内容は、ゴルフのプレーヤにおける一連のゴルフのスイングの様子である。
報知情報記憶部62においては、後述する各所定のフレームに対応する報知情報が予め記憶されている。
When the notification control process is executed, a moving
The moving
In the notification information storage unit 62, notification information corresponding to each predetermined frame described later is stored in advance.
動画像取得部41は、動画像記憶部61に記憶された動画像のデータを読み出す。即ち、動画像取得部41は、動画像記憶部61に記憶された動画像のデータを、フレームを単位として順次デコードしつつ、デコードされた一連のフレームのデータをRAM13に記憶する。
The moving image acquisition unit 41 reads out moving image data stored in the moving
再生部42は、動画像取得部41によって取得された動画像のデータの再生を実行する。例えば、当該再生は、図3に示す再生ボタン71がタッチ操作された場合に実行される。
The
一時停止部43は、再生部42によって実行された動画像のデータの再生を一時停止する処理を実行する。例えば、当該一時停止の処理は、当該再生が実行されている状態で、図3に示す再生ボタン71がタッチ操作された場合に実行される。
The
特定部44は、動画像のデータの再生が一時停止部43によって一時停止された状態で、ユーザによる送り操作が行われることに応じて、動画像中のフレームを特定する。ここで、動画像中のフレームは複数あり、各フレームが、被写体のゴルフスイングの一連の動作に夫々対応している。したがって、ユーザによる送り操作に応じた当該一連の動作に対応するフレームが、特定部44によって特定される。
送り操作は、図3に示す早送りボタン72或いは巻き戻しボタン73が継続してタッチ操作された場合に実行される。また、スキップボタン74,75がタッチ操作された場合にも、送り操作は実行される。ただし、スキップボタン74がタッチ操作された場合、所定数先のフレームまでスキップされる。一方、スキップボタン75がタッチされた場合、所定数前のフレームまでスキップされる。
なお、本実施形態では、再生ボタン71、早送りボタン72、巻き戻しボタン73、及びスキップボタン74,75をまとめて、「動画コントローラ」と呼ぶ。
また、送り操作は、図3に示すシークバー80に対するタッチ操作がされた場合にも実行される。シークバー80に対するタッチ操作が右方向(図3のR方向)に沿った操作である場合、早送り操作が実行される。一方、シークバー80に対するタッチ操作が左方向(図3のL方向)に沿った操作である場合、巻き戻し操作が実行される。また、シークバー80の任意の箇所がタッチ操作された場合、当該箇所に対応したフレームまでスキップされる。例えば、シークバー80上のポイント81の箇所がタッチ操作された場合、「アドレス」の姿勢に対応する所定のフレームまで、スキップされる。以下、同様に、ポイント82の箇所の場合、「バック」の姿勢に対応する所定のフレーム、ポイント83の箇所の場合、「トップ」の姿勢に対応する所定のフレーム、ポイント84の箇所の場合、「ダウン」の姿勢に対応する所定のフレーム、ポイント85の箇所の場合、「インパクト」の姿勢に対応する所定のフレーム、ポイント86の箇所の場合、「フォロー」の姿勢に対応する所定のフレーム、ポイント87の箇所の場合、「フィニッシュ」の姿勢に対応する所定のフレーム、までスキップされる。
なお、これらの所定のフレームは、1以上のフレームで構成されており、特定の姿勢ごとに定められた所定時間におけるフレーム数で構成される。例えば、「インパクト」におけるスイングのスピードが速いほど、「インパクト」の姿勢に対して定められた時間におけるフレーム数は少なくなる。
ここで、本実施形態において、これらポイント81〜86は、説明の便宜上用いられており、表示部17には表示されない。
なお、本実施形態では、動画コントローラ及びシークバー80の両方に対するタッチ操作が有効であるが、いずれか一方のみが有効であるようにしてもよい。
The
The forward operation is executed when the fast
In the present embodiment, the
The feeding operation is also executed when a touch operation is performed on the seek
Note that these predetermined frames are composed of one or more frames, and are composed of the number of frames in a predetermined time determined for each specific posture. For example, the faster the swing speed in “impact”, the smaller the number of frames in the time determined for the “impact” posture.
Here, in the present embodiment, these
In the present embodiment, the touch operation on both the moving image controller and the seek
図2に戻って、表示制御部45は、特定部44により特定されたフレームのデータを表示部17に表示させる。即ち、表示制御部45は、ユーザによる送り操作に応じて特定されたフレームのデータを表示部17に表示させる。したがって、表示部17には、動画像が一時停止された状態で、ユーザによる送り操作に応じて特定されたフレームのデータが表示される。
Returning to FIG. 2, the
特定フレーム判別部46は、表示制御部45によって表示されたフレームのデータが、上述した何れかの種類の姿勢に対応する所定のフレームであるか否かを判別する。
特定フレーム判別部46により、所定のフレームでないと判別された場合には、特定部44により特定されて表示制御部45によって表示されたフレームのデータが所定のフレームであると判別されるまで、特定部44及び表示制御部45による処理が繰り返される。
一方、特定フレーム判別部46により、所定のフレームであると判別された場合には、特定フレーム判別部46は、更に、当該所定のフレームが「インパクト」の姿勢に対応するフレームであるか否かを判別する。
The specific
If it is determined by the specific
On the other hand, when the specific
当該所定のフレームが「インパクト」の姿勢に対応するフレームである場合、特定フレーム数算出部47は、「インパクト」の姿勢に対応するフレームの数を算出する。「インパクト」の姿勢に対応するフレームの数は、「インパクト」の姿勢に対して定められた時間におけるフレーム数である。 When the predetermined frame is a frame corresponding to the “impact” posture, the specific frame number calculation unit 47 calculates the number of frames corresponding to the “impact” posture. The number of frames corresponding to the “impact” posture is the number of frames at a time determined for the “impact” posture.
報知情報取得部48は、上述した各所定のフレームに対応する報知情報を報知情報記憶部62から取得する。報知情報取得部48は、例えば、上述した各所定のフレームに対応した振動情報(振動パターンに関する情報)を取得する。
振動パターンについては、例えば、図4に示すように、各所定のフレームに共通した振動パターンが対応するように、振動パターンの情報が報知情報記憶部62に格納されている。
又は、例えば、図5に示すように、「トップ」の姿勢に対応する所定のフレームに特有の振動パターン、「インパクト」の姿勢に対応する所定のフレームに特有の振動パターン、などというように、各所定のフレームに定められた振動パターンの情報が報知情報記憶部62に格納されている。
更に、報知情報取得部48は、特定フレーム判別部46により、所定のフレームが「インパクト」の姿勢に対応するフレームであると判別された場合、特定フレーム数算出部47により算出されたフレーム数に応じて、振動パターンを変化させる。ところで、上述したように、特定フレーム数算出部47により算出されたフレーム数が少ないほど、「インパクト」におけるスイングのスピードが速くなる。したがって、報知情報取得部48は、特定フレーム数算出部47により算出されたフレーム数が少ないほど、「インパクト」の姿勢に対応するフレームを表示する際の振動パターンの振動の強さを大きくする。したがって、図6に示すように、「インパクト」におけるスイングのスピードが速いほど、振動パターンの振動の強さが大きくなる。
The notification
As for the vibration pattern, for example, as shown in FIG. 4, information on the vibration pattern is stored in the notification information storage unit 62 so that the vibration pattern common to each predetermined frame corresponds.
Or, for example, as shown in FIG. 5, a vibration pattern specific to a predetermined frame corresponding to the “top” posture, a vibration pattern specific to a predetermined frame corresponding to the “impact” posture, etc. Information on the vibration pattern determined for each predetermined frame is stored in the notification information storage unit 62.
Furthermore, when the specific
なお、報知情報は、振動に限られず、音色及び音量、又は表示態様であってもよい。即ち、所定のフレームごとに、音色及び音量、又は表示態様が定められて報知情報記憶部62に格納されていてもよい。ここで、報知情報が音色及び音量に関する情報である場合、報知情報が振動である場合の振動が継続する時間と同等の時間、音色が発音される。また、振動の強さに対応する音量で音色が発音される。即ち、振動の強さが大きいほど、音量も大きくなる。また、報知情報が表示態様に関する情報である場合、報知情報が振動である場合の振動が継続する時間と同等の時間、表示態様が報知される。
なお、タッチパネル16をユーザが操作することにより、報知情報の種類を変更できるようにしてもよい。
The notification information is not limited to vibration, and may be a tone color and volume, or a display mode. That is, for each predetermined frame, a timbre and volume, or a display mode may be determined and stored in the notification information storage unit 62. Here, when the notification information is information relating to the timbre and the volume, the timbre is sounded for a time equivalent to the duration of vibration when the notification information is vibration. Also, the timbre is pronounced at a volume corresponding to the strength of vibration. That is, the greater the strength of vibration, the greater the volume. Further, when the notification information is information related to the display mode, the display mode is notified for a time equivalent to the time during which the vibration continues when the notification information is vibration.
Note that the type of the notification information may be changed by the user operating the
図2に戻って、報知制御部49は、報知情報取得部48により取得された報知情報(振動パターン)を、振動デバイス20に送信する。報知情報が、音色又は音量である場合、報知制御部49は、報知情報取得部48により取得された報知情報(音色及び音量に関する情報)を、音源部(図示せず)、オーディオ回路(図示せず)及びスピーカ(図示せず)を備えるサウンドシステム(図示せず)に送信する。報知情報が、表示である場合、報知制御部49は、報知情報取得部48により取得された報知情報(表示態様に関する情報)を、表示部17に表示させる。
Returning to FIG. 2, the
[報知制御処理]
続いて、報知制御装置1が実行する報知制御処理について説明する。
図7は、図2の機能構成を有する図1の報知制御装置1が実行する報知制御処理の流れの一例を示すフローチャートである。
[Notification control processing]
Then, the notification control process which the
FIG. 7 is a flowchart showing an example of a flow of notification control processing executed by the
図7において、動画像のデータの取得が開始されるために、報知制御装置1のタッチパネル16が操作されると、次のようなステップS1乃至S10の処理が実行される。
In FIG. 7, when the
ステップS1において、動画像取得部41は、動画像記憶部61に記憶された動画像のデータを読み出す。即ち、動画像取得部41は、動画像記憶部61に記憶された動画像のデータを、フレームを単位として順次デコードしつつ、デコードされた一連のフレームのデータをRAM13に記憶する。
In step S <b> 1, the moving image acquisition unit 41 reads out moving image data stored in the moving
ステップS2において、再生部42は、ステップS1にて取得された動画像のデータの再生を実行する。
ステップS3において、一時停止部43は、ステップS2にて実行された動画像のデータの再生を一時停止する処理を実行する。
In step S2, the
In step S <b> 3, the
ステップS4において、特定部44は、動画像のデータの再生がステップS3にて一時停止された状態で、ユーザによる送り操作に応じて、動画像中のフレームを特定する。ここで、動画像中のフレームは複数あり、各フレームが、被写体のゴルフスイングの一連の動作に夫々対応している。したがって、ユーザによる送り操作に応じた当該一連の動作に対応するフレームが、特定部44によって特定される。
In step S4, the specifying
ステップS5において、表示制御部45は、ステップS4にて特定されたフレームのデータを表示部17に表示させる。即ち、表示制御部45は、ユーザによる送り操作に応じて特定されたフレームのデータを表示部17に表示させる。したがって、表示部17には、動画像が一時停止された状態で、ユーザによる送り操作に応じて特定されたフレームのデータが表示される。
In step S5, the
ステップS6において、特定フレーム判別部46は、ステップS5にて表示されるフレーム姿勢が、上述した7種類の何れかの姿勢に対応する所定のフレームであるか否かを判別する。
ステップS6において、上述した7種類の何れかの姿勢に対応する所定のフレームでないと判別された場合には、特定フレーム判別部46は、ステップS4に処理を戻す。即ち、ステップS4にて特定されてステップS5にて表示されたフレームのデータが何れかの姿勢に対応する所定のフレームであると判別されるまで、ステップS4〜S6までの処理が繰り返される。
一方、ステップS6において、所定のフレームであると判別された場合には、特定フレーム判別部46は、ステップS7に処理を移す。
In step S6, the specific
If it is determined in step S6 that the frame is not a predetermined frame corresponding to any of the seven types of postures described above, the specific
On the other hand, if it is determined in step S6 that the frame is a predetermined frame, the specific
ステップS7において、特定フレーム判別部46は、表示されるフレームが、「アドレス」、「バック」、「トップ」、「インパクト」、「フォロー」、及び「フィニッシュ」の何れかの姿勢に対応する所定のフレームのうち、「インパクト」の姿勢に対応する所定のフレームか否かを判別する。
ステップS7において、上述した7種類の姿勢のうちの一つに対応する所定のフレームとして、例えば、当該所定のフレームにおけるプレイヤの姿勢が「インパクト」の姿勢に対応するフレームであると判別された場合、ステップS8に処理が移行される。
ステップS8において、特定フレーム数算出部47は、「インパクト」の姿勢に対応するフレームの数を算出する。「インパクト」の姿勢に対応するフレームの数は、「インパクト」の姿勢に対して定められた時間におけるフレーム数である。
一方、ステップS7において、当該所定のフレームが「インパクト」の姿勢に対応すると判別されない場合、ステップS9に処理が移行される。
In step S <b> 7, the specific
In step S7, as a predetermined frame corresponding to one of the seven types of postures described above, for example, when it is determined that the player posture in the predetermined frame is a frame corresponding to the “impact” posture. Then, the process proceeds to step S8.
In step S <b> 8, the specific frame number calculation unit 47 calculates the number of frames corresponding to the “impact” posture. The number of frames corresponding to the “impact” posture is the number of frames at a time determined for the “impact” posture.
On the other hand, if it is not determined in step S7 that the predetermined frame corresponds to the “impact” posture, the process proceeds to step S9.
ステップS9において、報知情報取得部48は、所定のフレームに対応する報知情報を報知情報記憶部62から取得する。報知情報取得部48は、例えば、上述した7種類の姿勢のうち、いずれかの姿勢に関連する所定のフレームに対応した振動情報を取得する。
更に、報知情報取得部48は、ステップS7にて所定のフレームが「インパクト」の姿勢に対応するフレームであると判別された場合、ステップS8にて算出されたフレーム数に応じて、「インパクト」の姿勢に対応する振動パターンを変化させる。ところで、上述したように、特定フレーム数算出部47により算出されたフレーム数が少ないほど、「インパクト」におけるスイングのスピードが速い。したがって、報知制御部49は、後述するステップS10において、ステップS8にて算出されたフレーム数が少ないほど、「インパクト」の姿勢に対応するフレームの振動パターンの強さを大きくする。
In step S <b> 9, the notification
Furthermore, when it is determined in step S7 that the predetermined frame is a frame corresponding to the “impact” posture, the notification
ステップS10において、報知制御部49は、ステップS9にて取得された振動パターンの情報を、振動デバイス20に送信する。報知情報が、音色又は音量に関する情報である場合、報知制御部49は、ステップS9にて取得された音色及び音量に関する情報を、音源部(図示せず)、オーディオ回路(図示せず)及びスピーカ(図示せず)を備えるサウンドシステム(図示せず)に送信する。報知情報が、表示態様に関する情報である場合、報知制御部49は、ステップS9にて取得された表示態様に関する情報を、表示部17に表示させる。
In step S <b> 10, the
以上、本発明の実施形態について説明した。
以上のような報知制御処理を実行する報知制御装置1は、動画像取得部41と、特定部44と、報知制御部49とを備える。
動画像取得部41は、動画像記憶部61に記憶された一連のゴルフのスイングの動画像を取得する。
特定部44は、動画像取得部41により取得された動画像を構成する複数のフレームのうち送り操作に応じたフレームを特定する。
報知制御部49は、特定部44により特定されたフレームが所定のフレームである場合、所定のフレームが特定されたことを報知する。
したがって、ユーザが動画像中の所望するフレームを特定し易くできる。
The embodiment of the present invention has been described above.
The
The moving image acquisition unit 41 acquires a series of golf swing moving images stored in the moving
The specifying
When the frame specified by the specifying
Therefore, the user can easily specify a desired frame in the moving image.
所定のフレームは複数種類あり、
報知制御部49は、所定のフレームの種類に対応した報知を実行する。
したがって、所定のフレームの種類に応じて報知の態様が変わるので、ユーザが動画像中の所望するフレームを特定し易くできる。
There are multiple types of predetermined frames,
The
Accordingly, since the notification mode changes according to the type of the predetermined frame, the user can easily specify a desired frame in the moving image.
所定のフレームは、1以上のフレームを含み、
報知制御部49は、所定のフレームが含むフレームの数に応じて、報知の強弱を制御する。
したがって、例えば、所定のフレームが「インパクト」の時点である場合、スイングのスピードに応じて、報知としての振動又は音量の強弱を制御できる。
The predetermined frame includes one or more frames,
The
Therefore, for example, when the predetermined frame is at the time of “impact”, it is possible to control the vibration or volume level as notification according to the speed of the swing.
また、報知制御装置1は、再生部42と、表示部17と、一時停止部43と、表示制御部45と、更に備える。
再生部42は、動画像を再生する。
表示部17には、再生部42により再生された動画像を構成する複数のフレームが表示される。
一時停止部43は、再生部42による動画像の再生を一時停止する。
表示制御部45は、一時停止部43により動画像の再生が一時停止された状態で、特定部44により特定されたフレームを表示部17に順次表示する。
報知制御部49は、表示制御部45により順次表示されたフレームが所定のフレームに至った場合、当該所定のフレームが特定されたことを報知する。
したがって、動画像を一時停止した状態で、表示部に表示された画像を確認しながら、ユーザが所望するフレームを特定できる。
The
The
On the
The
The
When the frames sequentially displayed by the
Therefore, it is possible to specify the frame desired by the user while confirming the image displayed on the display unit while the moving image is temporarily stopped.
送り操作は、表示部17におけるシークバー80に対するタッチ操作でも可能である。
したがって、容易かつ直感的に、ユーザが所望するフレームを特定できる。
The feeding operation can also be performed by a touch operation on the seek
Therefore, the frame desired by the user can be specified easily and intuitively.
報知制御部49は、所定のフレームが特定されたことの報知を、音、表示態様、又は振動のいずれかにより実行する。
したがって、報知のバリエーションが増えるので、ユーザが所望するフレームを特定する際の楽しみが増える。
The
Therefore, since the variation of notification increases, the pleasure at the time of specifying the frame desired by the user increases.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、スキップボタン74,75がタッチ操作された場合、所定数先又は所定数前のフレームまでスキップされるとしたが、これに限られない。つまり、所定数先又は所定数前のフレームまでスキップするのではなく、再生位置から直近の所定のフレームまでスキップするようにしても良い。
また、上述の実施形態の図7のフローチャートは、ステップS3による動画像一時停止時に行われたが、これに限られない。つまり、ステップS3の動画像一時停止時ではなくとも、ステップS2の動画像再生中にステップS4以降の処理を行っても本発明の目的を十分に達成できる。
また、ステップS7〜S10の処理において、インパクト時の特定フレーム数によって当該インパクト時の報知の強弱を制御するようにしたがこれに限られない。つまり、動画像中の動きベクトルを算出するようにすることで、インパクト時のスイングの速さを算出し、報知の強弱を制御しても良い。
また、当該報知の強弱の制御は、インパクト時としたがこれに限られず、「アドレス」、「バック、「トップ」、「フォロー」、及び「フィニッシュ」の何れでも行っても良い。
また、上述の実施形態では、特定されたフレームが所定のフレームである場合にのみ、報知が実行されたが、これに限られない。例えば、図8に示すように、動画中においてスイングがなされている最中には常に微小な振動が生じることに加え、スイングが停止する場合(スイングの始まり(アドレス)まで、トップ、スイングの終わり(フィニッシュ)以降)には、振動が停止されるようにしてもよい。これにより、実際にゴルフクラブを握っているかのような臨場感をユーザに与えることができる。
In the above-described embodiment, when the
Moreover, although the flowchart of FIG. 7 of the above-mentioned embodiment was performed at the time of the moving image temporary stop by step S3, it is not restricted to this. That is, even if the moving image is not paused in step S3, the object of the present invention can be sufficiently achieved even if the processing after step S4 is performed during the moving image reproduction in step S2.
Moreover, in the process of step S7-S10, although the strength of the alerting | reporting at the time of the said impact was controlled by the specific frame number at the time of an impact, it is not restricted to this. That is, by calculating the motion vector in the moving image, the speed of swing at the time of impact may be calculated to control the strength of notification.
The control of the strength of the notification is performed at the time of impact, but is not limited to this, and any of “address”, “back,“ top ”,“ follow ”, and“ finish ”may be performed.
In the above-described embodiment, the notification is executed only when the specified frame is a predetermined frame, but the present invention is not limited to this. For example, as shown in FIG. 8, in addition to the fact that a minute vibration always occurs during a swing in a moving image, the swing stops (top, end of swing until the start of swing (address)). After (finish), the vibration may be stopped. As a result, it is possible to give the user a realistic feeling as if he / she is actually holding a golf club.
また、上述の実施形態では、特定の姿勢として、「アドレス」の姿勢等の7種類の姿勢を定義したが、これに限られず、その他の状態を定義してもよい。また、特定の姿勢の種類の数は、6種類以下でも、8種類以上でもよい。 In the above-described embodiment, seven types of postures such as the “address” posture are defined as specific postures. However, the present invention is not limited to this, and other states may be defined. Further, the number of types of specific postures may be six or less, or eight or more.
また、上述の実施形態では、ゴルフスイングが写された動画像のデータを対象として、本発明を適用する場合を例に挙げて説明したが、本発明は、種々の動作に適用することができる。例えば、野球のバットのスイング、テニスのラケットのスイング或いはダンスの振り付け等の各種スポーツの動作に適用することが可能である。 Further, in the above-described embodiment, the case where the present invention is applied to the data of a moving image in which a golf swing is captured has been described as an example. However, the present invention can be applied to various operations. . For example, the present invention can be applied to various sports such as a baseball bat swing, a tennis racket swing, or a dance choreography.
また、上述の実施形態では、本発明が適用される報知制御装置1は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が報知制御装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部18に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
動画像を取得する取得手段と、
前記取得手段により取得された前記動画像を構成する複数のフレームのうち、送り操作に応じたフレームを特定する特定手段と、
前記特定手段により特定された前記フレームが所定のフレームである場合、前記所定のフレームが特定されたことを報知する報知制御手段と、
を備えることを特徴とする報知制御装置。
[付記2]
前記所定のフレームは複数種類あり、
前記報知制御手段は、当該所定のフレームの種類に対応した報知を実行する、
ことを特徴とする付記1に記載の報知制御装置。
[付記3]
前記所定のフレームは、1以上のフレームを含み、
前記報知制御手段は、前記所定のフレームが含むフレームの数に応じて、報知の強弱を制御する、
ことを特徴とする付記1又は2に記載の報知制御装置。
[付記4]
前記動画像を再生する再生手段と、
前記再生手段により再生された前記動画像を構成する複数のフレームが表示される表示手段と、
前記再生手段による前記動画像の再生を一時停止する一時停止手段と、
前記一時停止手段により前記動画像の再生が一時停止された状態で、前記特定手段により特定された前記フレームを前記表示手段に順次表示する表示制御手段と、を更に備え、
前記報知制御手段は、前記表示制御手段により順次表示されたフレームが所定のフレームに至った場合、前記所定のフレームが特定されたことを報知する、
ことを特徴とする付記1から3のいずれかに記載の報知制御装置。
[付記5]
前記送り操作は、前記表示手段における所定の領域に対する接触操作である、
ことを特徴とする付記4に記載の報知制御装置。
[付記6]
前記報知制御手段は、前記所定のフレームが特定されたことの報知を、音、表示態様、又は振動のいずれかにより実行する、
ことを特徴とする付記1から5のいずれかに記載の報知制御装置。
[付記7]
報知制御装置が実行する方法であって、
動画像を取得する取得ステップと、
前記取得ステップにより取得された前記動画像を構成する複数のフレームのうち、送り操作に応じたフレームを特定する特定ステップと、
前記特定ステップにより特定された前記フレームが所定のフレームである場合、前記所定のフレームが特定されたことを報知する報知制御ステップと、
を含むことを特徴とする報知制御方法。
[付記8]
コンピュータを、
動画像を取得する取得手段、
前記取得手段により取得された前記動画像を構成する複数のフレームのうち、送り操作に応じたフレームを特定する特定手段、
前記特定手段により特定された前記フレームが所定のフレームである場合、前記所定のフレームが特定されたことを報知する報知制御手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
An acquisition means for acquiring a moving image;
A specifying unit for specifying a frame corresponding to a sending operation among a plurality of frames constituting the moving image acquired by the acquiring unit;
Notification control means for notifying that the predetermined frame is specified when the frame specified by the specifying means is a predetermined frame;
A notification control apparatus comprising:
[Appendix 2]
There are multiple types of the predetermined frame,
The notification control means executes notification corresponding to the type of the predetermined frame;
The notification control apparatus according to
[Appendix 3]
The predetermined frame includes one or more frames,
The notification control means controls the strength of notification according to the number of frames included in the predetermined frame.
The notification control apparatus according to
[Appendix 4]
Playback means for playing back the moving image;
Display means for displaying a plurality of frames constituting the moving picture reproduced by the reproducing means;
Pausing means for pausing reproduction of the moving image by the reproducing means;
Display control means for sequentially displaying the frames specified by the specifying means on the display means in a state where reproduction of the moving image is temporarily stopped by the pause means;
The notification control means notifies that the predetermined frame is specified when the frames sequentially displayed by the display control means reach the predetermined frame.
The notification control apparatus according to any one of
[Appendix 5]
The feeding operation is a contact operation with respect to a predetermined area in the display means.
The notification control apparatus according to supplementary note 4, characterized by:
[Appendix 6]
The notification control means performs notification that the predetermined frame has been specified by either sound, display mode, or vibration.
The notification control device according to any one of
[Appendix 7]
A method executed by a notification control device,
An acquisition step of acquiring a moving image;
A specifying step for specifying a frame corresponding to a sending operation among a plurality of frames constituting the moving image acquired by the acquiring step;
When the frame specified by the specifying step is a predetermined frame, a notification control step for notifying that the predetermined frame has been specified;
The information control method characterized by including.
[Appendix 8]
Computer
An acquisition means for acquiring a moving image;
A specifying unit for specifying a frame corresponding to a sending operation among a plurality of frames constituting the moving image acquired by the acquiring unit;
Notification control means for notifying that the predetermined frame is specified when the frame specified by the specifying means is a predetermined frame;
A program characterized by functioning as
1・・・報知制御装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・タッチパネル,17・・・表示部,18・・・記憶部,19・・・通信部,20・・・振動デバイス,21・・・ドライブ,31・・・リムーバブルメディア,41・・・動画像取得部,42・・・再生部,43・・・一時停止部,44・・・特定部,45・・・表示制御部,46・・・特定フレーム判別部,47・・・特定フレーム数算出部,48・・・報知情報取得部,49・・・報知制御部,61・・・動画像記憶部,62・・・報知情報記憶部,71・・・再生ボタン、72・・・早送りボタン、73・・・巻き戻しボタン、74,75・・・スキップボタン、81〜87・・・ポイント
DESCRIPTION OF
上記目的を達成するため、本発明の一態様の報知制御装置は、
所定の情報と関連付けられた少なくとも1つのフレーム群と、当該フレーム群とは異なる少なくとも1つのフレームとを含む動画像を取得する取得手段と、
前記取得手段により取得された前記動画像から所定のフレームを特定する特定手段と、
前記特定手段により特定された前記所定のフレームが前記フレーム群に含まれるフレームである場合、前記所定のフレームが特定されたことを報知するとともに、前記フレーム群を構成するフレームの枚数に応じた報知をする報知制御手段と、
を備えることを特徴とする。
In order to achieve the above object, a notification control apparatus according to an aspect of the present invention includes:
Acquisition means for acquiring a moving image including at least one frame group associated with the predetermined information and at least one frame different from the frame group ;
Specifying means for specifying a predetermined frame from the moving image acquired by the acquiring means;
When the predetermined frame specified by the specifying means is a frame included in the frame group, it notifies that the predetermined frame has been specified, and notifies according to the number of frames constituting the frame group and a notification control means for the,
It is characterized by providing.
Claims (9)
前記取得手段により取得された前記動画像を構成する複数のフレームのうち、ユーザに
よる複数種の送り操作に応じたフレームを特定する特定手段と、
前記特定手段により特定された前記フレームが所定のフレームである場合、前記所定の
フレームが特定されたことを報知する報知制御手段と、
を備えることを特徴とする報知制御装置。 An acquisition means for acquiring a moving image;
A specifying unit for specifying a frame corresponding to a plurality of types of sending operations by a user among a plurality of frames constituting the moving image acquired by the acquiring unit;
Notification control means for notifying that the predetermined frame is specified when the frame specified by the specifying means is a predetermined frame;
A notification control apparatus comprising:
前記報知制御手段は、当該所定のフレームの種類に対応した報知を実行する、
ことを特徴とする請求項1に記載の報知制御装置。 There are multiple types of the predetermined frame,
The notification control means executes notification corresponding to the type of the predetermined frame;
The notification control apparatus according to claim 1.
フレームであり、
前記報知制御手段は、前記被写体の動作における所定の姿勢が撮像されたフレームの数
に応じて、報知の強弱を制御する、
ことを特徴とする請求項1又は2に記載の報知制御装置。 The predetermined frame is a frame in which a predetermined posture in the motion of the subject in the moving image is captured,
The notification control means controls the strength of notification according to the number of frames in which a predetermined posture in the movement of the subject is imaged.
The notification control apparatus according to claim 1 or 2, wherein
前記再生手段により再生された前記動画像を構成する複数のフレームが表示される表示
手段と、
前記再生手段による前記動画像の再生を一時停止する一時停止手段と、
前記一時停止手段により前記動画像の再生が一時停止された状態で、前記特定手段によ
り特定された前記フレームを前記表示手段に順次表示する表示制御手段と、を更に備え、
前記報知制御手段は、前記表示制御手段により順次表示されたフレームが所定のフレー
ムに至った場合、前記所定のフレームが特定されたことを報知する、
ことを特徴とする請求項1から3のいずれかに記載の報知制御装置。 Playback means for playing back the moving image;
Display means for displaying a plurality of frames constituting the moving picture reproduced by the reproducing means;
Pausing means for pausing reproduction of the moving image by the reproducing means;
Display control means for sequentially displaying the frames specified by the specifying means on the display means in a state where reproduction of the moving image is temporarily stopped by the pause means;
The notification control means notifies that the predetermined frame is specified when the frames sequentially displayed by the display control means reach the predetermined frame.
The notification control device according to any one of claims 1 to 3, wherein
ことを特徴とする請求項4に記載の報知制御装置。 The feeding operation is a contact operation with respect to a predetermined area in the display means.
The notification control device according to claim 4.
ことを特徴とする請求項5に記載の報知制御装置。 The display means includes a plurality of the predetermined areas for a contact operation.
The notification control device according to claim 5.
又は振動のいずれかにより実行する、
ことを特徴とする請求項1から6のいずれかに記載の報知制御装置。 The notification control means is configured to notify that the predetermined frame has been identified by sound, display mode,
Or by either vibration,
The notification control apparatus according to any one of claims 1 to 6, wherein
動画像を取得する取得ステップと、
前記取得ステップにより取得された前記動画像を構成する複数のフレームのうち、ユー
ザによる複数種の送り操作に応じたフレームを特定する特定ステップと、
前記特定ステップにより特定された前記フレームが所定のフレームである場合、前記所
定のフレームが特定されたことを報知する報知制御ステップと、
を含むことを特徴とする報知制御方法。 A method executed by a notification control device,
An acquisition step of acquiring a moving image;
A specifying step of specifying a frame corresponding to a plurality of types of sending operations by a user among a plurality of frames constituting the moving image acquired by the acquiring step;
When the frame specified by the specifying step is a predetermined frame, a notification control step for notifying that the predetermined frame has been specified;
The information control method characterized by including.
動画像を取得する取得手段、
前記取得手段により取得された前記動画像を構成する複数のフレームのうち、ユーザに
よる複数種の送り操作に応じたフレームを特定する特定手段、
前記特定手段により特定された前記フレームが所定のフレームである場合、前記所定の
フレームが特定されたことを報知する報知制御手段、
として機能させることを特徴とするプログラム。 Computer
An acquisition means for acquiring a moving image;
A specifying unit for specifying a frame corresponding to a plurality of types of sending operations by a user among a plurality of frames constituting the moving image acquired by the acquiring unit;
Notification control means for notifying that the predetermined frame is specified when the frame specified by the specifying means is a predetermined frame;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015223858A JP6222204B2 (en) | 2015-11-16 | 2015-11-16 | Notification control device, notification control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015223858A JP6222204B2 (en) | 2015-11-16 | 2015-11-16 | Notification control device, notification control method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013058760A Division JP2014183559A (en) | 2013-03-21 | 2013-03-21 | Notification control device, notification control method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016029854A true JP2016029854A (en) | 2016-03-03 |
JP6222204B2 JP6222204B2 (en) | 2017-11-01 |
Family
ID=55435532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015223858A Active JP6222204B2 (en) | 2015-11-16 | 2015-11-16 | Notification control device, notification control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6222204B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008072515A (en) * | 2006-09-14 | 2008-03-27 | Canon Inc | Image reproducing apparatus and control method thereof |
JP2009224818A (en) * | 2006-05-23 | 2009-10-01 | Nec Corp | Content reproducing unit and content reproducing method |
JP2009301638A (en) * | 2008-06-12 | 2009-12-24 | Toshiba Corp | Information storing medium, information reproducing device and information reproducing method |
JP2012123866A (en) * | 2010-12-07 | 2012-06-28 | Sony Corp | Information processing apparatus, information processing method, and program |
-
2015
- 2015-11-16 JP JP2015223858A patent/JP6222204B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009224818A (en) * | 2006-05-23 | 2009-10-01 | Nec Corp | Content reproducing unit and content reproducing method |
JP2008072515A (en) * | 2006-09-14 | 2008-03-27 | Canon Inc | Image reproducing apparatus and control method thereof |
JP2009301638A (en) * | 2008-06-12 | 2009-12-24 | Toshiba Corp | Information storing medium, information reproducing device and information reproducing method |
JP2012123866A (en) * | 2010-12-07 | 2012-06-28 | Sony Corp | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6222204B2 (en) | 2017-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014183559A (en) | Notification control device, notification control method and program | |
JP2007090076A5 (en) | ||
JP2014171725A (en) | Game program and game device | |
JP4964317B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
JP5713742B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
JP6222204B2 (en) | Notification control device, notification control method, and program | |
JPWO2017099098A1 (en) | RECORDING MEDIUM RECORDING GAME PROGRAM, EFFECT CONTROL METHOD, AND GAME DEVICE | |
JP4731168B2 (en) | Program, information storage medium, and game system | |
JP2013038469A5 (en) | ||
JP5941008B2 (en) | GAME DEVICE AND PROGRAM | |
JP5731461B2 (en) | GAME DEVICE AND PROGRAM | |
JP5437677B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
JP2014233477A (en) | Game program and game device | |
KR101610952B1 (en) | User gesture-based video play apparatus and operation method thereof | |
JP6023037B2 (en) | Video game processing program, video game processing system, and video game processing apparatus | |
KR101701838B1 (en) | Multimedia reporduction apparatus and method of playing multimedia in thereof | |
JP2008022979A (en) | Game system, program and information storage medium | |
JP2014186167A (en) | Display control device, display control method, and program | |
JP4648707B2 (en) | Program, information storage medium, and game system | |
JP2019126417A (en) | Information processing apparatus, operation control program, and operation control method | |
TWI400112B (en) | Game device, control method for game device and information recording media | |
JP2018114228A (en) | Training moving picture reproduction apparatus and training moving picture reproduction method | |
JP2017056213A (en) | Video game processing program and video game processing system | |
JP5687662B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM | |
JP2009233262A (en) | Program, information recording medium and game system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6222204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |