JP2019193027A - 動画編集システム、サーバ、端末および動画編集方法 - Google Patents

動画編集システム、サーバ、端末および動画編集方法 Download PDF

Info

Publication number
JP2019193027A
JP2019193027A JP2018081996A JP2018081996A JP2019193027A JP 2019193027 A JP2019193027 A JP 2019193027A JP 2018081996 A JP2018081996 A JP 2018081996A JP 2018081996 A JP2018081996 A JP 2018081996A JP 2019193027 A JP2019193027 A JP 2019193027A
Authority
JP
Japan
Prior art keywords
still image
display
partial
moving image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018081996A
Other languages
English (en)
Other versions
JP7182372B2 (ja
Inventor
英二 高沖
Eiji Takaoki
英二 高沖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
META Corp JAPAN
Original Assignee
META Corp JAPAN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by META Corp JAPAN filed Critical META Corp JAPAN
Priority to JP2018081996A priority Critical patent/JP7182372B2/ja
Publication of JP2019193027A publication Critical patent/JP2019193027A/ja
Application granted granted Critical
Publication of JP7182372B2 publication Critical patent/JP7182372B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Digital Computer Display Output (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】長時間にわたる動画の編集を、より効率よく行うための動画編集システムおよび動画編集方法を提供する。【解決手段】編集前動画に含まれる複数のコマを縦横に並べた第1中間静止画像を生成する。この静止画像を縮小した第2中間静止画像をさらに生成する。第1中間静止画像のうち、一度に表示できる第1表示範囲に含まれる第1部分静止画像と、第2中間静止画像のうち、一度に表示できる第2表示範囲に含まれる第2部分静止画像とを生成して、同時に、かつ、連動して表示する。第1表示範囲および第2表示範囲を適宜に変更しながら、中間静止画像群を参照して、編集前動画から抜き出すべき選択範囲を決定する。編集前動画から選択範囲を抜き出して編集後動画を生成する。【選択図】図1A

Description

本発明は動画編集システム、サーバ、端末および動画編集方法に関し、例えば、デジタルデータとして撮影された動画から所望の部分を抜き出す動画編集システム、サーバ、端末および動画編集方法に好適に利用できるものである。
長時間にわたり、かつ、全体的な変化に乏しい動画から、重要な場面を効率的に抜き出す編集作業の需要がある。
例えば、数時間にわたる外科手術の様子を定点カメラで録画した動画のうち、医学生への教材として見せたい重要な場面は、そのうちのごく短い時間である場合がある。このような場合には、撮影した動画のうち、重要な場面だけを選択して抜き出す編集を行い、編集後の動画を教材として用いることが、学習効率の観点からも望ましい。
このような編集を行うためには、外科手術のどの場面が重要であるかを熟知しておく必要がある。このことは、定点録画した動画にはいわゆるカメラワークが少なく、その画面全体としての変化に乏しいことにも一因がある。しかし、そのような知識を有する人材は、外科手術そのものを含む医療活動に忙しい場合が多く、動画編集に長い時間を割くことが困難である。したがって、より短い時間で効率的に動画編集を行えることが望ましい。
上記に関連して、特許文献1(特開2014−042654号公報)には、サーバー装置、クライアント装置、医療画像処理システム、医療画像処理方法、及びプログラムに係る記載が開示されている。特許文献1のサーバー装置は、医療画像情報を処理する。このサーバー装置は、記憶部と、サーバー側送信部と、サーバー側受信部と、編集処理部とを備える。ここで、記憶部は、医療画像の動画像データである第1動画像データ及び第1動画像データのデータ量を削減して生成される第2動画像データを記憶する。サーバー側送信部は、クライアント装置からの要求に応じて第2動画像データをクライアント装置に送信する。サーバー側受信部は、クライアント装置から送信され第2動画像データに対する編集処理内容を示す編集処理情報を受信する。編集処理部は、受信した前記編集処理情報に基づいて、前記第1動画像データを編集処理する。
特許文献1では、編集対象である第1動画データを、サーバー装置からクライアント装置に向けて送信するにあたって、データ量が削減された第2動画データを第1動画データの代わりに、ストリーミング方式で送信する(明細書段落0032)。第2動画データは、データ量が削減された影響により、第1動画データよりも画質が必然的に低くなる(明細書段落0033)。また、動画再生である限り、クライアント装置の画面上で一度に見られるコマは1枚である。
特開2014−042654号公報
長時間にわたる動画の編集を、より効率よく行うための動画編集システムおよび動画編集方法を提供する。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
以下に、(発明を実施するための形態)で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、(特許請求の範囲)の記載と(発明を実施するための形態)との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、(特許請求の範囲)に記載されている発明の技術的範囲の解釈に用いてはならない。
一実施の形態による動画編集システム(1)は、サーバ(3)と、端末(5)とを具備する。ここで、サーバ(3)は、編集前動画(7)から中間静止画像群(8)を生成する。端末(5)は、サーバ(3)から中間静止画像群(8)を部分的に読み出し、編集前動画(7)に含まれる所望の選択範囲(84)を、中間静止画像群(8)に基づいて設定する。サーバ(3)は、中間静止画像群生成部(331)と、部分静止画像群生成部(332)とを具備する。ここで、中間静止画像群生成部(331)は、編集前動画(7)に含まれて時系列に配置された複数の静止画像を、第1周期で第1方向に並べ、かつ、第1周期とは異なる第2周期で第1方向に直交する第2方向に並べた、中間静止画像群(8)のうちの第1中間静止画像(81)を生成し、かつ、第1中間静止画像(81)を縮小して中間静止画像群(8)のうちの第2中間静止画像(82)を生成する。部分静止画像群生成部(332)は、端末(5)から受信する表示制御信号に応じて、第1中間静止画像(81)のうち、所定の第1表示範囲(811)に含まれる第1部分静止画像(812)と、第2中間静止画像(82)のうち、第1表示範囲(811)を含む第2表示範囲(821)に含まれる第2部分静止画像(822)とを生成する。端末(5)は、表示装置(522)と、入力装置(523)と、演算装置(53)とを具備する。ここで、表示装置(522)は、第1部分静止画像(812)および第2部分静止画像(22)を、第1表示範囲(811)および第2表示範囲(821)が連動するように表示する。入力装置(523)は、第1中間静止画像(81)のうち、一度に表示する第1表示範囲(811)を設定する表示制御操作を入力し、かつ、複数の静止画像のうち、第1部分静止画像(812)に含まれるいずれかの静止画像を、選択範囲(84)の一端として設定する編集制御操作を入力する。演算装置(53)は、表示制御操作の内容をサーバ(3)に伝達する表示制御信号を生成し、かつ、編集制御操作の内容をサーバ(3)に伝達する編集制御信号を生成する。サーバ(3)は、編集後動画生成部(333)をさらに具備する。ここで、編集後動画生成部(333)は、端末(5)から受信する編集制御信号に応じて、編集前動画(7)のうち、選択範囲(84)に含まれる部分を抜き出して編集後動画(9)を生成する。
一実施の形態による動画編集方法は、編集前動画(7)から中間静止画像群(8)を生成すること(S1)と、中間静止画像群(8)に基づいて編集前動画(7)に含まれる所望の選択範囲(84)を設定すること(S2)と、編集前動画(7)のうち、選択範囲(84)に含まれる部分を抜き出して編集後動画(9)を生成すること(S3)とを具備する。中間静止画像群(8)を生成すること(S1)は、編集前動画(7)に含まれて時系列に配置された複数の静止画像を、第1周期で第1方向に並べ、かつ、第1周期とは異なる第2周期で第1方向に直交する第2方向に並べた第1中間静止画像(81)を生成すること(S133)と、第1中間静止画像(81)を縮小した第2中間静止画像(82)を生成すること(S134)とを具備する。選択範囲(84)を設定すること(S2)は、表示制御操作を入力すること(S221、S223)と、表示制御操作に応じて、第1中間静止画像(81)のうち、一度に表示する第1表示範囲(811)を設定すること(S211)と、第1中間静止画像(81)のうち、第1表示範囲(811)に含まれる第1部分静止画像(812)と、第2中間静止画像(82)のうち、第1表示範囲(811)を含む第2表示範囲(821)に含まれる第2部分静止画像(822)とを、第1表示範囲(811)および第2表示範囲(821)が連動するように表示すること(S218)と、編集制御操作を入力すること(S221、S222)と、編集制御操作に応じて、複数の静止画像のうち、第1部分静止画像(812)に含まれるいずれかの静止画像を、選択範囲(84)の一端として設定すること(S222)とを具備する。
前記一実施の形態によれば、長時間にわたる動画の編集を、より効率よく行うことが出来る。
図1Aは、一実施形態による動画編集システムの全体的な一構成例を示すブロック回路図である。 図1Bは、一実施形態によるサーバの一構成例を示すブロック回路図である。 図1Cは、一実施形態による端末の一構成例を示すブロック回路図である。 図2は、一実施形態による動画編集方法の全体的な一構成例を示すフローチャートである。 図3は、一実施形態による中間静止画像群の一構成例を示す図である。 図4Aは、一実施形態による動画編集方法の一部の一構成例をより詳細に示すシーケンス図の前半部分である。 図4Bは、図4Aにその前半部分を示したシーケンス図の後半部分である。 図5Aは、一実施形態による端末における表示の一構成例を示す図である。 図5Bは、一実施形態による端末における表示の別の構成例を示す図である。(AI評価の枠) 図6Aは、一実施形態による中間静止画像群の表示方法の一例を示す図である。 図6Bは、一実施形態による中間静止画像群の表示方法の別の例を示す図である。 図6Cは、一実施形態による中間静止画像群の表示方法のさらに別の例を示す図である。
添付図面を参照して、本発明による動画編集システム1および動画編集方法を実施するための形態を以下に説明する。
(実施形態)
図1A〜図1Cを参照して、本実施形態による動画編集システム1の構成について説明する。図1Aは、一実施形態による動画編集システム1の全体的な一構成例を示すブロック回路図である。図1Bは、一実施形態によるサーバ3の一構成例を示すブロック回路図である。図1Cは、一実施形態による端末5の一構成例を示すブロック回路図である。
(構成要素)
図1Aを参照して、本実施形態による動画編集システム1の構成要素について説明する。図1Aの動画編集システム1は、サーバ3と、データベース4と、端末5とを備える。図1Aの動画編集システム1は、撮影装置2と、表示装置6とのうち、片方または両方をさらに備えていても良い。データベース4は、サーバ3の一部として構成されていても良い。
サーバ3は、プログラムを実行してデータの入力、演算および出力を行うことによって各種の機能を実現するコンピュータである。サーバ3は、物理サーバとして構成されていても良いし、別の物理サーバで動作する仮想サーバとして構成されていても良い。
図1Bのサーバ3は、バス31と、入出力インターフェース32と、通信部321と、演算部33と、記憶部34と、外部記憶装置35とを備える。サーバ3は、記録媒体351をさらに備えていても良い。演算部33は、中間静止画像群生成部331と、部分静止画像群生成部332と、編集後動画生成部333と、評価部334とを備えている。記憶部34は、データベース4を含んでいても良い。
演算部33は、記憶部34に格納されているプログラムを実行することによって、様々な機能を実現する。中間静止画像群生成部331、部分静止画像群生成部332、編集後動画生成部333および評価部334は、それぞれ、演算部33が所定のプログラムを実行することによって実現される機能を、機能ブロックとして表現したものである。
中間静止画像群生成部331は、図示しない中間静止画像群生成プログラムを演算部33が実行することによって実現される機能ブロックであり、編集前動画7から中間静止画像群8を生成する機能を有する。本実施形態による中間静止画像群8は、編集前動画7に含まれる複数のコマを、それぞれ、独立した静止画像として切り出し、切り出した複数の静止画像を結合して1枚の巨大な第1中間静止画像81を生成し、第1中間静止画像81を縮小した第2中間静止画像82を生成する、などの機能を有するが、さらに他の機能を有していても良い。
部分静止画像群生成部332は、図示しない部分静止画像群生成プログラムを演算部33が実行することによって実現される機能ブロックであり、中間静止画像群8から部分静止画像群を生成する機能を有する。本実施形態による部分静止画像群生成部332は、第1中間静止画像81および第2中間静止画像82のうち、端末5で一度に表示できる部分を切り抜いた第1部分静止画像812および第2部分静止画像822を生成する機能を有するが、他の機能をさらに有していても良い。
編集後動画生成部333は、図示しない編集後動画生成プログラムを演算部33が実行することによって実現される機能ブロックであり、編集前動画7から編集後動画9を生成する機能を有する。本実施形態による編集後動画生成部333は、特に、編集前動画7の中から所望の一部分を切り出して編集後動画9とする機能を有するが、他の機能をさらに有していても良い。
評価部334は、図示しない評価プログラムを演算部33が実行することによって実現される機能ブロックであり、編集前動画7の各コマをさらに細かく分割した領域ごとに、所定の基準で評価を行う機能を有する。本実施形態による評価部334は、例えば、被写体が外科手術を受ける患者の生体組織である場合に、領域ごとにがん細胞が含まれている確度を評価する機能を有しても良い。ただし、これはあくまでも一例であって、本実施形態を限定しない。なお、例示した「生体組織にがん細胞が含まれている確度を評価する機能」は、いわゆる人工知能を応用して実現されている公知技術であるので、さらなる詳細な説明を省略する。
データベース4は、データを外部から読み書き可能に格納する記憶装置である。前述のとおり、データベース4は、サーバ3の記憶部34に含まれていても良いし、反対に、サーバ3とは独立して存在しても良い。
端末5は、プログラムを実行してデータの読み書きを行うことによって各種の機能を実現するコンピュータである。端末5は、例えば、タブレット型の端末であっても良いし、スマートフォンであっても良いが、これらの例は本実施形態を限定しない。
図1Cの端末5は、バス51と、入出力インターフェース52と、通信装置521と、表示装置522と、入力装置523と、演算装置53と、記憶装置54と、外部記憶装置55とを備えている。演算装置53は、表示制御信号生成部531と、編集制御信号生成部532とを備えている。ここで、表示制御信号生成部531および編集制御信号生成部532は、記憶装置54に格納された所定のプログラムを演算装置53が実行することによって実現される機能を、機能ブロックとして示したものである。端末5は、記録媒体551をさらに備えていても良い。
撮影装置2は、本実施形態による動画編集システム1で編集する対象である編集前動画7を生成する装置であって、例えば、ビデオカメラである。撮影装置2は、被写体を光学的に撮影した動画を、サーバ3で処理出来るデジタルデータとして出力する機能を有することが好ましい。
表示装置6は、本実施形態による動画編集システム1で生成された編集後動画9を表示する装置であって、例えば、テレビ、モニタ、ディスプレイ、などである。
(接続関係)
図1Aを参照して、本実施形態による動画編集システム1の構成要素の接続関係について説明する。
サーバ3は、撮影装置2、データベース4、端末5および表示装置6のそれぞれに対して、有線または無線の通信によって接続されることが好ましい。ただし、サーバ3は、撮影装置2、端末5および表示装置6の全てに同時に接続されていなくても良い。例えば、サーバ3および撮影装置2が通信可能に接続されている必要があるのは、撮影装置2から送信される編集前動画7をサーバ3が受信するときだけであって、その後は両者が接続されていても良いし、接続されていなくても良い。同様に、サーバ3および端末5が通信可能に接続されている必要があるのは、端末5で動画編集を行う時だけであって、その前後は両者が接続されていても良いし、接続されていなくても良い。また、サーバ3および表示装置6が通信可能に接続されている必要があるのは、表示装置6で編集後動画9を再生するときだけであって、その後は両者が接続されていても良いし、接続されていなくても良い。ただし、サーバ3およびデータベース4については、両者の間で通信可能な接続が常時成立していることが好ましい。
図1Bを参照して、本実施形態によるサーバ3の構成要素の接続関係について説明する。
バス31は、入出力インターフェース32、演算部33、記憶部34および外部記憶装置35のそれぞれに、電気的に通信可能に接続されている。言い換えれば、入出力インターフェース32、演算部33、記憶部34および外部記憶装置35は、バス31を介して互いに、電気的に通信可能である。
入出力インターフェース32は、通信部321に接続されている。通信部321は、図1Bに図示されない撮影装置2、データベース4、端末5および表示装置6のそれぞれとの間で、有線通信および無線通信のどちらか片方または両方を行えるように接続されている。
その他、外部記憶装置35は、記録媒体351との間で、データの書き込み、読み出しなどを行う際に、記録媒体351に接続される。なお、データの書き込み、読み出しなどを行わない際には、外部記憶装置35および記録媒体351は必ずしも接続されていなくても良い。
図1Cを参照して、本実施形態による端末5の構成要素の接続関係について説明する。
バス51は、入出力インターフェース52、通信装置521、表示装置522、入力装置523、演算装置53、記憶装置54および外部記憶装置55のそれぞれに、電気的に通信可能に接続されている。言い換えれば、入出力インターフェース52、通信装置521、表示装置522、入力装置523、演算装置53、記憶装置54および外部記憶装置55は、バス51を介して、電気的に通信可能である。
入出力インターフェース52は、通信装置521、表示装置522および入力装置523のそれぞれに接続されている。
通信装置521は、図1Cに図示しないサーバ3との間で、有線通信および無線通信のどちらか片方または両方を行えるように接続されている。
その他、外部記憶装置55は、記録媒体551との間で、データの書き込み、読み出しなどを行う際に、記録媒体551に接続される。なお、データの書き込み、読み出しなどを行わない際には、外部記憶装置55および記録媒体551は必ずしも接続されていなくても良い。
(動作)
図2を参照して、本実施形態による動画編集システム1の動作、すなわち本実施形態による動画編集方法の構成について説明する。図2は、一実施形態による動画編集方法の全体的な一構成例を示すフローチャートである。
図2のフローチャートは、第1大工程S1〜第3大工程S3の合計3つの大工程を含んでいる。第1大工程S1は、第1中工程S11〜第3中工程S13の合計3つの中工程を含んでいる。第3中工程S13は、第1小工程S131〜第4小工程S134の合計4つの小工程を含んでいる。第2大工程S2は、第1中工程S21〜第3中工程S23の合計3つの中工程を含んでいる。
図2のフローチャートについて、概略的に説明する。図2のフローチャートは、第1大工程S1から開始する。第1大工程S1では、サーバ3が、編集前動画7から中間静止画像群8を生成する。その後、第2大工程S2では、端末5が、動画編集の選択範囲を設定する。その後、第3大工程S3では、サーバ3が、編集後動画9を生成する。
図2の第1大工程S1について、より詳細に説明する。第1大工程S1は、第1中工程S11から開始する。
第1中工程S11において、撮影装置2が、編集前動画7を撮影する。撮影された編集前動画7は、サーバ3で受信可能な形式のデジタルデータであることが好ましいが、必要に応じてデジタルデータの形式を適宜に変換しても良い。第1中工程S11の次には、第2中工程S12が実行される。
第2中工程S12において、データベース4が、サーバ3を介して、編集前動画7を格納する。言い換えれば、サーバ3が、撮影装置2から編集前動画7を受信して、データベース4に格納する。ただし、撮影装置2による編集前動画7の撮影が、撮影装置2およびサーバ3が接続されている状態で行われる場合には、第1中工程S11および第2中工程S12が並列に行われても良い。つまり、このような場合には、編集前動画7のうち、撮影された部分から徐々に、サーバ3を介してデータベース4に格納されても良い。第2中工程S12の次には、第3中工程S13が実行される。
第3中工程S13において、サーバ3が、中間静止画像群8を生成する。図3を参照して、第3中工程S13についてより詳細に説明する。図3は、一実施形態による中間静止画像群8の一構成例を示す図である。第3中工程S13は、第1小工程S131から開始する。
第1小工程S131において、サーバ3の演算部33のうち、中間静止画像群生成部331が、編集前動画7の各コマを静止画像に変換する。変換された複数の静止画像のそれぞれには、所定の場所に、その番号を書き込んでも良い。この番号は、それぞれの静止画像が由来するコマの、編集前動画7における順番を連続する番号で表した整数であっても良いし、そのコマが撮影された日時および時刻であっても良いし、撮影を開始してから経過した時間であっても良い。本実施形態では、この番号としての経過時間を、分を表す2桁の整数と、秒を表す2桁の整数と、フレーム番号を表す2桁の整数とで表す場合について考える。また、この番号が書き込まれる場所は、静止画像の右上の隅などであっても良いし、別の場所であっても良いが、全てのコマで統一されていることが好ましい。この変換によって得られた複数の静止画は、データベース4に格納されることが好ましい。
ここでは、編集前動画7の一例として、以下のようなパラメータを有する動画について考える。すなわち、動画の長さは60分間であり、時間軸上の分解能が毎秒60コマであり、したがってこの動画に含まれるコマの総数は合計で216,000枚である。この場合、最初の静止画像の番号は「00分00秒00番フレーム」を表す「00:00.00」となり、最後の静止画像の番号は「59分59秒59番フレーム」を表す「59:59.59」となる。また、各コマの画素数は、横方向に1,920ピクセルであり、縦方向に1,080ピクセルである。なお、これらのパラメータは、あくまでも一例であって、本実施形態を限定しない。
なお、第1小工程S131は、第2中工程S12と並列に行われても良い。すなわち、編集前動画7の全体がデータベース4に完全に格納される前から、編集前動画7の一部がサーバ3に届き始めた時点で、サーバ3に届いた部分のコマから静止画像への変換を開始しても良い。同様に、第1小工程S131は、第2中工程S12および第1中工程S11と並列に行われても良い。第1小工程S131の次には、第2小工程S132が実行される。
第2小工程S132において、サーバ3の演算部33のうち、評価部334が、各静止画像を評価する。この評価の結果は、データベース4に格納されることが好ましい。
ここでは、評価基準の一例として、前述のとおり、領域ごとにがん細胞が含まれている確度を用いる場合について考える。まず、各静止画像を、複数の評価領域に分割する。例えば、各静止画像を、横方向に4分割し、縦方向に3分割し、合計12の評価領域に分割しても良い。次に、各静止画像の各領域について、評価基準に基づく評価を行う。例えば、評価基準としてがん細胞が含まれる確度を用いる場合は、評価の結果を0乃至100%の数値で表すことが出来る。
なお、第2小工程S132は、第1小工程S131と並列に行われても良い。すなわち、編集前動画7から変換されて生成された静止画像から順次、評価部334が評価しても良い。同様に、第2小工程S132は、第1小工程S131および第2中工程S12と並列に行われても良いし、第1小工程S131、第2中工程S12および第1中工程S11と並列に行われても良い。第2小工程S132の次には、第3小工程S133が実行される。
第3小工程S133において、サーバ3の演算部33のうち、中間静止画像群生成部331が、中間静止画像群8に含まれる第1中間静止画像81を生成する。第1中間静止画像81は、第1小工程S131で生成された複数の静止画像の一部または全てを、縦横に規則的に並べて結合した、1枚の巨大な静止画像である。
図3を参照して、第1中間静止画像81の構成例について説明する。
図3の中間静止画像群8は、第1中間静止画像81と、第2中間静止画像82と、第3中間静止画像83とを含んでいる。図3の例では、中間静止画像群8が含む画像の枚数は3であるが、この数はあくまでも一例であって、2以上の任意の整数を設定可能である。なお、後述するように、第1中間静止画像81を所定の比率で縮小することで第2中間静止画像82が得られ、第2中間静止画像82を所定の比率でさらに縮小することで第3中間静止画像83が得られる。そこで、ここでは第1中間静止画像81の構成について説明する。
まず、第1中間静止画像81の横方向の並びに注目すると、複数の静止画像が、所定の周期で並んでいることが好ましい。図3の例では、横方向の周期が1/60秒であり、横方向の1段に60枚ずつの静止画像が、左から右に向かって時系列の順番で並ぶように配置されている。なお、この場合は、全ての静止画像が第1中間静止画像81に含まれることになる。
次に、第1中間静止画像81の縦方向の並びに注目すると、複数の静止画像が、横方向とは異なる周期で並んでいることが好ましい。図3の例では、縦方向の周期が、横方向の周期よりも長い1秒であり、縦方向の1列に3,600枚の静止画像が、上から下に向かって時系列の順番で並ぶように配置されている。
言い換えると、中間静止画像群生成部331は、例えば、以下のような手順で第1中間静止画像81を生成しても良い。まず、編集前動画7の各コマに対応する複数の静止画像の総数と、縦横それぞれの周期とに基づいて、第1中間静止画像81の縦横のピクセル数を算出し、この大きさの画像を加工するために必要なメモリ領域を記憶部34に確保する。次に、メモリ領域を確保した画像を、横方向に60分割し、縦方向に3,600分割し、合計216,000のマスを定義する。最後に、定義した複数のマスのそれぞれに、216,000枚の静止画像を1枚ずつ配置する。ここで、各マスに静止画像を配置する順番を、例えば、以下のように決定する。まず、上から1段目の左から1列目の第1マス、すなわち左上の隅の第1マスから始まり、その後は右方向に1マスずつ進み、上から1段目の右から1列目、すなわち右上の隅の第60マスまで右方向に1マスずつ進む。その次には上から2段目の左から1列目の第61マスから右方向に1マスずつ進む、という具合に1段ずつ進み、最後は下から1段目の右から1列目の第216,000番マスに至る。なお、この順番の決め方は、あくまでも一例であって、本実施形態を限定しない。
なお、上記の例では、第1中間静止画像81の寸法が、横方向で115,200ピクセル、縦方向で3,888,000ピクセルに及ぶ。サーバ3の性能によっては、これだけ大きい静止画像を扱うことは困難である場合が考えられる。そのような場合には、第1中間静止画像81を、縦横それぞれの方向で適宜な数に分割して、サーバ3の内部では複数のファイルとして管理しても良い。
また、複数の第1中間静止画像81を生成しても良い。図3とは別の例として、横方向の周期を1秒とし、縦方向の周期を1分としても良い。この場合は、全ての静止画像のうち、60分の1だけが第1中間静止画像81に含まれることになる。
さらに、縦横それぞれの方向における周期の組み合わせが異なる複数の第1中間静止画像81を生成しても良い。この場合は、後述する工程において、表示する第1静止画像を利用者の操作によって切り替えられることが好ましい。
生成された第1中間静止画像81は、データベース4に格納される。第3小工程S133の次には、第4小工程S134が実行される。
第4小工程S134において、サーバ3の演算部33のうち、中間静止画像群生成部331が、中間静止画像群8に含まれる第2中間静止画像82を生成する。第2中間静止画像82は、前述のとおり、第1中間静止画像81を所定の比率で縮小することで生成される。この比率は、例えば、縦方向および横方向の両方において1対2であっても良い。ただし、これはあくまでも一例であって、本実施形態を限定しない。
中間静止画像群生成部331は、第4小工程S134において、第3中間静止画像83をさらに生成しても良い。第3中間静止画像83は、前述のとおり、第2中間静止画像82を所定の比率でさらに縮小することで生成される。また、中間静止画像群8に4枚目以降の静止画像が含まれていれば、同様に縮小して生成されても良い。その結果、中間静止画像群8に含まれる複数の中間静止画像における縮小または拡大の関係は、図1Aに示したようなピラミッド状となる。
生成された第2中間静止画像82および第3中間静止画像83は、データベース4に格納される。第4小工程S134の次には、第2大工程S2が実行される。
第2大工程S2は、前述のとおり、第1中工程S21〜第3中工程S23の合計3つの中工程を含んでいる。図4Aおよび図4Bを参照して、第1中工程S21〜第3中工程S23の詳細について説明する。図4Aは、一実施形態による動画編集方法の一部の一構成例をより詳細に示すシーケンス図の前半部分である。図4Bは、図4Aにその前半部分を示したシーケンス図の後半部分である。
図4Aおよび図4Bのシーケンス図は、サーバ3および端末5が行う工程およびその順番を示している。図4Aに示したシーケンス図の前半部分では、第1中工程S21が第1小工程S211〜第8小工程S218の合計8つの工程を含んでいる。図4Bに示したシーケンス図の後半部分では、第2中工程S22が第1小工程S221〜第4小工程S224の合計4つの工程を含んでおり、第3中工程S23が第1小工程S231〜第3小工程S233の合計3つの工程を含んでいる。
第2大工程S2において、サーバ3および端末5が連携して、動画編集の選択範囲を設定する。第2大工程S2は、第1中工程S21から開始する。第1中工程S21において、サーバ3および端末5が連携して、中間静止画像群8の表示を行う。第1中工程S21は、第1小工程S211から開始する。
第1小工程S211において、端末5が、中間静止画像群8のうち、表示装置522に表示する表示範囲を決定する。図5Aを参照して、本実施形態による表示装置522の表示範囲について説明する。図5Aは、一実施形態による端末5における表示の一構成例を示す図である。
図5Aの例では、端末5の表示装置522は、第1表示領域5221〜第3表示領域5223の合計3つの表示領域に分割されている。第1表示領域5221には、第1部分静止画像812が表示されている。第2表示領域5222には、第2部分静止画像822が表示されている。第3表示領域5223には、第3中間静止画像83が表示されている。言い換えれば、端末5の表示装置522には、縮尺が異なる第1中間静止画像81〜第3中間静止画像83が、それぞれ部分的にではあるが、同時に表示されている。
なお、表示領域の総数は、利用者による操作に応じて変更可能であっても良い。また、各表示領域の、表示装置522に対する位置関係および面積の比率も、利用者による操作に応じて変更可能であって良い。
第1部分静止画像812は、第1中間静止画像81のうち、第1表示領域5221に表示されている部分である。第1中間静止画像81は、前述のとおり、非常に大きく、その全体を端末5の表示装置522で一度に表示することは困難である。そこで、第1中間静止画像81のうち、一部分を抜き出して表示するか、全体または一部分を縮小して表示するか、これらの両方を組み合わせて表示するか、を行う必要がある。図3に示した第1表示範囲811は、第1中間静止画像81のうち、図5Aに示した第1表示領域5221に表示される部分を、概略的に示している。
同様に、第2部分静止画像822は、第2中間静止画像82のうち、第2表示領域5222に表示されている部分であり、この部分は図3で概略的に示した第2表示範囲821に対応する。
図3および図5Aの例では、第3中間静止画像83は第3表示領域5223に対して十分に縮小されており、その全体が第3表示領域5223に表示されている。ただし、これはあくまでも一例であって、第3中間静止画像83が第3表示領域5223に対して大きい場合は、第1部分静止画像812および第2部分静止画像822の場合と同様に、第3中間静止画像83の一部分を抜き出して第3表示領域5223に表示することが好ましい。
後述するように、第1中間静止画像81に対する第1表示範囲811の位置および広さと、第2中間静止画像82に対する第2表示範囲821の位置および広さとは、利用者による操作に応じて変更されることが好ましい。しかしながら、最初に表示する際に限っては、利用者による操作を待たずに、所定の初期設定に応じて各表示範囲を決定することが好ましい。表示範囲の初期設定は、例えば、各中間静止画像のうち、最初のコマに対応する部分を各表示領域の中央に表示するように設定されていても良い。
ここで、第1小工程S211の段階では、第1表示範囲811および第2表示範囲821を決定しただけであって、表示装置522にはその決定が反映されていないことに注意されたい。第1小工程S211の次には、第2小工程S212が実行される。
第2小工程S212において、端末5の表示制御信号生成部531が、第1小工程S211で決定された表示範囲を表す表示制御信号を生成する。ただし、表示制御信号が実際に表す表示範囲は、第1小工程S211で決定された表示範囲に対して、周囲にある程度の余裕を加えた、より広い領域であっても良い。第2小工程S212の次には、第3小工程S213が実行される。
第3小工程S213において、端末5の通信装置521が、サーバ3に向けて、表示制御信号を送信する。第3小工程S213の次には、第4小工程S214が実行される。
第4小工程S214において、サーバ3の通信部321が、表示制御信号を受信する。受信された表示制御信号は、記憶部34に格納されても良い。第4小工程S214の次には、第5小工程S215が実行される。
第5小工程S215において、サーバ3の部分静止画像群生成部332が、表示制御信号に応じて、部分静止画像群を生成する。図5Aの例では、部分静止画像群には、第1部分静止画像812、第2部分静止画像822および第3中間静止画像83が含まれる。
前述のとおり、第1部分静止画像812は、第1中間静止画像81のうち、表示制御信号が表す第1表示範囲811に対応する部分を抜き出して生成される。同様に、第2部分静止画像822は、第2中間静止画像82のうち、表示制御信号が表す第2表示範囲821に対応する部分を抜き出して生成される。
第5小工程S215の次には、第6小工程S216が実行される。
第6小工程S216において、サーバ3の通信部321が、部分静止画像群を端末5に向けて送信する。第6小工程S216の次には、第7小工程S217が実行される。
第7小工程S217において、端末5の通信装置521が、部分静止画像群を受信する。第7小工程S217の次には、第8小工程S218が実行される。
第8小工程S218において、端末5が表示装置522に部分静止画像群を表示する。このとき、端末5は、部分静止画像群に含まれる第1部分静止画像812を、第1表示領域5221のサイズに合わせて、適宜な切り抜きおよび縮小を行ってから表示する。同様に、端末5は、部分静止画像群に含まれる第2部分静止画像822および第3中間静止画像83を、第2表示領域5222および第3表示領域5223のサイズに合わせて、それぞれ適宜な切り抜きおよび縮小を行ってから表示する。
(選択範囲の連動表示)
ここで、第1表示領域5221〜第3表示領域5223は、互いに連動して表示することについて説明する。第2表示領域5222には、第2部分静止画像822に重ねられて、第1表示領域5221に表示されている第1部分静止画像812に対応する第1表示範囲811を表す枠が、第2部分静止画像822に連動して表示されることが好ましい。こうすることで、利用者は、第1部分静止画像812および第2部分静止画像822の対応関係がより容易に把握できる。同様に、第3表示領域5223には、第3中間静止画像83に重ねられて、第2表示領域5222に表示されている第2部分静止画像822に対応する第2表示範囲821を表す枠が、第3中間静止画像83に連動して表示されることが好ましい。
また、第1部分静止画像812、第2部分静止画像822および第3中間静止画像83の間で連動して、選択範囲84が、第1表示領域5221〜第3表示領域5223のそれぞれに表示されることが好ましい。選択範囲84は、その周囲を囲む枠として表示されても良いし、選択範囲84およびその他の部分を異なる輝度または彩度を用いて区別するなどの表示を行っても良い。
さらに、第1部分静止画像812または第2部分静止画像822の一方を表示装置522上でスクロールする操作を行った場合は、もう一方の部分静止画像も連動して自動的にスクロールする。この操作の詳細については、後述する。
(評価結果の重ね表示)
表示装置522に表示される第1部分静止画像812には、第1大工程S1の第3中工程S13の第2小工程S132で行った評価の結果を、重ねて表示しても良い。図5Bを参照して、評価結果の表示方法について説明する。図5Bは、一実施形態による端末5における表示の別の構成例を示す図である。
図5Bでは、説明のために、第1部分静止画像812のうち、横方向に3列、縦方向に3段、合計9枚の静止画像を抜き出している。これら9枚の静止画像のそれぞれは、前述のとおり、横方向に4分割され、縦方向に3分割され、合計12の評価領域に分割されている。図5Bでは、静止画像は実線で区切られており、評価枠89は破線で区切られている。
それぞれの評価領域のほぼ全ては、四隅を非選択枠87で囲まれている。その中で、カーソル86が重なっている1つの評価領域だけが、非選択枠87とは異なる形状を有する選択枠88で四隅を囲まれている。ここで、カーソル86は、利用者の操作によって移動可能であり、カーソル86が評価枠89を跨いで移動する度に、移動先の評価領域の非選択枠87は選択枠88に変化し、反対に移動元の評価領域の選択枠88は非選択枠87に戻る。非選択枠87および選択枠88の区別を利用者にとって容易とするために、両者の形状、対応する表枠との位置関係、などを変えても良い。図5Bの例では、非選択枠87は評価枠89の内側に配置されているが、その一方で、選択枠88は評価枠89からはみ出ている。また、非選択枠87よりも、選択枠88の方が、より広い幅を有している。
非選択枠87および選択枠88のそれぞれは、対応する評価領域の評価結果を、利用者にとって容易に区別可能に表すことが好ましい。例えば、非選択枠87および選択枠88のそれぞれは、評価結果に対応する色の違いで表示されても良いし、評価結果に対応する形状の違いで表示されて良い。色の違いによる表示方法としては、例えば、評価結果の数値を色相に変換する色分けを採用しても良い。色相変換の一例としては、数値が高ければ高いほど赤や黄色などの暖色に近づき、反対に低ければ低いほど青や紫などの寒色に近づく、いわゆるサーモグラフィのような色分けがある。また、形状の違いによる表示方法としては、例えば、評価結果の数値が高ければ高いほど幅や長さが伸び、反対に低ければ低いほど幅や長さが縮む、などの変化を採用しても良い。
第1部分静止画像812の各評価領域に対応する評価結果を表示することで、利用者にとって所望の範囲を選択しやすくなる効果が期待される。
第8小工程S218の次には、第2中工程S22が実行される。
第2中工程S22では、端末5が、利用者による操作の入力を行う。第2中工程S22は、第1小工程S221から開始する。
第1小工程S221において、端末5の入力装置523は、利用者による操作を入力する。この操作は、例えば、端末5がタブレットやスマートフォンなどである場合は、表示装置522に一体化されたタッチパネルを介して行われても良い。また、端末5がパーソナルコンピュータなどである場合は、マウスやキーボードを介して行われても良い。第1小工程S221の次には、第2小工程S222〜第4小工程S224が実行される。
第2小工程S222、第3小工程S223および第4小工程S224において、端末5は、第1小工程S221で入力された操作を、大きく4種類に区別する。すなわち、選択範囲84を選択する操作、表示範囲を変更する操作、動画の編集作業を完了する操作、またはこれら以外の操作である。第2小工程S222、第3小工程S223および第4小工程S224は、同時に実行されても良いが、図4Bでは便宜上、順次実行される場合の構成例を表している。
第2小工程S222において、演算装置53が、第1小工程S221で入力された操作が選択範囲84を設定する操作であったかどうかを判定する。ここで、選択範囲84を設定する操作とは、選択範囲84に含まれる最初または最後のコマを利用者が選択する操作であっても良い。入力された操作が選択範囲84を設定する操作であった場合(YES)は、その操作の内容を記憶装置54に格納する。その上で、次に第2大工程S2の第1中工程S21の第8小工程S218を再度実行する。これは、各表示領域に表示する部分静止画像群の表示範囲には変更が生じないが、選択範囲84の表示を変更する必要があるためである。反対に、入力された操作が選択範囲84を設定する操作では無かった場合(NO)は、次に第3小工程S223が実行される。
第3小工程S223において、演算装置53が、第1小工程S221で入力された操作が表示範囲を変更する操作であったかどうかを判定する。ここで、表示範囲を変更する操作として、例えば、表示範囲を所定の方向に、かつ連続的に水平移動する、いわゆるスクロール操作と、現在表示されている静止画像から、現在表示されている領域の外にある別の静止画像まで不連続に水平移動する、いわゆるジャンプ操作とが考えられる。入力された操作が表示範囲を変更する操作であった場合(YES)は、各表示領域に表示する部分静止画像群の表示範囲に変更が加わるので、次に第2大工程S2の第1中工程S21の第1小工程S211を再度実行する。
図6Aおよび図6Bを参照して、いわゆるスクロール操作を静止画像単位で行うことにより、静止画像を用いた疑似的な動画再生が可能となることについて説明する。図6Aは、一実施形態による中間静止画像群8の表示方法の一例を示す図である。図6Bは、一実施形態による中間静止画像群8の表示方法の別の例を示す図である。
図6Aには、利用者が表示装置522の表示内容を、右から左に向けてスクロールする操作を行った場合の、第1時刻t11〜第4時刻t14における第1表示領域5221の表示例が示されている。各時刻における第1表示領域5221には、第1中間静止画像81の一部である第1部分静止画像812が表示されているが、その表示範囲は時刻ごとに異なる。また、図6Aでは、各時刻における第1部分静止画像812に含まれる静止画像のそれぞれを、対応する番号で示している。この番号は、前述のとおり、編集前動画7の撮影を開始してからそのコマを撮影するまでに経過した時間を、「分:秒.コマ」の形式で表したものである。
なお、図6Aにおいて、番号としての時刻が括弧を付けて表示されている静止画像は、第1中間静止画像81の外側に配置され得る仮想的なコマに対応していることを示している。例えば、時刻t13に対応する第1部分静止画像812のうち、上から2段目、右から1列目の静止画像は、「(00:01.00)」と表示されている。この静止画像は、第1中間静止画像81の右端に配置されている「00:00.59」の静止画像のさらに右側に配置するとすれば、それは「00:01.00」の静止画像であるべきであることを示している。このような仮想的なコマは、例えば、黒く塗りつぶした静止画像として表示されても良い。特に、番号が「(−−:−−.−−)」である静止画像は、その静止画像に対応するコマが、編集前動画7の撮影を開始する前または終了した後の時刻に対応する仮想的なコマであることを示している。
各時刻における第1部分静止画像812の中央に配置された静止画像の番号に注目すると、第1時刻t11では「00:01.57」である。同様に、第2時刻t12では「00:01.58」、第3時刻t13では「00:01.59」、第4時刻t14では「00:02.00」である。ここで、第1部分静止画像812は、静止画像の寸法単位でスクロールすることに注目されたい。その結果、利用者が第1表示領域5221の中央に視点を固定した状態で、第1表示範囲811を横方向に移動するスクロール操作を行うことで、その場所に位置する静止画像が、第1時刻t11の「00:01.57」から第2時刻t12の「00:01.58」に切り替わり、さらに第3時刻t13の「00:01.59」および第4時刻t14の「00:02.00」に順次切り替わる。このような切り替え表示を行うことで、利用者の目には、まるで編集前動画7を再生しているかのように映る。
このように、本実施形態では、サーバ3および端末5の間で行う通信において、ビットレートが比較的高い編集前動画7のストリーミング再生をせずに、ビットレートが比較的低い静止画像を連続的に切り替える表示を行うことで、疑似的な動画再生を行うことが出来る。
同様の擬似的な動画再生は、図6Bに示したとおり、縦方向のスクロール操作でも行うことが出来る。縦方向のスクロール操作は、図6Aを参照して説明した横方向のスクロール操作の方向を変えただけのものであるので、さらなる詳細な説明を省略する。ただし、横方向と縦方向では、第1中間静止画像81に配置された複数の静止画像にそれぞれ対応するコマの周期が異なることに注目されたい。つまり、本実施形態の場合は、横方向のスクロールによる疑似的な動画再生はコマ送り表示が実現可能であるが、縦方向のスクロールによる疑似的な動画再生では早送り表示が実現可能である。言い換えれば、本実施形態では、異なる速度による疑似的な動画再生を、表示装置522上のスクロールの方向を選択することで、非常に簡単に切り替えることが可能である。また、スクロールの方向を逆にするだけで、コマ送りの逆再生や巻き戻し表示も容易に実現可能であることにも注目されたい。
図6Cを参照して、いわゆるジャンプ操作を行う際に、第1表示領域5221で縮小表示および拡大表示を行うことによって、利用者にとって移動先を直観的に把握しやすく出来ることについて説明する。図6Cは、一実施形態による中間静止画像群8の表示方法のさらに別の例を示す図である。
本実施形態によるジャンプ操作は、第2表示領域5222または第3表示領域5223で行うことが好ましい。具体的には、利用者が、第2部分静止画像822または第3中間静止画像83に表示されているいずれかの静止画像を、ジャンプ先静止画像85Bとして選択する。このとき、第1表示領域5221では、第2表示領域5222および第3表示領域5223と連動した表示が行われる。
図6Cには、利用者がジャンプ操作を行った際の、第1時刻t31〜第3時刻t33のそれぞれにおいて第1表示領域5221の表示が変化する様子の一例を示している。第1時刻t31は、ジャンプ操作の直前であり、第1表示領域5221には第1部分静止画像812が表示されている。第1時刻t31において第1部分静止画像812の中央に配置されている静止画像を、便宜上、ジャンプ元静止画像85Aと呼ぶ。第3時刻t33は、ジャンプ操作の直後であり、第1表示領域5221には第1部分静止画像812が表示されている。第3時刻t33において第1部分静止画像812の中央にはジャンプ先静止画像85Bが表示されている。第2時刻t32は、第1時刻t31および第3時刻t33の間の時刻であって、第1表示領域5221には第1中間静止画像81のうち、ジャンプ元第1表示範囲811Aおよびジャンプ先第1表示範囲811Bの両方を含む部分が、縮小されて表示されている。ここで、ジャンプ元第1表示範囲811Aは、第1時刻t31における第1部分静止画像812に対応する表示範囲であって、ジャンプ先第1表示範囲811Bは、第3時刻t33における第1部分静止画像812に対応する表示範囲である。
第1時刻t31から第2時刻t32までの間は、第1中間静止画像81のうち第1表示領域5221に表示される部分が、徐々に拡大されることが好ましい。言い換えれば、第1時刻t31から第2時刻t32の間は、第1表示領域5221の表示内容は徐々に縮小される。反対に、第2時刻t32から第3時刻t33までの間は、第1中間静止画像81のうち第1表示領域5221に表示される部分が、徐々に縮小されることが好ましい。言い換えれば、第2時刻t32から第3時刻t33の間は、第1表示領域5221の表示内容は徐々に拡大される。
なお、ジャンプ先静止画像85Bが、第1表示範囲811に含まれている場合には、第1表示領域5221における縮小表示または拡大表示は行わずに、ジャンプ先の静止画像が第1表示範囲811の中央に移動するようなスクロールを行っても良い。これは、この距離のジャンプであれば、利用者がジャンプ元静止画像85Aを見失う可能性が低いからである。
第1表示領域5221をこのように演出することで、ジャンプ操作によってどのジャンプ元静止画像85Aからどのジャンプ先静止画像85Bに向かっているのかを、利用者にとって視覚的に分かりやすく表示することが可能となる。
なお、第1小工程S221で入力された操作が選択範囲84を選択する操作では無かった場合(NO)は、次に第4小工程S224が実行される。
第4小工程S224において、演算装置53は、第1小工程S221で入力された操作が動画の編集作業を完了する操作であったかどうかを判定する。ここで、動画の編集作業を完了する操作とは、第2小工程S222において選択範囲84に含まれる最初または最後のコマを利用者が選択した後、これらの選択を確定する操作である。入力された操作が動画の編集作業を完了する操作であった場合(YES)は、次に、第2大工程S2の第3中工程S23の第1小工程S231が実行される。入力された操作が動画の編集作業を完了する操作ではなかった場合(NO)および、動画の編集作業を完了する操作であっても選択範囲84に含まれる最初または最後のコマの選択が完了していなかったり、無効であったりした場合には、次に第2大工程S2の第1中工程S21の第1小工程S211を再度実行する。なお、表示を更新する必要が無い場合には、操作を入力する第1小工程S221を再度実行しても良い。
第2大工程S2の第3中工程S23では、端末5が編集制御信号を生成する。第3中工程S23は、第1小工程S231から開始する。
第1小工程S231において、端末5の編集制御信号生成部532が、編集制御信号を生成する。編集制御信号には、編集前動画7から抜き出すべき選択範囲84を定義する、最初または最後のコマを示す情報が含まれている。編集制御信号生成部532は、記憶装置54に格納されている情報に基づいて、編集制御信号を生成する。第1小工程S231の次には、第2小工程S232が実行される。
第2小工程S232において、端末5の通信装置521は、編集制御信号をサーバ3に向けて送信する。第2小工程S232の次には、第3小工程S233が実行される。
第3小工程S233において、サーバ3の通信部321が、編集制御信号を受信し、記憶部34に格納する。第3小工程S233の次には、第3大工程S3が実行される。
第3大工程S3において、サーバ3の編集後動画生成部333が、編集制御信号に基づいて編集後動画9を生成する。より具体的には、編集前動画7のうち、編集制御信号が示す2つのコマの間に含まれる選択範囲84を抜き出し、編集後動画9としてデータベース4に格納する。なお、実際の運用時には、同一の編集前画像7から複数の選択範囲84を抜き出して結合しても良いし、複数の選択範囲84を撮影時とは異なる順番で結合した編集後動画9を生成しても良い。また、複数の編集前画像7から複数の選択範囲84を抜き出しても良いし、複数の編集前画像7から抜き出した複数の選択範囲84を所望の順番に結合した編集後動画9を生成しても良い。第3大工程S3が完了すると、本実施形態による動画編集システム1の動作、すなわち本実施形態による動画編集方法も完了する。
以上に説明したように、本実施形態によれば、編集前動画7に含まれる全てまたは一部のコマを縦横に並べて一覧表示することで、選択範囲84の基準点となる2つのコマを容易に見つけて指定することが可能となる。さらに、スクロールの方向によって2つの異なる速度で疑似的な動画再生を容易に行うことで、基準点となるコマを探しやすくすることが可能となる。また、各コマを分割した評価領域ごとに評価結果を示すことでも、基準点となるコマを探しやすくすることが可能となる。なお、サーバ3および端末5の間で、動画データの代わりに静止画像データを送受信することで、より機敏な動作が期待できる。
以上、発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、前記実施の形態に説明したそれぞれの特徴は、技術的に矛盾しない範囲で自由に組み合わせることが可能である。
1 動画編集システム
2 撮影装置
3 サーバ
31 バス
32 入出力インターフェース
321 通信部
33 演算部
331 中間静止画像群生成部
332 部分静止画像群生成部
333 編集後動画生成部
334 評価部
34 記憶部
35 外部記憶装置
351 記録媒体
4 データベース
5 端末
51 バス
52 入出力インターフェース
521 通信装置
522 表示装置
5221 第1表示領域
5222 第2表示領域
5223 第3表示領域
523 入力装置
53 演算装置
531 表示制御信号生成部
532 編集制御信号生成部
54 記憶装置
55 外部記憶装置
551 記録媒体
6 表示装置
7 編集前動画
8 中間静止画像群
81 第1中間静止画像
811 第1表示範囲
811A ジャンプ元第1表示範囲
811B ジャンプ先第1表示範囲
812 第1部分静止画像
82 第2中間静止画像
821 第2表示範囲
822 第2部分静止画像
83 第3中間静止画像
84 選択範囲
85A ジャンプ元静止画像
85B ジャンプ先静止画像
86 カーソル
87 非選択枠
88 選択枠
89 評価枠
9 編集後動画

Claims (12)

  1. 編集前動画から中間静止画像群を生成するサーバと、
    前記サーバから前記中間静止画像群を部分的に読み出し、前記編集前動画に含まれる所望の選択範囲を、前記中間静止画像群に基づいて設定する端末と
    を具備し、
    前記サーバは、
    前記編集前動画に含まれて時系列に配置された複数の静止画像を、第1周期で第1方向に並べ、かつ、前記第1周期とは異なる第2周期で前記第1方向に直交する第2方向に並べた、前記中間静止画像群のうちの第1中間静止画像を生成し、かつ、前記第1中間静止画像を縮小して前記中間静止画像群のうちの第2中間静止画像を生成する中間静止画像群生成部と、
    前記端末から受信する表示制御信号に応じて、前記第1中間静止画像のうち、所定の第1表示範囲に含まれる第1部分静止画像と、前記第2中間静止画像のうち、前記第1表示範囲を含む第2表示範囲に含まれる第2部分静止画像とを生成する部分静止画像群生成部と
    を具備し、
    前記端末は、
    前記第1部分静止画像および前記第2部分静止画像を、前記第1表示範囲および前記第2表示範囲が連動するように表示する表示装置と、
    前記第1中間静止画像のうち、一度に表示する前記第1表示範囲を設定する表示制御操作を入力し、かつ、前記複数の静止画像のうち、前記第1部分静止画像に含まれるいずれかの静止画像を、選択範囲の一端として設定する編集制御操作を入力する入力装置と、
    前記表示制御操作の内容を前記サーバに伝達する前記表示制御信号を生成し、かつ、前記編集制御操作の内容を前記サーバに伝達する編集制御信号を生成する演算装置と
    を具備し、
    前記サーバは、
    前記端末から受信する前記編集制御信号に応じて、前記編集前動画のうち、前記選択範囲に含まれる部分を抜き出して編集後動画を生成する編集後動画生成部
    をさらに具備する
    動画編集システム。
  2. 請求項1に記載の動画編集システムにおいて、
    前記端末の前記表示装置は、前記第1表示範囲を変更する際に、前記第1部分静止画像を、前記第1方向に静止画像単位で連続的にスクロールすることによって前記第1周期による疑似的な動画再生を行い、前記第2方向に静止画像単位で連続的にスクロールすることによって前記第2周期による疑似的な動画再生を行う
    動画編集システム。
  3. 請求項1または2に記載の動画編集システムにおいて、
    前記サーバの前記中間静止画像群生成部は、前記第2中間静止画像をさらに縮小した第3中間静止画像をさらに生成し、
    前記端末の前記表示装置は、
    前記第1部分静止画像および前記第2部分静止画像と同時に、前記第3中間静止画像の全体をさらに表示し、
    前記第3中間静止画像において前記第1表示範囲および前記第2表示範囲に対応する枠を前記第3中間静止画像に重ねてさらに表示する
    動画編集システム。
  4. 請求項1〜3のいずれか一項に記載の動画編集システムにおいて、
    前記サーバは、
    前記複数の静止画像のそれぞれを、所定の寸法を有する複数の評価領域に区切り、前記複数の評価領域のそれぞれを所定の基準で評価する評価部
    をさらに具備し、
    前記端末の前記表示装置は、
    前記第1部分静止画像を表示する際に、前記複数の評価領域のそれぞれを、前記評価の結果で区別して表示する
    動画編集システム。
  5. 外部から編集前動画を入力する入出力インターフェースと、
    前記編集前動画を格納するデータベースと、
    前記編集前動画に含まれて時系列に配置された複数の静止画像を、第1周期で第1方向に並べ、かつ、前記第1周期とは異なる第2周期で前記第1方向に直交する第2方向に並べた、中間静止画像群のうちの第1中間静止画像を生成し、かつ、前記第1中間静止画像を縮小して前記中間静止画像群のうちの第2中間静止画像を生成する中間静止画像群生成部と、
    外部から受信する表示制御信号に応じて、前記第1中間静止画像のうち、所定の第1表示範囲に含まれる第1部分静止画像と、前記第2中間静止画像のうち、前記第1表示範囲を含む第2表示範囲に含まれる第2部分静止画像とを生成する部分静止画像群生成部と、
    外部から受信する編集制御信号に応じて、前記編集前動画のうち、前記選択範囲に含まれる部分を抜き出して編集後動画を生成する編集後動画生成部と
    を具備する
    サーバ。
  6. 第1中間静止画像のうち、所定の第1表示範囲に含まれる第1部分静止画像と、前記第1中間静止画像を縮小した第2中間静止画像のうち、前記第1表示範囲を含む第2表示範囲に含まれる第2部分静止画像とを、外部から入力する入出力インターフェースと、
    前記第1部分静止画像および前記第2部分静止画像を、前記第1表示範囲および前記第2表示範囲が連動するように表示する表示装置と、
    前記第1中間静止画像は、第1周期で第1方向に並べられ、かつ、前記第1周期とは異なる第2周期で前記第1方向に直交する第2方向に並べられた複数の静止画像を含み、前記第1中間静止画像のうち、一度に表示する前記第1表示範囲を設定する表示制御操作を入力し、かつ、前記複数の静止画像のうち、前記第1部分静止画像に含まれるいずれかの静止画像を、選択範囲の一端として設定する編集制御操作を入力する入力装置と、
    前記表示制御操作の内容を前記外部に伝達する表示制御信号を生成し、かつ、前記編集制御操作の内容を前記外部に伝達する編集制御信号を生成する演算装置と
    を具備する
    端末。
  7. 編集前動画から中間静止画像群を生成することと、
    前記中間静止画像群に基づいて前記編集前動画に含まれる所望の選択範囲を設定することと、
    前記編集前動画のうち、前記選択範囲に含まれる部分を抜き出して編集後動画を生成することと
    を具備し、
    前記中間静止画像群を生成することは、
    前記編集前動画に含まれて時系列に配置された複数の静止画像を、第1周期で第1方向に並べ、かつ、前記第1周期とは異なる第2周期で前記第1方向に直交する第2方向に並べた第1中間静止画像を生成することと、
    前記第1中間静止画像を縮小した第2中間静止画像を生成することと
    を具備し、
    前記選択範囲を設定することは、
    表示制御操作を入力することと、
    前記表示制御操作に応じて、前記第1中間静止画像のうち、一度に表示する第1表示範囲を設定することと、
    前記第1中間静止画像のうち、前記第1表示範囲に含まれる第1部分静止画像と、前記第2中間静止画像のうち、前記第1表示範囲を含む第2表示範囲に含まれる第2部分静止画像とを、前記第1表示範囲および前記第2表示範囲が連動するように表示することと、
    編集制御操作を入力することと、
    前記編集制御操作に応じて、前記複数の静止画像のうち、前記第1部分静止画像に含まれるいずれかの静止画像を、前記選択範囲の一端として設定することと
    を具備する
    動画編集方法。
  8. 請求項7に記載の動画編集方法において、
    前記表示することは、
    前記第1部分静止画像を、前記第1方向に静止画像単位で連続的にスクロールすることによって前記第1周期による疑似的な動画再生を行うことと、
    前記第1部分静止画像を、前記第2方向に静止画像単位で連続的にスクロールすることによって前記第2周期による疑似的な動画再生を行うことと
    を具備する
    動画編集方法。
  9. 請求項7または8に記載の動画編集方法において、
    前記中間静止画像群を生成することは、
    前記第2中間静止画像をさらに縮小して第3中間静止画像を生成すること
    をさらに具備し、
    前記表示することは、
    前記第1部分静止画像および前記第2部分静止画像と同時に、前記第3中間静止画像の全体を表示することと、
    前記第3中間静止画像において前記第1表示範囲および前記第2表示範囲に対応する枠を前記第3中間静止画像に重ねて表示すること
    を具備する
    動画編集方法。
  10. 請求項7〜9のいずれか一項に記載の動画編集方法において、
    前記中間静止画像群を生成することは、
    前記複数の静止画像のそれぞれを、所定の寸法を有する複数の評価領域に区切り、前記複数の評価領域のそれぞれを所定の基準で評価すること
    をさらに具備し、
    前記表示することは、
    前記第1部分静止画像を表示する際に、前記複数の評価領域のそれぞれを、前記評価の結果で区別して表示すること
    を具備する
    動画編集方法。
  11. 外部から編集前動画を入力することと、
    前記編集前動画を格納することと、
    前記編集前動画に含まれて時系列に配置された複数の静止画像を、第1周期で第1方向に並べ、かつ、前記第1周期とは異なる第2周期で前記第1方向に直交する第2方向に並べた、中間静止画像群のうちの第1中間静止画像を生成することと、
    前記第1中間静止画像を縮小して前記中間静止画像群のうちの第2中間静止画像を生成することと、
    外部から表示制御信号を受信することと、
    前記表示制御信号に応じて、前記第1中間静止画像のうち、所定の第1表示範囲に含まれる第1部分静止画像と、前記第2中間静止画像のうち、前記第1表示範囲を含む第2表示範囲に含まれる第2部分静止画像とを生成することと、
    外部から編集制御信号を受信することと、
    前記編集制御信号に応じて、前記編集前動画のうち、選択範囲に含まれる部分を抜き出して編集後動画を生成することと
    を具備する
    動画編集方法。
  12. 第1中間静止画像のうち、所定の第1表示範囲に含まれる第1部分静止画像と、前記第1中間静止画像を縮小した第2中間静止画像のうち、前記第1表示範囲を含む第2表示範囲に含まれる第2部分静止画像とを、外部から入力することと、
    前記第1部分静止画像および前記第2部分静止画像を、前記第1表示範囲および前記第2表示範囲が連動するように表示することと、
    前記第1中間静止画像は、第1周期で第1方向に並べられ、かつ、前記第1周期とは異なる第2周期で前記第1方向に直交する第2方向に並べられた複数の静止画像を含み、前記第1中間静止画像のうち、一度に表示する前記第1表示範囲を設定する表示制御操作を入力することと、
    前記複数の静止画像のうち、前記第1部分静止画像に含まれるいずれかの静止画像を、選択範囲の一端として設定する編集制御操作を入力することと、
    前記表示制御操作の内容を外部に伝達する表示制御信号を生成することと、
    前記編集制御操作の内容を外部に伝達する編集制御信号を生成することと
    を具備する
    動画編集方法。
JP2018081996A 2018-04-23 2018-04-23 動画編集システム、サーバ、端末および動画編集方法 Active JP7182372B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018081996A JP7182372B2 (ja) 2018-04-23 2018-04-23 動画編集システム、サーバ、端末および動画編集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018081996A JP7182372B2 (ja) 2018-04-23 2018-04-23 動画編集システム、サーバ、端末および動画編集方法

Publications (2)

Publication Number Publication Date
JP2019193027A true JP2019193027A (ja) 2019-10-31
JP7182372B2 JP7182372B2 (ja) 2022-12-02

Family

ID=68390989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018081996A Active JP7182372B2 (ja) 2018-04-23 2018-04-23 動画編集システム、サーバ、端末および動画編集方法

Country Status (1)

Country Link
JP (1) JP7182372B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116860A (ja) * 1995-10-19 1997-05-02 Matsushita Electric Ind Co Ltd 動画範囲選択方法及びビデオ編集装置
JP2003333464A (ja) * 2002-05-10 2003-11-21 Fuji Photo Film Co Ltd 画像閲覧システム
US20050033758A1 (en) * 2003-08-08 2005-02-10 Baxter Brent A. Media indexer
JP2006186617A (ja) * 2004-12-27 2006-07-13 Orion Denki Kk サムネイル表示方法および記録再生装置
JP2010124181A (ja) * 2008-11-19 2010-06-03 Sony Corp 画像処理装置、画像表示方法および画像表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116860A (ja) * 1995-10-19 1997-05-02 Matsushita Electric Ind Co Ltd 動画範囲選択方法及びビデオ編集装置
JP2003333464A (ja) * 2002-05-10 2003-11-21 Fuji Photo Film Co Ltd 画像閲覧システム
US20050033758A1 (en) * 2003-08-08 2005-02-10 Baxter Brent A. Media indexer
JP2006186617A (ja) * 2004-12-27 2006-07-13 Orion Denki Kk サムネイル表示方法および記録再生装置
JP2010124181A (ja) * 2008-11-19 2010-06-03 Sony Corp 画像処理装置、画像表示方法および画像表示プログラム

Also Published As

Publication number Publication date
JP7182372B2 (ja) 2022-12-02

Similar Documents

Publication Publication Date Title
US5999173A (en) Method and apparatus for video editing with video clip representations displayed along a time line
US5359712A (en) Method and apparatus for transitioning between sequences of digital information
JP4194272B2 (ja) 動画像管理装置及び方法
US6561907B2 (en) Simultaneous or reciprocal image synthesis for a video game at different viewpoints
US11100354B2 (en) Mark information recording apparatus, mark information presenting apparatus, mark information recording method, and mark information presenting method
JPH10108122A (ja) 画像再生装置
CN103839562A (zh) 一种视频创作系统
US20160012851A1 (en) Image processing device, image processing method, and program
US20200104030A1 (en) User interface elements for content selection in 360 video narrative presentations
CN112839190A (zh) 虚拟图像与现实场景同步视频录制或直播的方法
JP2013009299A (ja) 画像編集装置、及び画像編集方法
CN113660528A (zh) 一种视频合成方法、装置、电子设备和存储介质
CN114466232B (zh) 视频处理方法、装置、电子设备和介质
JP2004222175A (ja) 画像再生装置、再生方法、再生プログラム、およびその記録媒体
JPH10108123A (ja) 画像再生装置
JP7182372B2 (ja) 動画編集システム、サーバ、端末および動画編集方法
JP6567461B2 (ja) 認識装置、映像コンテンツ提示システム、プログラム
JPH1098667A (ja) 画像再生装置
JP2007325002A (ja) 画像出力装置及び画像出力方法
JP2005354332A (ja) 画像再生装置およびプログラム
JP5217139B2 (ja) 画像検索装置、画像検索プログラム
JP2006229467A (ja) フォトムービー作成装置及びフォトムービー作成プログラム、並びに被写体認識方法
KR20220123061A (ko) 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
JP2020137050A (ja) 撮像装置、撮像方法、撮像プログラム及び学習装置
JP2014179943A (ja) 再生装置、再生方法、再生制御方法

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7182372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150