【０００１】
【発明の属する技術分野】
本発明は、動画や静止画、３Ｄ画像などの映像データを、人間の所望感覚特性を適宜に反映せしめて所定の特殊効果を加えながら編集・合成し新たな画像データとなすシステムおよびそのシステムにより作成された映像データを提案するものである。
【０００２】
【従来の技術】
各種の映像データを加工・編集・合成するためのシステムやプログラムは多くのものが実用化されている。つまり、１つ又は複数の素材となる映像データに対して可能な各種処理を加えて特定の目的に沿った新たな映像データを作成している。
【０００３】
この場合、特定目的に適った新たな映像データを得るための素材データや処理手法の選択は作業を行なう者（作成者）の感性の頼るものが多く、作る者や見る者の感性を反映させるといった特定目的を実現するための利用できる編集・合成技術そのものに関する研究はなされており、そのための手法も多数提案されてはいる。
【０００４】
【発明が解決しようとする課題】
上記したような従来の技術では、例えば、人間の所望の感性に適ったなどという特定目的を充足する新たな映像データを作成しようとする場合、素材データの収集や編集・合成作業に用いる処理手法の選択は、新たな映像データを作成するクリエイターの感性に頼ったものとならざるを得ず、十分な自動化は不可能であった。
【０００５】
すなわち、素材映像データに対してどのような特殊効果を施して編集・合成すれば所望の感覚特性に適った新たな映像データを自動的に作成できるかは、例えば、素材映像データの様々な映像構成要素が人間の感覚特性にどのような影響を与えているかについて符号化・数値化して客観的な特性値となし、その特性値を有する映像構成要素に対してどのような特殊効果を加えれば所望の感覚特性に合致した新たな映像データが作成できるかについての関連付けの巧拙に関わると解釈できるが、このような特性値や関連付けは従来技術においては何ら提案されていない。
【０００６】
したがって、従来技術では、素材となる映像データから所望の感覚特性に合致した新たな映像データを作成するには、映像クリエイターが選択・組合わせされた素材データについて最初から最後まで編集・合成作業を行なわなければ作成することができなかった。つまり、映像データの自動作成システム自体は従来から提案されているが、これを利用して所望の感覚特性に合致した新たな映像データを編集・合成作業を行ないながらリアルタイムで同時にモニター等の出力装置に出力させることなどは到底不可能であった。
【０００７】
また、従来技術では、所望の感覚特性を反映した映像データの出力は、映像クリエイターが完成したものを再生するという手法しか採ることができないので、映像データの出力を行ないながら同時進行的に編集・合成作業を行ない、出力内容に対する聴衆その他の者の要望を入れながら編集・合成作業の方針を適時に変更し、それを出力内容に即時的に反映させるといったインタラクティブな手法を実現することも不可能であった。
【０００８】
【課題を解決するための手段】
本発明は、上記したような従来技術における課題を解消することについて、実験と検討を繰り返し行い創案されたものであって、映像データの構成要素について特定の感覚特性などに関する特性値を与え、その特性値を利用して望ましい感覚特性を新たな映像データに付与するシステムによってリアルタイムの映像データ出力を可能とすると共にこのシステムによって作成された映像データをも新規なものとして提案するものであって、具体的には以下の如くである。
【０００９】
（１） 所望の感覚的特性を反映した映像データの編集・合成作業を実現するために、
形、模様、明暗、色、色調、動きなどといった映像を構成する諸要素の中から人間が視覚的刺激として影響を受けるものを感覚刺激要素として素材となる映像データなどから抽出し、各感覚刺激要素が人間の感性を含む感覚的特性をどの程度刺激するかについて、特定の者の判断結果又は不特定・多数の者の意見を統計的処理することによって求められる結果に基づいて客観的比較処理が可能な符号化・数値化等による等級化を行なって特性値となすことで各感覚刺激要素と特性値との対照関係を確定し、
コンピュータを利用して、人間の様々な感覚的特性に関する特性値を付し得るように調整された素材となる複数の映像データを記憶手段にストックさせ、それらストックした映像データ中から所望の感覚的特性の方向を充足するものとして選択・組合わせ可能なものを適宜に表示して任意な選択・組合わせを行なわしめて上記対照関係による特性値に基づいて映像データを編集・合成手段により編集・合成して新たな映像データとするに際して、
上記対照関係を利用して得られる、選択・組合わせされた映像データ中の所望の感覚的特性に関する特性値を活かすように所定法則に従って演算手段により演算処理し、その結果に対してそれに相応しいものとして予め定めて記憶手段にストックしておいた所定の映像的特殊効果を素材となる映像データに付して編集・合成し、または、編集・合成された新たな映像データに追加的に付してモニターその他の出力装置に出力させ、それにより映像に関する人間の感覚的特性が反映した映像データの編集・合成が自動的になされるようにしたことを特徴とする、映像構成要素の特性値に基づいた映像データの自動編集・合成システム。
【００１０】
（２） 素材となる映像データが音楽や効果音などの音声データと組合わされたものであり、その音声データについても感覚刺激要素を符号化・数値化等して特性値を与え、素材となる音声データ付き映像データの編集・合成作業に際して、音声データの特性値に基づいた映像的特殊効果や音響的特殊効果を自動的に付加してモニターやスピーカの如き出力装置により出力させることを特徴とする、前記（１）項に記載の映像構成要素の特性値に基づいた映像データの自動編集・合成システム。
【００１１】
（３） 素材となる映像データを所望の感覚的特性についての特性値に基づいて編集・合成してモニターその他の出力装置により出力するに際して、編集・合成作業と同時進行的に出力可能な部分を逐時的に出力させることで新たな映像データのリアルタイムな出力が可能とされたことを特徴とする、前記（１）項または（２）項に記載の映像構成要素の特性値に基づいた映像データの自動編集・合成システム。
【００１２】
（４） 所望の感覚的特性に関する設定を素材となる映像データの編集・合成作業中にも適時に変更可能なものとなし、それを変更後の編集・合成作業に反映させることを特徴とする、前記（１）項〜（３）項の何れか１つに記載の映像構成要素の特性値に基づいた映像データの自動編集・合成システム。
【００１３】
（５） 編集・合成して出力される映像データと併せて、所望の感覚的特性とは直接的に関連のない映像データや音声データを付加情報として、少なくとも部分的にモニターやスピーカなどの出力装置を利用して出力できることを特徴とする、前記（１）項〜（４）項の何れか１つに記載の映像構成要素の特性値に基づいた映像データの自動編集・合成システム。
【００１４】
（６） 素材となる映像データ、感覚刺激要素と特性値との対照関係データ、特性値の演算処理に用いる所定法則に関するデータ、演算処理結果に対して付すべき特殊効果に関するデータの少なくとも１つがインターネットのようなネットワークを利用して送信可能であり、編集・合成と出力装置への出力又は出力装置への出力のみを受信者側で行なうものとし、また、必要に応じて編集・合成や付加情報の出力に関する操作を送信者側からも遠隔操作として行なえるようにしていることを特徴とする、前記（１）項〜（５）項の何れか１つに記載の映像構成要素の特性値に基づいた映像データの自動編集・合成システム。
【００１５】
（７） 前記（１）項〜（６）項の何れか一つに記載の映像構成要素の特性値に基づいた映像データの自動編集・合成システムによって作成されたことを特徴とする映像構成要素の特性値に基づいた映像データ。
【００１６】
【作用】
（ａ） 所望の感覚的特性を反映した映像データの編集・合成作業を実現するために、形、模様、明暗、色、色調、動きなどといった映像を構成する諸要素の中から人間が視覚的刺激として影響を受けるものを感覚刺激要素として素材となる映像データなどから抽出することで、「さわやか」、「爽快な感じ」、「力強さ」、「激しさ」、「重々しさ」、「クールな感じ」などというように抽象的な語句により表現される人間の特定の感覚的特性に影響を与える映像データを構成する種々の感覚刺激要素を選び出して感覚的特性との関連付けをすることができる。
【００１７】
（ｂ） 各感覚刺激要素が人間の感性を含む感覚的特性をどの程度刺激するかについて、特定の者の判断結果又は不特定・多数の者の意見を統計的処理することによって求められる結果に基づいて客観的比較処理が可能な符号化・数値化等による等級化を行なって特性値となすことで、感覚刺激要素と感覚的特性との関係を特定の優れた映像クリエイターの感性や不特定多数者の意見の統計的処理に基づく結果に基づいて客観的で説得力のある特性値として得ることができる。
【００１８】
（ｃ） 各感覚刺激要素と特性値との対照関係を確定することで、この対照関係を用いて素材となる映像データがある感覚的特性（例えば、「さわやかさ」）についてどの程度の特性値を有しているかを求めることができるようになる。
【００１９】
（ｄ） コンピュータを利用して、人間の様々な感覚的特性に関する特性値を付し得るように調整された素材となる複数の映像データを記憶手段にストックさせ、それらストックした映像データ中から所望の感覚的特性の方向を充足するものとして選択・組合わせ可能なものを適宜に表示して任意な選択・組合わせを行なわしめて上記対照関係による特性値に基づいて映像データを編集・合成手段により編集・合成して新たな映像データとすることで、記憶手段にストックした素材となる映像データの中から必要とする感覚的特性（例えば、「さわやかさ」という感覚的特性）に合致するもののみを抜き出して表示し、その中の１つ又は複数を適宜に選び出さしめて素材となる映像データを、対照関係を付けられた特性値を利用しながら、必要とする感覚的特性の方向に従って編集・合成できるように準備することが可能となる。
【００２０】
（ｅ） 上記対照関係を利用して得られる、選択・組合わせされた映像データ中の所望の感覚的特性に関する特性値を活かすように所定法則に従って演算手段により演算処理し、その結果に対してそれに相応しいものとして予め定めて記憶手段にストックしておいた所定の映像的特殊効果を素材となる映像データに付して編集・合成し、または、編集・合成された新たな映像データに追加的に付してモニターその他の出力装置に出力させ、それにより映像に関する人間の感覚的特性が反映した映像データの編集・合成が自動的になされるようにしたことで、ある感覚的特性（例えば、「さわやかさ」）に関する特性値を、強調する、弱める、加算する、平均値をとる、最大値・最小値をとるなどといった所定法則に従って演算処理を行ない、その結果に対して相応しいものとして準備された特殊効果を素材となる映像データ、または、編集・合成処理を経た映像データに付すことができ、必要とする感覚的特性の方向性に合致した新たな映像データを得て、これをモニター等に出力する一連の作業を自動的に行なうことができるようになる。
【００２１】
（ｆ） 素材となる映像データが音楽や効果音などの音声データと組合わされたものであり、その音声データについても感覚刺激要素を符号化・数値化等して特性値を与え、素材となる音声データ付き映像データの編集・合成作業に際して、音声データの特性値に基づいた映像的特殊効果や音響的特殊効果を自動的に付加してモニターやスピーカの如き出力装置により出力させることで、映像データと一体化された音声データについても所望の感覚的特性に関して特性値を捉え、本発明により作成される新たな映像データのために利用する映像や音響に関する特殊効果を定める指標となし、音声付映像データに関しても所望の感覚的特性を反映した編集・合成が実現できるようになる。
【００２２】
（ｇ） 素材となる映像データを所望の感覚的特性についての特性値に基づいて編集・合成してモニターその他の出力装置により出力するに際して、編集・合成作業と同時進行的に出力可能な部分を逐時的に出力させることで新たな映像データのリアルタイムな出力が可能とされるので、望ましい感覚的特性（「さわやかさ」など）を決めて、素材となる映像データの選択を行なえば、それに沿った編集・合成作業が自動的に開始され、また、モニターなどに対する出力が可能となり、実際に出力せしめたい新たな映像データの選択の幅が拡大する。
【００２３】
（ｈ） 所望の感覚的特性に関する設定を素材となる映像データの編集・合成作業中にも適時に変更可能なものとなし、それを変更後の編集・合成作業に反映させることで、新しい画像データをモニター等に出力中であっても、設定している感覚的特性の内容を変更し（「さわやかさ」から「クールな感じ」など）、変更後の編集・合成作業にそれが反映するので、同じ素材画像データであってもこの設定変更によって様々な変化を加えた新たな画像データとすることができ、再現性のない一回性の画像データ出力を適宜に実行することができるようになる。
また、感覚的特性の設定についての変更は、必ずしも本発明システムを操作する者の明確な意思に基づくものである必要はなく、例えば、モニター周辺の温度変化や音量変化、人々の動きの変化などを適切なセンサー装置によって検知して、これらの変化に相応しい感覚的特性の変更設定（例えば、「さわやかさ」の感覚的特性設定が周囲の音量低下という変化によって「落ち着き」に切り替わるなど）を予め定めておくことで、本発明システムにおける編集・合成作業の方向性変更を利用者の感覚的嗜好変化に応じたものとして実現することも可能になる。
【００２４】
（ｉ） 編集・合成して出力される映像データと併せて、所望の感覚的特性とは直接的に関連のない映像データや音声データを付加情報として、少なくとも部分的にモニターやスピーカなどの出力装置を利用して出力できることで、ニュース情報その他の付加情報を適時・適所に出力表示して情報提供媒体として本発明システムを利用することができる。
【００２５】
（ｊ） 素材となる映像データ、感覚刺激要素と特性値との対照関係データ、特性値の演算処理に用いる所定法則に関するデータ、演算処理結果に対して付すべき特殊効果に関するデータの少なくとも１つがインターネットのようなネットワークを利用して送信可能であり、編集・合成と出力装置への出力又は出力装置への出力のみを受信者側で行なうものとし、または、編集・合成や付加情報の出力に関する操作を送信者側からも遠隔操作として行なえるようにしていることで、隔地者間でインターネットのようなネットワークを利用して本発明システムを実現しようとする際に、送信者側からの送信データを必要最小限のものとしながら有効に実施することができ、また、必要とされる編集・合成作業その他の処理を臨機応変に受信者側でも送信者側でも行なうものとなし得る。
【００２６】
（ｋ） 本発明による映像構成要素の特性値に基づいた映像データの自動編集・合成システムによって作成された映像データによって、人間の感性その他の特性が然るべき形態で反映していることが確実である映像データを適宜な映像コンテンツとして提供することが可能となる。
【発明の実施の形態】
上記した本発明の具体的な実施形態の若干例を、添付図面を利用しながら説明すると以下のとおりである。
すなわち、図１は本発明の映像データの自動編集・合成システム１についてその中心となる基本概念部分を模式図化したものである。
【００２７】
本発明システムの自動編集・合成作業の対象となる素材映像データ２は様々な形式のものが使用し得るようにすべきであるが、以下に示す特性値３を適切に付すことができるように調整されたものである必要がある。
【００２８】
素材となる映像データ２は当然に多くの要素によって構成されているが、この中で人間が視覚的刺激として影響を受けるものを感覚刺激要素４として抽出することが可能である。具体的な例としては、形、模様、色、動きなどが考えられる。なお、本発明での映像データ２は、静止画と動画の双方を含み、場合によっては音声データと組合されたものも含むものである。
【００２９】
上記の感覚刺激要素４については、所定の感覚的特性（例えば、「カッコ良さ」）をどの程度刺激するかに関して、一定の基準に従って符号化・数値化による特性値３を定めることが可能である。図１の場合には、「カッコ良さ」という感覚的特性について０〜３の数字によって４段階の等級付けを行なう例を示している。
【００３０】
ある感覚刺激要素４（例えば、「形」）が「カッコ良さ」という感覚的特性についてどの程度の特性値３を有しているかを機械的に決定できるようにすることは困難である。そこで、本発明では、優れた感性を有する映像クリエーターなどの特定の者による判断、または、不特定多数の者の意見を統計的処理することによって求められる結果に基づいて感覚刺激要素４の所定感覚的特性に関する特性値５を定めることを提唱するものである。
【００３１】
ここで、本発明の最終的な目的は、素材の映像データ２から所定の感覚的特性（カッコ良さ）を反映した新たな映像データを作成することにあるので、統計的処理によって得られる平均的感性に基づく特性値３を利用するよりは優れた感性を有する特定の映像クリエーターの判断による特性値３を利用する方が目的達成には望ましいと考えることができる。
また、特性値３は素材映像データ２の構成要素である感覚刺激要素４のすべてについて付さなければならないものではなく、感覚的特性を反映した新たな映像データを作成する上で必要且つ十分な範囲で付しておけば足りる。
【００３２】
このようにして、素材となる映像データ２の構成要素である適宜な感覚刺激要素４に対して所定の感覚的特性（カッコ良さ）に関する特性値３が割り当てられて相互の対照関係が確定される。この対照関係は感覚的特性の種類に応じて異なるものである。例えば、「カッコ良さ」という感覚的特性に関してある素材映像データ２の感覚刺激要素４である「形」が特性値３として「３」という数値であっても、「さわやかさ」という感覚的特性に関しては同じ「形」の特性値３が「２」という数値で表現されることが当然にあり得るのである。
【００３３】
本発明では、上記の特性値３を利用して所望の感覚的特性（カッコ良さ）を十分に反映するように素材となる映像データ２を編集・合成するものである。
すなわち、１つの素材映像データ２を編集する場合には、所望の感覚的特性（カッコ良さ）に関する特性値３を付された感覚刺激要素４を抽出し、それらの要素に対して付された特性値３の数値に応じた所定の映像的特殊効果を加える編集処理を行なうものである。
【００３４】
ある感覚的特性（カッコ良さ）に基づいて、特性値３の数値に応じてどのような映像的特殊効果を対応させるのが適切かについては、映像クリエーターの感性を利用したり、不特定多数者の意見を統計的に処理して得られる結果を利用して決定することができ、このような関係が確定されればそのデータを用いることで以後はコンピュータなどを用いて自動的に映像的特殊効果を加える編集処理を実行することができるようになる。
【００３５】
また、所定の感覚的特性をより強く反映させるために特性値３に対して一定の法則にしたがった演算処理を加えて新たな特性値３ａとなし、これに対して相応しい映像的特殊効果を与える編集処理とすることも可能である。図示の場合には、所望の感覚的特性として「よりカッコ良く」を満たす編集処理を行なわしめるために、特性値３の数値を１つずつ上げる（最大値「３」はそのまま）という演算処理を行なう場合について示している。所望の感覚的特性をより反映させるために特性値３にどのような演算処理を加えるかの判断も特定の映像クリエーターの感性や多数者の意見の統計的処理結果を参考に確定しておくことが可能である。
【００３６】
また、上記してきた編集・合成作業の基準となる所定の感覚的特性は作業途中に変更してそれを以降の編集・合成作業の結果に反映させるものとすることもできる。例えば、「カッコ良さ」という感覚的特性に基づいて編集作業を一定程度まで行ないながら、ある時点で「さわやかさ」という感覚的特性に変更し以降の編集処理を「さわやかさ」に基づいて行なわせることが可能である。この場合、感覚的特性の変更に伴って取扱う感覚刺激要素４やその特性値３も変更されることになるが、編集・合成後の映像データは一連のものとしてモニター等に出力可能なものでなければならないので、加える映像的特殊効果の変更は出力処理上違和感を生じないように調整されなければならない。したがって、変更可能な感覚的特性は作業状況に応じて一定の制限を付すものとして構わない（正反対の方向の感覚的特性への変更を許容しないなど）。
【００３７】
以上は、素材となる１つの映像データ２を所望の感覚的特性に基づいて編集処理する場合について述べてきたが、素材となる２つ以上の映像データ２、２ａを組合わせて合成処理する場合も略同様に考えることができる。
すなわち、この場合には一方の素材映像データ２と他方の素材映像データ２ａの各感覚刺激要素４についてそれぞれの特性値３をもとめ、同一または同種の感覚刺激要素４についての各特性値３に関しては両者の関係に基づいて一定の演算処理を施して合成処理のための新たな特性値３ａを求めるのである。
【００３８】
例えば、「カッコ良さ」という感覚的特性に関して、素材映像データ２の感覚刺激要素４である「形」の特性値３が「２」の数値であり、素材映像データ２ａの「形」に関する特性値３が「１」の数値をとる場合に、両者の合成結果として映像的特殊効果を付与する際には「形」に関する新たな特性値３ａは両者の和である「３」という数値を採るものとして扱うなどということである。
【００３９】
２つ以上の画像データ２、２ａ…を合成して新たな画像データを得るための新たな特性値３ａを求めるための所定の演算処理法則は、上記のような加算処理に限られるわけではなく、最大値・最小値を採る、平均値を採る、など状況に応じて相応しい演算処理を行なうものとすればよいが、どのような演算処理を採用すべきかは映像クリエーターの感性や多数者の意見を統計的処理した結果に基づいて定めるものとすればよい。
【００４０】
何れにしても、素材となる映像データ２、２ａ…に基づいて所望の感覚的特性（例えば、「カッコ良さ」）を反映するように自動編集・合成処理することが、映像データ２、２ａ…とその構成要素である感覚刺激要素４およびそれと対照関係を付けられた特性値３、さらにその特性値３に相応しいものとして予め定められた所定の映像的特殊効果を採用することで技術的に可能であることが理解される。
【００４１】
また、本発明システム１を採用することで、限られた数の素材映像データ２、２ａ、…であっても、所望の感覚的特性（「カッコ良さ」、「さわやかさ」…）に基づいた編集・合成処理を施すことで無数といっても良い変化に富んだ映像データとしてモニター等による出力が可能であることが理解されるべきである。
【００４２】
さらに、感覚的特性に関する初期設定や途中での変更を許容することで、本発明システム１を稼動する具体的な状況に即した映像データの編集・合成作業を任意に選択することができ、限られた素材映像データ２であっても応用範囲の広い出力が実現できることになる。
【００４３】
本発明システム１による映像データの編集・合成作業は、モニター等に対する出力と同時進行的に行なうことができるものであり、したがって、感覚的特性についての設定やその変更を行なえば即座にそれに応じた編集・合成結果が出力されるリアルタイムな処理が可能である。つまり、周囲環境や状況に合わせて適宜な操作を手動または自動的に行なうものと構成して、双方向性を備えたリアルタイムな映像データの編集・合成および出力が実現することができるものである。
【００４４】
図２は、２つ以上の素材となる映像データ２ａ、２ｂ、２ｃ、２ｄ、２ｄ、２ｆを合成して新たな映像データを作成し出力する場合についてその手順をフローチャート的に説明している。
すなわち、上記した６つの素材映像データを構成する感覚刺激要素４（動き、色、形、模様）について、ここでは「さわやかな」という感覚的特性に基づいてそれぞれの特性値３を抽出している。
【００４５】
「動き」、「形」、「色」、「模様」といった感覚刺激要素４は素材となる映像データ２に対してそれぞれ複数存在することもあり得るので、与えられる特性値４も１つに限らず複数個となることもあり得る。また、合成処理する素材映像２、２同士で感覚刺激要素４を共通している場合には適宜な演算処理を加えて新たな特性値として処理するものである。
【００４６】
上記のように確定された特性値３については希望する感覚的特性（「さわやかな」）に関して予め定めた特殊効果が対応するようにされているので、合成された映像データにこのような特殊効果を付して新たな映像データとなして映像出力するものである。
なお、特殊効果の確定作業は素材となる映像データ２の編集・合成作業の前後どちらで行なっても構わない。
【００４７】
【実施例１】
本発明による具体的な実施例の１つを図３に基づいて説明する。
これは、店舗内の顧客５向けに店舗内ディスプレイ６を用いて本発明システム１により編集・合成された映像データを出力する場合に関するものであり、素材となる映像データ２、２ａ、…などはクライアント７側からの要求によってインターネットなどのネットワークを利用して配信者８側から配信する構成となっているものである。
【００４８】
配信者８側においては、素材となる映像データ２、２ａ、…を準備し、それらの感覚刺激要素４と特性値３の対照関係に関するデータを感覚的特性に基づいて整理調整してデータベース化しておく。また、編集・合成作業を行なうために必要な特性値３に対する演算処理に関する所定法則についての情報や、各特性値３に対応すべき映像的特殊効果に関する情報やプログラム（動作情報の設定ソフトなど）も合わせて蓄積しておき、何れもクライアント７側からの要求に応じてオンラインで提供できるように準備しておくものである。
配信者８からクライアント７への具体的なデータ配信は、専用のコンテンツ管理サーバー９を用いて行なうようになっている。
【００４９】
クライアント７側のコンテンツ再生装置１０には本発明により編集・合成された映像データを適切に再生するための専用ソフトがインストールされており、また、通常は、感覚的特性の種類に基づいて決定される感覚刺激要素４と特性値３との対照関係のデータや特性値３の演算処理に関する所定法則のデータや特性値３に対応する映像的特殊効果に関するデータは、配信データを最小限サイズに収めるために、予めクライアント７側の再生装置１０内にストックしておくものとする。ただし、これらのデータはより良い映像データの編集・合成処理のために常に改良を重ねられるものであるから、適時にこれらのデータ中所望のものを配信者８に要求しオンラインで入手して改定することも勿論許容される。
【００５０】
クライアント７は、店舗内の顧客５に提供するに相応しい映像データを感覚的特性にしたがった表現（「カッコ良い」、「さわやか」、「明るい」、「楽しい」、「落ち着いた」など）を利用して選択し、配信者８に条件に合致する素材映像データ２、２ａ、…を配信するように要求する。配信者８は条件に合致する素材映像データ２のリストを適当な見出し（「海のイメージ」、「山のイメージ」、「森のイメージ」など）やサンプル画像と共にクライアント７に送信し、クライアント７はこのリストから実際に編集・合成処理して店舗内ディスプレイ６に出力したい素材映像データ２を確定するものとしてもよい。
【００５１】
クライアント７は、配信された素材映像データ２、２ａ、…の編集・合成処理を開始するために初期設定としての所望する感覚的特性に関する指示データを入力する。この初期設定は、特に指示がなされなければ、映像データ配信を要求した際に選択した感覚的特性の内容を活用するものとして構わない。また、映像データ配信を要求する際には感覚的特性についての選択をせず、単に「海のイメージ」、「山のイメージ」という指定で素材映像データ２を入手し、クライアント７側で編集・合成作業を開始する際に初めて感覚的特性の指示を行なうものとすることもできる。
【００５２】
何れにしても、素材映像データ２の配信を受け、所望の感覚的特性に関する初期設定を済ませれば、クライアント７は本発明システム１による映像データの自動編集・合成処理を実際に開始して、所望の感覚的特性を反映するように映像的特殊効果を付して作成される新たな映像データをコンテンツ再生装置１０から店舗内ディスプレイ６に出力させることができるようになる。
【００５３】
クライアント７は、具体的に店舗内の顧客５の様子を見ながら、状況に合わせて感覚的特性に関する設定を変更できることは上記してきたとおりであり、顧客５の実際の反応を確認しながら編集・合成作業の方向性に変化を加えて、店舗内の状況に相応しい映像データをリアルタイムに提供するような操作を行なうことが可能である。
【００５４】
このようなリアルタイムの編集・合成に関する操作が実現できるので、クライアント７側の操作者として感性に優れた映像クリエーターの如きが操作を担当する場合には、店舗内の状況等からインスピレーションを受けながら感性に即した編集・合成作業をライブ演奏感覚の如きリアルタイム処理で行なって店舗内ディスプレイ６に出力することも可能で、芸術性の高い映像データを再現性のないものとして提供するようなことも可能である。
【００５５】
本発明では、上記してきたように所望の感覚的特性を反映した編集・合成処理をディスプレイ６に対する出力と同時進行的に行なうことができるので、新たな映像データの作成に関して顧客５などの反応を自動的に反映させる双方向性を持たせることも可能である。
【００５６】
すなわち、クライアント７の店舗内に顧客５の動きや音量の変化、室温の変化などを感知するセンサーを設置し、これらのセンサーによる感知結果を、外部コントロール機器１１を介して顧客５の感覚的特性に関する嗜好であると適切に解釈し適切な操作指示をコンテンツ再生装置１０に行なうようにすることで、店舗内の顧客の希望を反映しながら新たな映像データを作成し、即座に顧客５に対して提供するシステムとすることが可能である。例えば、店舗内の顧客５の動作が激しく、音量も増加し、室温も上昇している場合にはより激しい方向に編集・合成し、動きが少なく音量も低下し、室温上昇もないような場合にはより落ち着いた静かな方向に編集・合成するように規定しておけば顧客５の嗜好を反映していると判断できる。
【００５７】
本発明システム１により作成される新たな映像データには、ニュース情報のような付加情報１２を組合わせてディスプレイ６に表示させることもできる。組合わせの手法は多様に考えられるが、ニュース情報の如く場合には本発明システム１の外部からダイレクトに提供される方が相応しいので、図示のように外部コンテンツ提供サーバー１３からコンテンツ管理サーバー９経由でクライアント７側のコンテンツ再生装置１０に配信されるものとしておけばよい。
【００５８】
クライアント７側の希望によって表示する企業ロゴやキャッチフレーズなどに関する付加情報１２については、配信者８側で素材映像データ２を配信する際に添付するように調整してもよいし、クライアント７側のコンテンツ再生装置１０で独自に付加して表示するものとしてもよい。
【００５９】
何れにしても、このような付加情報１２については感覚的特性に基づいた編集・合成処理などは行なわず、ディスプレイ６により出力する新たな映像データの一部に適宜に表示するものとしておけばよい。
【００６０】
さらに、編集・合成処理に関する操作については、クライアント７側のコンテンツ再生装置１０で行なうのが一般的であるが、インターネットのようなネットワークを通じて配信者８側も接続している場合には配信者８側がこの操作を遠隔操作的に実行することもできることが理解されるべきである。
また、新たな映像データを出力するディスプレイ６も１つに限られるわけではなく、複数であって何ら問題はない。この場合には、出力するディスプレイ６毎に編集・合成処理の方向性が異なるものとなっても構わない。すなわち、ベースとなる素材映像データ２、２ａ、…は共通にしながら、ディスプレイ６毎に映像的特殊効果を異なるものとすることも本発明においては可能である。
【００６１】
【実施例２】
本発明システム１を実際に稼動する場合に準備すべき「感覚的特性」や「感覚刺激要素」についての表現例と「映像的特殊効果」の実例についてその幾つかを以下に示す。
【００６２】
「感覚的特性」の表現例
（基本的な感覚的特性表現）：「さわやか」、「爽快な感じ」、「力強さ」、「激しさ」、「荒々しさ」、「重々しさ」、「クールな感じ」、「デザイナブルな」
（追加的な感覚的特性表現）：「ゆったりとした」、「落ち着かない」、「リズム感のある」、「ダンス」、「チカチカした」、「冷たい」、「暖かい」、「暑い」、「寒い」、「落ち着く」、「リラックス」、「昂揚」、「興奮」、「まったり」、「ダラダラ」、「アップライトな」、「明るい」、「暗い」、「ダークな」
【００６３】
「感覚刺激要素」の表現例
（１）色の感じ（色調）：「緑っぽい」、「青っぽい」、「赤っぽい」、「オレンジっぽい」、「白っぽい」、「黒っぽい」
（２）動きの感じ（動きの速度）：「ゆっくり」、「激しく」、「１倍速」
（３）形の感じ（形状）：「円」、「四角」、「円錐」、「球」、「板」、「トンネル」
（４）追加的要素：「明るさ」、「明」、「暗」
（５）感覚刺激要素としての制作手法：「実写」、「３Ｄアニメ」、「２Ｄアニメ」、「モーショングラフィックス」、「合成」
【００６４】
「映像的特殊効果」の実例：「明暗」、「フラッシュ」、「ブラー」、「フェードアウト」「フェードイン」、「ディゾルブ」、「カットイン」、「カットアウト」、「ホワイトアウト」、「ブラックアウト」、「ワイプ」、「４分割」、「９分割」、「マルチ分割」、「ピクチャーイン」、「セピア色」、「レインボー」、「カラーコレクト」、「色抜き」、「アルファ合成」、「球体」、「破裂」、「波紋」、「回転」、「トンネル」、「立方体」、「円錐」、「板」
【００６５】
上記のような準備を行なって本発明を実施し、モニターとなる視聴者に対して調査したところ、過半数の人から編集・合成の基礎となった特定の感覚的特性が作成された映像データの出力内容から感じられたとの回答を得ることができた。したがって、本発明システムを稼動することにより所望の感覚的特性を反映した映像データの自動的な編集・合成作業が実際に可能であると理解される。
【００６６】
【発明の効果】
以上説明したような本発明によるならば、映像データの構成要素である感覚刺激要素に特定の感覚的特性に基づいて特性値を与え、これを利用して編集・合成処理を自動的に行ない新たな映像データを所定の感性を反映したものとして得ることができ、限られた素材データから多様に変化し得る映像データをリアルタイムに作成することが可能となる。したがって、限られた数の映像コンテンツを素材として状況に応じた編集・合成処理を施した映像データを作成して即時的に提供することができ、店舗などに設置された多数のディスプレイに対してそれぞれに相応しい映像データを出力することなどが簡易且つ低コストに実現できるものであり、高性能化した近時の各種ディスプレイに表示せしむべき映像コンテンツ不足の状況を解消する手段として新たな需要を喚起し得るものであるから、工業的にその価値が高い発明である。
【図面の簡単な説明】
【図１】本発明システムの中心となる基本概念部分の模式図である。
【図２】複数の素材となる映像データを合成する場合の手順についてフローチャート的に説明した図面である。
【図３】本発明の実施形態の１例としてネットワークを利用する場合について示したフローチャート的説明図である。
【符号の説明】
１ 本発明による画像データの編集・合成システム
２ 素材となる映像データ
２ａ 別の素材となる映像データ
３ 特性値
３ａ 新たな特性値
４ 感覚刺激要素
５ 顧客
６ 店舗内ディスプレイ
７ クライアント
８ 配信者
９ コンテンツ管理サーバー
１０ コンテンツ再生装置
１１ 外部コントロール機器
１２ 付加情報[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a system that edits and synthesizes video data such as a moving image, a still image, and a 3D image while appropriately reflecting human desired sensory characteristics and adding a predetermined special effect, thereby generating new image data. The proposed video data is proposed.
[0002]
[Prior art]
Many systems and programs for processing, editing and synthesizing various video data have been put into practical use. That is, new video data for a specific purpose is created by adding various types of processing that can be performed to video data that is one or more materials.
[0003]
In this case, selection of material data and processing methods for obtaining new video data suitable for a specific purpose often depends on the sensitivity of the person who performs the work (creator), and reflects the sensitivity of the creator or viewer Research on the editing / compositing technology that can be used to achieve a specific purpose has been made, and many methods have been proposed.
[0004]
[Problems to be solved by the invention]
In the conventional technology as described above, for example, when trying to create new video data that satisfies a specific purpose such as suiting a human desired sensitivity, a processing method used for collecting material data and editing / compositing work The selection of inevitably relied on the sensibilities of creators who created new video data, and was not fully automated.
[0005]
In other words, what special effects can be applied to material video data to edit and synthesize automatically create new video data suitable for the desired sensory characteristics. What kind of effects the components have on human sensory characteristics are encoded and digitized to create objective characteristic values, and what kind of special effects should be added to video components that have those characteristics values This can be interpreted as relating to the skill of associating whether new video data that matches the desired sensory characteristics can be created, but such characteristic values and associations have not been proposed in the prior art.
[0006]
Therefore, in the conventional technology, in order to create new video data that matches the desired sensory characteristics from the video data used as the material, the video creator selects and combines the material data selected and combined from the beginning to the end. If it wasn't done, it couldn't be created. In other words, the video data automatic creation system itself has been proposed in the past, but it can be used to edit and synthesize new video data that matches the desired sensory characteristics while simultaneously performing real-time output devices such as monitors. It was impossible to make it output.
[0007]
In addition, in the prior art, video data that reflects the desired sensory characteristics can only be taken by reproducing the video creator's completed video. It is also impossible to implement an interactive method of performing composition work, changing the policy of editing / composition work in a timely manner while incorporating the requests of the audience and others for the output content, and reflecting it immediately in the output content Met.
[0008]
[Means for Solving the Problems]
The present invention was devised by repeating experiments and examinations for solving the problems in the prior art as described above, and gives characteristic values relating to specific sensory characteristics etc. for the constituent elements of video data. Real-time video data output is enabled by a system that gives a desired sensory characteristic to new video data using characteristic values, and video data created by this system is also proposed as a new one. Specifically, it is as follows.
[0009]
(1) To realize video data editing / compositing work reflecting desired sensory characteristics,
Each sensory stimulus is extracted from the video data used as material as sensory stimulus elements, which are affected by human visual stimuli from the elements that make up the image, such as shape, pattern, brightness, color, tone, and movement. Objective comparison processing based on the results of a specific person's judgment or statistical processing of the opinions of unspecified / many persons regarding how much the element stimulates sensory characteristics including human sensitivity Can be classified by encoding / numericalization, etc. to make it a characteristic value, thereby confirming the contrast between each sensory stimulus element and the characteristic value,
Using a computer, a plurality of video data, which is a material adjusted so that characteristic values relating to various human sensory characteristics can be attached, are stored in a storage means, and desired sensory characteristics are selected from the stocked video data. Edit and synthesize video data by editing / synthesizing means based on the characteristic values based on the above-mentioned contrasts by appropriately selecting and combining those that can be selected and combined as satisfying the direction of characteristics. When creating new video data,
An arithmetic process is performed by arithmetic means according to a predetermined rule so as to make use of the characteristic values relating to the desired sensory characteristics in the selected and combined video data obtained by using the above-mentioned contrast, and the result is suitable for the result As a pre-determined video special effect stored in the storage means, it is added to the video data as the material and edited or combined, or added to the new video data that has been edited and combined. Output to a monitor or other output device, which automatically edits and synthesizes video data that reflects the human sensory characteristics of the video. Based video data automatic editing / compositing system.
[0010]
(2) The video data used as material is combined with audio data such as music and sound effects, and the audio data is also provided with characteristic values by encoding and digitizing sensory stimulus elements. When editing and synthesizing video data with audio data, a video special effect or acoustic special effect based on the characteristic value of the audio data is automatically added and output by an output device such as a monitor or speaker. A video data automatic editing / synthesizing system based on the characteristic values of the video components described in (1) above.
[0011]
(3) When the video data as the material is edited / synthesized based on the characteristic value of the desired sensory characteristic and output by a monitor or other output device, a portion that can be output simultaneously with the editing / synthesizing work The video based on the characteristic value of the video component described in the above item (1) or (2), characterized in that new video data can be output in real time by being output sequentially. Automatic data editing and synthesis system.
[0012]
(4) It is characterized in that settings relating to desired sensory characteristics can be changed in a timely manner during editing / compositing work of video data as a material, and reflected in editing / compositing work after the change. A video data automatic editing / synthesizing system based on the characteristic value of the video component according to any one of (1) to (3).
[0013]
(5) In addition to video data that is edited and synthesized and output, video data and audio data that are not directly related to the desired sensory characteristics are added as additional information, and at least partially output from a monitor, speaker, etc. The video data automatic editing / synthesizing system based on the characteristic value of the video component according to any one of (1) to (4), wherein the video data can be output using a device.
[0014]
(6) At least one of video data as material, contrasting data between sensory stimulus elements and characteristic values, data relating to a predetermined law used for characteristic value calculation processing, and data relating to special effects to be applied to the calculation processing result is the Internet It is possible to transmit using a network such as the above, and editing / compositing and output to the output device or only output to the output device are performed on the receiver side, and editing / composition and additional information as necessary The characteristic value of the video component according to any one of the items (1) to (5) is characterized in that an operation related to the output of the video can be performed as a remote operation from the sender side. Based video data automatic editing / compositing system.
[0015]
(7) A video component created by an automatic video data editing / synthesizing system based on the characteristic value of the video component according to any one of (1) to (6) Video data based on the characteristic value of.
[0016]
[Action]
(A) In order to realize editing / compositing work of video data that reflects desired sensory characteristics, humans can visually understand the elements that make up video such as shape, pattern, brightness, color, tone, and movement. By extracting what is affected as a stimulus from the video data that is the material as a sensory stimulus element, it is "refreshing", "exhilarating feeling", "strength", "intensity", "heavyness", " It is possible to select various sensory stimulus elements that make up video data that affects specific human sensory characteristics expressed by abstract phrases such as `` cool feeling '' and associate them with sensory characteristics it can.
[0017]
(B) The results obtained by statistically processing the judgment results of specific persons or the opinions of unspecified / many persons as to how much each sensory stimulation element stimulates sensory characteristics including human sensitivity Based on grading by encoding / numericalization, etc. that can be objectively compared based on characteristic values, the relationship between sensory stimulus elements and sensory characteristics is determined by the sensibility and unspecified of a particular excellent video creator It can be obtained as an objective and persuasive characteristic value based on a result based on statistical processing of opinions of a large number of people.
[0018]
(C) By determining the contrast between each sensory stimulus element and the characteristic value, it is possible to determine the characteristic value of the sensory characteristic (for example, “freshness”) of the video data that is the material using the contrast. You can find out if you have one.
[0019]
(D) Using a computer, a plurality of video data, which are materials adjusted so that characteristic values relating to various human sensory characteristics can be assigned, are stored in a storage means, and a desired value is selected from the stocked video data. Edit and synthesize the video data based on the characteristic values based on the above-mentioned contrasts by appropriately displaying and selecting those that can be selected and combined as satisfying the direction of the sensory characteristics By editing and synthesizing new video data, only those that match the required sensory characteristics (eg, the sensory characteristic of “freshness”) from the video data that is stocked in the storage means. Extract and display, select one or more of them appropriately, and use video data as material, using characteristic values with a contrast relationship It is possible to prepare for editing and compositing according to the direction of sensory characteristics.
[0020]
(E) An arithmetic unit performs arithmetic processing according to a predetermined rule so as to make use of a characteristic value relating to a desired sensory characteristic in the selected / combined video data obtained by using the above-described contrast relationship, The video special effects that have been pre-determined as appropriate and stored in the storage means are added to the video data as the material, edited or combined, or added to the new video data that has been edited or combined. Is attached to and output to a monitor or other output device, which automatically edits and synthesizes video data that reflects the human sensory characteristics related to the video. The characteristic values related to “freshness” are emphasized, weakened, added, averaged, maximum / minimum values, etc. Special effects prepared as appropriate for the results of the above can be added to the video data as the material or the video data that has undergone editing / compositing processing, and a new effect that matches the direction of the required sensory characteristics A series of operations for obtaining video data and outputting it to a monitor or the like can be automatically performed.
[0021]
(F) The video data used as material is combined with audio data such as music and sound effects, and the audio data is also provided with characteristic values by encoding / numerizing sensory stimulus elements. When editing and synthesizing video data with audio data, video special effects and acoustic special effects based on the audio data characteristic values are automatically added and output by an output device such as a monitor or speaker. The audio data integrated with the data also captures characteristic values regarding desired sensory characteristics, and is used as an index for determining special effects related to video and sound used for new video data created by the present invention. As for video data, editing and synthesis reflecting desired sensory characteristics can be realized.
[0022]
(G) When the video data as the material is edited / synthesized based on the characteristic values of the desired sensory characteristics and output by a monitor or other output device, a portion that can be output simultaneously with the editing / synthesizing work Since it is possible to output new video data in real time by making it output sequentially, if you decide the desired sensory characteristics (such as “freshness”) and select the video data as the material, The editing / compositing process is automatically started, and output to a monitor or the like becomes possible, so that the range of selection of new video data to be actually output is expanded.
[0023]
(H) It is possible to change the settings related to the desired sensory characteristics in a timely manner during the editing / compositing work of the video data used as the material, and to reflect this in the editing / compositing work after the change, thereby creating a new image. Even if data is being output to a monitor, etc., the contents of the sensory characteristics that have been set are changed (from “freshness” to “cool feeling”, etc.), and this is reflected in the editing / compositing work after the change. Even with the same material image data, it is possible to obtain new image data with various changes by changing the setting, so that one-time image data output without reproducibility can be executed as appropriate. Become.
In addition, changes in the setting of sensory characteristics do not necessarily need to be based on the clear intention of the person who operates the system of the present invention. For example, changes in temperature and volume around the monitor, changes in people's movement, etc. Sensual characteristics change settings appropriate to these changes (for example, the sensory characteristic setting for “freshness” switches to “settlement” due to changes in the volume of the surroundings), etc. By doing so, it becomes possible to change the direction of editing / compositing work in the system of the present invention in accordance with the change in the sensory preference of the user.
[0024]
(I) Video data and audio data not directly related to desired sensory characteristics are combined with video data output after being edited / synthesized, and at least partially output from a monitor, speaker, etc. Since the information can be output using the apparatus, the system of the present invention can be used as an information providing medium by outputting and displaying news information and other additional information in a timely and appropriate place.
[0025]
(J) At least one of video data as material, contrasting data between sensory stimulus elements and characteristic values, data relating to a predetermined law used for characteristic value calculation processing, and data relating to special effects to be applied to the calculation processing result is the Internet Can be transmitted using a network such as the above, and editing / compositing and output to the output device or only output to the output device are performed on the receiver side, or operations related to editing / compositing and output of additional information Can be performed as a remote operation from the sender side, so that when the system of the present invention is realized using a network such as the Internet between remote persons, the transmission data from the sender side is transmitted. It can be carried out effectively with the minimum necessary, and the necessary editing / compositing work and other processing can be performed on the receiver side as needed. Or on the sender side.
[0026]
(K) It is certain that the human sensibility and other characteristics are reflected in an appropriate form by the video data created by the video data automatic editing / synthesizing system based on the characteristic values of the video components according to the present invention. Video data can be provided as appropriate video content.
DETAILED DESCRIPTION OF THE INVENTION
Some examples of the above-described specific embodiments of the present invention will be described below with reference to the accompanying drawings.
That is, FIG. 1 is a schematic diagram showing the basic concept portion which is the center of the automatic editing / combining system 1 for video data according to the present invention.
[0027]
The material video data 2 that is the target of the automatic editing / compositing work of the system of the present invention should be usable in various formats, but the characteristic value 3 shown below can be appropriately attached. Must be coordinated.
[0028]
Naturally, the video data 2 as a material is composed of many elements, and among them, a human being affected as a visual stimulus can be extracted as a sensory stimulus element 4. Specific examples include shapes, patterns, colors, movements, and the like. Note that the video data 2 in the present invention includes both still images and moving images, and in some cases includes video data combined with audio data.
[0029]
With respect to the sensory stimulation element 4 described above, it is possible to determine the characteristic value 3 by encoding and quantification according to a certain standard with respect to how much a predetermined sensory characteristic (for example, “coolness”) is stimulated. . In the case of FIG. 1, an example is shown in which the sensory characteristic “coolness” is graded by a number of 0 to 3 in four stages.
[0030]
It is difficult to mechanically determine how much characteristic value 3 a sensory stimulation element 4 (for example, “shape”) has for the sensory characteristic “cool”. Therefore, in the present invention, the predetermined sense of the sensory stimulation element 4 is based on a result obtained by judgment by a specific person such as a video creator having excellent sensitivity or by statistically processing opinions of an unspecified number of persons. It is proposed to define a characteristic value 5 for the physical characteristic.
[0031]
Here, the final object of the present invention is to create new video data reflecting a predetermined sensory characteristic (coolness) from the video data 2 of the material. Therefore, the average obtained by statistical processing is used. It can be considered that it is more desirable to achieve the purpose to use the characteristic value 3 determined by a specific video creator having superior sensitivity than to use the characteristic value 3 based on sensitivity.
The characteristic value 3 does not have to be attached to all the sensory stimulation elements 4 that are constituent elements of the material video data 2, and is necessary and sufficient for creating new video data reflecting the sensory characteristics. It is enough if it is attached in the range.
[0032]
In this way, a characteristic value 3 relating to a predetermined sensory characteristic (coolness) is assigned to an appropriate sensory stimulus element 4 which is a constituent element of the video data 2 as a material, and a mutual contrast is determined. . This contrast relationship varies depending on the type of sensory characteristics. For example, even if the “shape” which is the sensory stimulus element 4 of the material video data 2 relating to the sensory characteristic “coolness” is a numerical value “3” as the characteristic value 3, the sensory characteristic “freshness” Naturally, the characteristic value 3 of the same “shape” can be expressed by the numerical value “2”.
[0033]
In the present invention, the video data 2 as a material is edited and synthesized so as to sufficiently reflect a desired sensory characteristic (goodness) using the characteristic value 3 described above.
That is, when editing one material video data 2, a sensory stimulus element 4 with a characteristic value 3 relating to a desired sensory characteristic (coolness) is extracted, and the characteristic attached to those elements is extracted. Editing processing for adding a predetermined video special effect according to the value of 3 is performed.
[0034]
Based on a certain sensory characteristic (coolness), it is appropriate to use the sensibility of the video creator to determine what kind of visual special effect should be handled according to the value of characteristic value 3. Can be determined using the results obtained by statistically processing the opinions, and if such a relationship is established, the data can be used to automatically use the computer and other video special features. An editing process for adding effects can be executed.
[0035]
In addition, in order to reflect a predetermined sensory characteristic more strongly, an arithmetic processing according to a certain rule is added to the characteristic value 3 to obtain a new characteristic value 3a, and an appropriate video special effect is given thereto. Editing processing can also be performed. In the case of the illustration, in order to perform an editing process that satisfies “more cool” as the desired sensory characteristic, an arithmetic process of increasing the numerical value of the characteristic value 3 by one (the maximum value “3” remains as it is) is performed. It shows the case of doing. In order to better reflect the desired sensory characteristics, the determination of what kind of calculation processing is applied to the characteristic value 3 should also be determined with reference to the sensitivity of the specific video creator and the statistical processing results of the opinions of the majority. Is possible.
[0036]
Further, the predetermined sensory characteristics that are the standard of the editing / combination work described above can be changed during the work and reflected in the results of the subsequent editing / combination work. For example, while performing editing work to a certain degree based on the sensory characteristic of “coolness”, it is possible to change to a sensory characteristic of “freshness” at a certain point and to perform subsequent editing processing based on “freshness” Is possible. In this case, the sensory stimulus element 4 and its characteristic value 3 to be handled are changed in accordance with the change of sensory characteristics, but the edited and synthesized video data can be output to a monitor or the like as a series. Therefore, the change of the image special effect to be added must be adjusted so as not to cause a sense of incongruity in the output processing. Therefore, the sensory characteristics that can be changed may be given a certain restriction depending on the work situation (for example, change to the sensory characteristics in the opposite direction is not allowed).
[0037]
The above has described the case where one video data 2 as a material is edited based on desired sensory characteristics. However, when two or more video data 2 and 2a as materials are combined and processed. Can be considered in a similar manner.
That is, in this case, the characteristic value 3 is obtained for each sensory stimulus element 4 of one material video data 2 and the other material video data 2a, and each characteristic value 3 for the same or the same kind of sensory stimulus element 4 is obtained. Based on the relationship between the two, a certain calculation process is performed to obtain a new characteristic value 3a for the synthesis process.
[0038]
For example, regarding the sensory characteristic “coolness”, the characteristic value 3 of “shape” which is the sensory stimulus element 4 of the material video data 2 is a numerical value “2”, and the characteristic value related to “shape” of the material video data 2a When 3 takes a numerical value of “1”, a new characteristic value 3a relating to “shape” takes a numerical value of “3”, which is the sum of both, when a video special effect is given as a result of combining the two. And so on.
[0039]
A predetermined arithmetic processing rule for obtaining a new characteristic value 3a for synthesizing two or more image data 2, 2a,... To obtain new image data is not limited to the addition processing as described above. , Taking the maximum value / minimum value, taking the average value, etc., it is sufficient to perform appropriate arithmetic processing according to the situation, but what kind of arithmetic processing should be adopted depends on the sensitivity of the video creator and the opinions of the majority May be determined based on the result of statistical processing.
[0040]
In any case, it is possible to automatically edit and synthesize the video data 2, 2a,... To reflect a desired sensory characteristic (for example, “goodness”) based on the video data 2, 2a, etc. that are the materials. And the sensory stimulus element 4 that is a constituent element thereof, and the characteristic value 3 that is contrasted with the element, and further, it is technically possible by adopting a predetermined video special effect that is predetermined as appropriate to the characteristic value 3. It is understood that
[0041]
Further, by adopting the system 1 of the present invention, editing based on desired sensory characteristics (“coolness”, “freshness”, etc.) is possible even with a limited number of material video data 2, 2a,. -It should be understood that output by a monitor or the like is possible as video data rich in change that can be said to be innumerable by performing synthesis processing.
[0042]
Furthermore, by permitting initial settings regarding sensory characteristics and changes during the process, editing / compositing work of video data can be arbitrarily selected in accordance with a specific situation in which the system 1 of the present invention is operated. Even with the raw material video data 2, output with a wide application range can be realized.
[0043]
The editing / synthesizing work of the video data by the system 1 of the present invention can be performed simultaneously with the output to the monitor or the like. Therefore, if the sensory characteristic is set or changed, it is immediately responded accordingly. Real-time processing for outputting the editing / compositing result is possible. In other words, it can be configured to manually or automatically perform appropriate operations according to the surrounding environment and situation, and can realize real-time video data editing / compositing and output with bidirectionality. .
[0044]
FIG. 2 is a flowchart for explaining a procedure for creating and outputting new video data by combining video data 2a, 2b, 2c, 2d, 2d, and 2f that are two or more materials.
That is, with respect to the sensory stimulation elements 4 (movement, color, shape, pattern) constituting the above-described six material video data, here, the characteristic values 3 are extracted based on the sensory characteristic of “refreshing”. .
[0045]
Since there may be a plurality of sensory stimulus elements 4 such as “movement”, “shape”, “color”, and “pattern” with respect to the video data 2 as the material, only one characteristic value 4 is given. There can be multiple. In addition, when the sensory stimulus element 4 is shared between the material images 2 and 2 to be synthesized, an appropriate calculation process is added and processed as a new characteristic value.
[0046]
The characteristic value 3 determined as described above corresponds to a special effect determined in advance with respect to the desired sensory characteristic ("refreshing"), and thus such special effect is applied to the synthesized video data. Is added as new video data to output video.
The special effect determination operation may be performed either before or after the editing / compositing operation of the video data 2 as the material.
[0047]
[Example 1]
One specific embodiment of the present invention will be described with reference to FIG.
This relates to the case of outputting video data edited and synthesized by the system 1 of the present invention using the in-store display 6 for the customer 5 in the store, and the video data 2, 2a,. According to a request from the client 7 side, the distribution is performed from the distributor 8 side using a network such as the Internet.
[0048]
On the distributor 8 side, the video data 2, 2a,... As the material are prepared, and the data relating to the contrast between the sensory stimulus elements 4 and the characteristic values 3 is arranged and adjusted based on the sensory characteristics to form a database. deep. In addition, information on a predetermined rule regarding arithmetic processing for the characteristic value 3 necessary for editing / combining work, information on a video special effect that should correspond to each characteristic value 3, and a program (operation information setting software, etc.) Are also stored and prepared so that they can be provided online in response to a request from the client 7 side.
Specific data distribution from the distributor 8 to the client 7 is performed using a dedicated content management server 9.
[0049]
The content playback device 10 on the client 7 side is installed with dedicated software for appropriately playing back the video data edited and synthesized according to the present invention, and is usually determined based on the type of sensory characteristics. The data of the contrast relationship between the sensory stimulus element 4 and the characteristic value 3, the data of the predetermined law relating to the arithmetic processing of the characteristic value 3, and the data related to the video special effect corresponding to the characteristic value 3 are reduced to the minimum size. For this purpose, it is assumed that they are stocked in advance in the playback device 10 on the client 7 side. However, since these data can be constantly improved for better video data editing / compositing processing, the data requested by the distributor 8 can be obtained from the distributor 8 in a timely manner and revised. Of course, it is acceptable.
[0050]
The client 7 uses expressions (“cool”, “refreshing”, “bright”, “fun”, “settled”, etc.) based on sensory characteristics of video data suitable for provision to the customer 5 in the store. .. And request the distributor 8 to distribute the material video data 2, 2a,. The distributor 8 sends a list of the material video data 2 that matches the conditions to the client 7 together with appropriate headings (such as “sea image”, “mountain image”, “forest image”) and sample images. The material video data 2 to be output to the in-store display 6 may be determined by actually editing / combining from this list.
[0051]
The client 7 inputs instruction data relating to desired sensory characteristics as an initial setting in order to start editing / compositing processing of the distributed material video data 2, 2a,. This initial setting may utilize the contents of the sensory characteristics selected when the video data distribution is requested unless otherwise specified. Also, when requesting video data distribution, the material video data 2 is obtained simply by designating “sea image” or “mountain image” without selecting sensory characteristics, and edited / edited on the client 7 side. It is also possible to instruct the sensory characteristics for the first time when starting the synthesis work.
[0052]
In any case, when the distribution of the material video data 2 is received and the initial setting relating to the desired sensory characteristics is completed, the client 7 actually starts the automatic editing / compositing processing of the video data by the system 1 of the present invention, Thus, new video data created with a video special effect so as to reflect the sensory characteristics can be output from the content reproduction apparatus 10 to the in-store display 6.
[0053]
As described above, the client 7 can change the setting relating to the sensory characteristics according to the situation while specifically watching the state of the customer 5 in the store. By changing the direction of the composition work, it is possible to perform an operation for providing video data suitable for the situation in the store in real time.
[0054]
Since operations related to real-time editing / combination can be realized, when an image creator with excellent sensitivity as an operator on the client 7 side is in charge of the operation, while receiving inspiration from the situation in the store, etc. It is also possible to perform editing / compositing work in accordance with the sensibility by real-time processing like a live performance and output it to the in-store display 6, and to provide highly artistic video data with no reproducibility. Is possible.
[0055]
In the present invention, as described above, the editing / synthesizing process reflecting the desired sensory characteristics can be performed simultaneously with the output to the display 6, so that the reaction of the customer 5 or the like regarding the creation of new video data is achieved. It is also possible to have bidirectionality that is automatically reflected.
[0056]
That is, sensors that detect the movement, volume change, room temperature change, etc. of the customer 5 are installed in the store of the client 7, and the sensory characteristics of the customer 5 are detected via the external control device 11 by detecting the results of these sensors. By appropriately interpreting the user's preference as to the user's preference and issuing an appropriate operation instruction to the content reproduction apparatus 10, new video data is created while reflecting the customer's wishes in the store, and immediately sent to the customer 5 The system can be provided. For example, if the customer 5 in the store is working hard, the volume is increasing, and the room temperature is rising, editing / compositing in a more intense direction, there is little movement, the volume is reduced, and the room temperature is not rising It can be determined that the preference of the customer 5 is reflected if it is defined to edit and combine in a more calm and quiet direction.
[0057]
New video data created by the system 1 of the present invention can be displayed on the display 6 in combination with additional information 12 such as news information. There are a variety of combinations, but in the case of news information, it is more appropriate to provide the information directly from the outside of the system 1 of the present invention, so that the external content providing server 13 passes through the content management server 9 as shown in the figure. Thus, it may be distributed to the content reproduction apparatus 10 on the client 7 side.
[0058]
The additional information 12 related to the company logo or tagline displayed according to the client 7 side's request may be adjusted so as to be attached when distributing the material video data 2 on the distributor 8 side, or the content on the client 7 side The playback device 10 may be added and displayed uniquely.
[0059]
In any case, such additional information 12 may be appropriately displayed on a part of new video data output from the display 6 without performing editing / combination processing based on sensory characteristics. .
[0060]
Further, operations related to editing / compositing processing are generally performed by the content reproduction apparatus 10 on the client 7 side. However, when the distributor 8 side is also connected through a network such as the Internet, the distributor 8 It should be understood that the side can also perform this operation remotely.
Further, the number of displays 6 that output new video data is not limited to one, and there are no problems because there are a plurality of displays 6. In this case, the direction of editing / combination processing may be different for each display 6 to be output. In other words, it is possible in the present invention to use different video special effects for each display 6 while the base material video data 2, 2a,.
[0061]
[Example 2]
Some examples of expressions of “sensory characteristics” and “sensory stimulus elements” to be prepared when the system 1 of the present invention is actually operated and examples of “visual special effects” are shown below.
[0062]
Expression example of “sensory characteristics”
(Basic sensory characteristic expression): “Refreshing”, “Exhilarating”, “Strength”, “Fierce”, “Roughness”, “Heavy”, “Cool”, “Designer” Bull "
(Additional sensory characteristics): “relaxed”, “restless”, “rhythmic”, “dance”, “flickering”, “cold”, “warm”, “hot” `` Cold '', `` Relax '', `` Relax '', `` Reeler '', `` Excitement '', `` Chilling '', `` Drall '', `` Upright '', `` Bright '', `` Dark '', `` Dark ''
[0063]
Expression example of “sensory stimulation elements”
(1) Color feeling (color tone): “Greenish”, “Blueish”, “Reddish”, “Orangey”, “Whiteish”, “Blackish”
(2) Feeling of movement (speed of movement): “slow”, “violent”, “single speed”
(3) Shape feeling (shape): "circle", "square", "cone", "sphere", "board", "tunnel"
(4) Additional elements: “brightness”, “bright”, “dark”
(5) Production methods as sensory stimulus elements: "Live action", "3D animation", "2D animation", "Motion graphics", "Composition"
[0064]
Examples of “visual special effects”: “brightness”, “flash”, “blur”, “fade out” “fade in”, “dissolve”, “cut in”, “cut out”, “white out”, “black” "Out", "Wipe", "4 divisions", "9 divisions", "Multi division", "Picture in", "Sepia", "Rainbow", "Color correct", "Color removal", "Alpha composition" , “Sphere”, “rupture”, “ripple”, “rotation”, “tunnel”, “cube”, “cone”, “plate”
[0065]
After carrying out the present invention with the above-mentioned preparations and investigating the viewers as monitors, it was found that the majority of the video data created with specific sensory characteristics that became the basis of editing / compositing was created. I was able to get an answer that it was felt from the output contents. Therefore, it is understood that automatic editing / combination work of video data reflecting desired sensory characteristics is actually possible by operating the system of the present invention.
[0066]
【The invention's effect】
According to the present invention as described above, a characteristic value is given to a sensory stimulus element that is a component of video data based on a specific sensory characteristic, and editing and composition processing is automatically performed using this characteristic value. Video data reflecting a predetermined sensitivity can be obtained, and video data that can be changed in various ways from limited material data can be created in real time. Therefore, it is possible to create and immediately provide video data that has been edited and combined according to the situation using a limited number of video content as materials, and for a large number of displays installed in stores, etc. Outputting video data suitable for each can be realized easily and at a low cost, and new demands have been created as a means to eliminate the shortage of video content that should be displayed on various modern displays. Since it can be aroused, it is an industrially highly valuable invention.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a basic conceptual part which is the center of a system of the present invention.
FIG. 2 is a flowchart illustrating a procedure for synthesizing video data as a plurality of materials.
FIG. 3 is a flowchart explanatory diagram showing a case where a network is used as an example of an embodiment of the present invention.
[Explanation of symbols]
1. Image data editing / combining system according to the present invention
2. Video data used as material
2a Video data as another material
3 characteristic values
3a New characteristic value
4 Sensory stimulation elements
5 customers
6 In-store display
7 Client
8 distributor
9 Content management server
10 Content playback device
11 External control equipment
12 Additional information
